Vier NVIDIA RTX PRO 5000 Blackwell 48 GB in einer Workstation: was auf 192 GB läuft

Vier Karten mit 48 GB: was das System fasst

Eine Workstation mit vier NVIDIA RTX PRO 5000 Blackwell 48 GB hat 192 GB GPU-Speicher, und nach unserer Auslegungsregel fasst jede Karte rund 40 GiB für Gewichte und Cache. Damit ist sie eine Maschine für Modelle bis 32B je Karte, für vier getrennte Dienste nebeneinander oder für acht Entwickler auf isolierten MIG-Instanzen zu 24 GB; ein 70B-Modell in FP8 läuft nur über alle vier Karten verteilt, für rund 73 gleichzeitige Gespräche. Nach unserer Schätzung braucht sie rund 1,8 bis 2 kW an der Steckdose, was ein 230-V-Bürostromkreis trägt.

Jede Karte hat 48 GB GDDR7 mit ECC bei 1.344 GB/s und 300 W, auf einer aktiv gekühlten Dual-Slot-Karte mit 4,4 × 10,5 Zoll, laut NVIDIAs Produktseite, gelesen am 24. Oktober 2026; NVIDIA nennt 2.064 AI TOPS in FP4 mit Sparsity. Die Versionen mit 48 GB und 72 GB teilen jeden Geschwindigkeitswert, wie unser Vergleich RTX PRO 5000 mit 48 GB oder 72 GB zeigt; die Wahl zwischen ihnen ist also eine Frage des Speichers je Karte.

NVIDIAs Produktseite zur RTX PRO 5000 (gelesen am 24. Oktober 2026) und MIG-Handbuch (13. Oktober 2026). Treiberwert skaliert aus den 95,6 GiB einer Karte mit 96 GB; nutzbarer Speicher nach unserer Regel für Nutzer je Karte, ECC aus.

Die Regel nimmt 90 Prozent des Speichers, den der Treiber meldet, und zieht je Karte 3 GiB für Aktivierungen und Laufzeit ab: 0,9 × 47,8 − 3 = 40,0 GiB. Was nach den Gewichten bleibt, ist KV-Cache, der Speicher, den jedes laufende Gespräch braucht. Unser Leitfaden, wie viele Nutzer eine RTX PRO 6000 bedient, leitet die Regel her; belegt ECC Speicher, bleiben rund 37,3 GiB je Karte.

Wo 48 GB je Karte die Grenze ziehen

Die kleinere Karte verschiebt, welche Modelle auf einer Karte bleiben. Bei 40 GiB nutzbar lässt Qwen3-14B in FP8 mit 15,2 GiB reichlich Cache frei, Qwen3-32B in FP8 mit 32,0 GiB lässt 8 GiB, und Llama 3.3 70B in NVFP4 mit 39,8 GiB lässt sich laden, doch der Rest von 0,2 GiB fasst kein Gespräch. Alles Größere wird aufgeteilt.

Unsere Schätzung nach der Regel für Nutzer je Karte mit 40,0 GiB nutzbar je Karte; Gespräche zu 8K Token mit FP8-KV-Cache, gpt-oss-120b mit 32K und 16-Bit-Cache von 1,125 GiB. Cache von Qwen3-235B 0,73 GiB je Gespräch zu 8K aus seiner config.json (94 Schichten, 4 KV-Köpfe, Kopfgröße 128), gelesen am 24. Oktober 2026. Speicherrechnung, kein gemessener Durchsatz.

Die Tabelle zeigt, warum dieses System zu kleinen und mittleren Modellen passt. Ein 70B-Modell in FP8 auf einem Paar lässt Cache für neun Gespräche, zu wenig für eine Abteilung; erst über alle vier Karten erreicht es 73. Qwen3-235B-A22B in NVFP4, rund 124,8 GiB, lädt über alle vier Karten mit 35 GiB Cache; die FP8-Version mit rund 219,8 GiB passt gar nicht in 192 GB. Weitere Modelle finden Sie in unseren LLM-Hardware­anforderungen nach Modell.

Aufteilungen für ein Team: Kopien, Paare und MIG

Vier Karten erlauben drei Aufteilungen für ein Modell, und MIG fügt eine vierte für viele Nutzer mit kleinem Bedarf hinzu.

Unsere Schätzung nach der Regel für Nutzer je Karte, 8K Token mit FP8-KV-Cache.

Die Zahlen sind gleichzeitig laufende Anfragen. Die Beispielwerte in unserem Leitfaden zum privaten ChatGPT-Server nach Unternehmens­größe rechnen zur Spitzenzeit mit rund 20 gleichzeitigen Anfragen bei 500 Beschäftigten und 80 bei 2.000. Vom Speicher her decken vier Kopien von Qwen3-14B ein Unternehmen der ersten Größe ab, wobei jede Karte unabhängig arbeitet, und Qwen3-32B als zwei Paare deckt die zweite ab. Vier Kopien laufen weiter, wenn eine Karte ausfällt; eine TP=4-Kopie steht dann still.

Ein häufiger Plan für ein Konstruktions- oder Data-Science-Team verbindet beides. Ein Paar bedient Qwen3-32B in FP8 für das Team, 48 Gespräche, während die anderen beiden Karten in vier MIG-Instanzen zu 24 GB für Entwicklung und Tests aufgeteilt werden. Senden Sie uns die Modelle und die Zahl der Entwickler und Dienstnutzer, und wir planen die Aufteilung zwischen Dienst und MIG, bevor wir die Maschine anbieten.

Geschwindigkeit bei einem verteilten Modell

Die RTX PRO 5000 hat kein NVLink; ein verteiltes Modell tauscht also nach jeder Schicht Daten über PCIe 5.0 aus. Standardmäßig schaltet vLLM laut Quellcode sein Custom-All-Reduce bei mehr als zwei GPUs ab, die nur über PCIe verbunden sind; TP=2-Paare behalten also den schnelleren Kernel, TP=4 nutzt NVIDIAs NCCL. vLLM 0.30.0 (Release Notes vom 22. September 2026) hat ein optionales FlashInfer-All-Reduce über PCIe-IPC für Systeme ohne NVLink ergänzt (#53576). Der Parallelisierungsleitfaden von vLLM rät bei GPUs ohne NVLink zu Pipeline-Parallelität, für höheren Durchsatz und geringeren Kommunikationsaufwand. Unser Artikel zu TP=2, TP=4 oder Replikaten ohne NVLink erklärt beide Wege.

Die Bandbreite setzt eine Obergrenze für einen Nutzer. Nach unserer Rechnung ist Qwen3-32B in FP8 auf einer Karte, rund 34,4 GB je Token, auf rund 39 Token pro Sekunde begrenzt, Qwen3-14B in FP8 mit rund 16,3 GB je Token auf rund 82. Llama 3.3 70B in FP8 liest unter TP=4 rund 17,7 GB je Karte und Token, eine Grenze von rund 76 vor den Kosten des All-Reduce über PCIe. Das sind Obergrenzen aus den Spezifikationen, keine Messungen. Eine veröffentlichte Messung von LLM-Serving mit Tensor-Parallelität auf vier RTX PRO 5000 haben wir nicht gefunden; die veröffentlichten Ergebnisse einzelner Karten stehen in unseren RTX PRO 5000 Benchmarks.

Acht GPUs zu 24 GB mit MIG

NVIDIAs MIG-Handbuch, aktualisiert am 13. Oktober 2026, führt die RTX PRO 5000 48 GB mit den Profilen 1g.24gb und 2g.48gb, jeweils auch als +gfx-Variante mit Grafikunterstützung. Jede Karte teilt sich in zwei isolierte Instanzen zu 24 GB, die Workstation bietet also acht getrennte GPUs mit eigenem Speicher und eigener Rechenleistung, oder jede Mischung aus ganzen Karten und Hälften. Eine Hälfte mit 24 GB fasst gpt-oss-20b oder Qwen3-14B in FP8 mit Cache für rund fünf Gespräche zu 8K Token nach unserer Regel. Das passt für einen Entwickler, einen Notebook-Server oder eine Testinstanz je Hälfte.

MIG braucht auf dieser Karte Linux, Treiber 575.51.03 oder neuer, ein vBIOS ab 98.02.73.00.00 und den Compute-Modus, eingestellt mit DisplayModeSelector 1.72 oder neuer; die Umstellung schaltet die Displayausgänge der Karte ab. NVIDIAs MIG-Handbuch hält außerdem fest, dass NCCL mit MIG nicht unterstützt wird; ein über Karten verteiltes Modell braucht also ganze Karten. Unsere RTX PRO 6000 MIG-Profile beschreiben denselben Ablauf auf der größeren Karte.

Die 48-GB-Karte steht nicht auf NVIDIAs vGPU-Liste vom 2. Oktober 2026; von den RTX PRO 5000 steht nur die 72-GB-Version darauf, unter Red Hat KVM. Virtuelle Desktops unter vSphere brauchen eine Server-Edition-Karte, wie unser Leitfaden MIG und vGPU: VMs pro GPU erklärt.

Rendering, CAD und KI auf einer Maschine

Die 48-GB-Karte ist auch eine Grafikkarte mit vier DisplayPort-Ausgängen je Karte. Im Profi-GPU-Vergleich von Puget Systems vom 18. Dezember 2025 lag sie in Blender rund 50 Prozent und in V-Ray GPU 35 Prozent vor der RTX 5000 Ada, wie unsere Kaufseite für Workstations mit RTX PRO 5000 48 GB berichtet; der Vergleich umfasste nur einzelne Karten. Rendering und Visualisierung nutzen die Karten im Grafikmodus, MIG braucht den Compute-Modus, der die Displayausgänge abschaltet. Die NVIDIA-Dokumentation, die wir gelesen haben, sagt nicht, ob eine Karte im Grafikmodus bleiben darf, während die anderen MIG betreiben; eine Maschine für beides ist deshalb ein Punkt, den wir vor der Bestellung mit Ihnen klären.

Tower und Strom für vier Karten

Stand 24. Oktober 2026 bietet der Konfigurator der Dell Precision 7960 vier RTX PRO 5000 48 GB an, BIZON führt die Karte für seine X5500 G2 mit vier GPUs, und Lenovo führt sie für die ThinkStation PX ohne Höchstzahl. Zwei der vier GPU-Steckplätze der Precision 7960 sind mit PCIe 4.0 x16 angebunden, was für eine TP=4-Aufteilung mehr zählt als für Kopien oder MIG. NVIDIAs Konfigurations­leitfaden für zertifizierte Systeme verlangt mindestens sechs Kerne je GPU und mindestens doppelt so viel Arbeitsspeicher wie GPU-Speicher; wir planen also 24 Kerne und 384 GB, acht Module zu 48 GB auf einem Threadripper PRO mit acht Kanälen.

Nach unserer Schätzung ergeben vier Karten zu 300 W, ein Prozessor mit 350 W und 15 Prozent für Arbeitsspeicher, Laufwerke, Lüfter und Netzteilverluste rund 1,8 bis 2 kW an der Steckdose, 7,8 bis 8,7 A an 230 V. Ein 16-A-Stromkreis, mit 80 Prozent Auslastung geplant, trägt 2,94 kW; der Tower passt also an einen Stromkreis, wenn er ihn nicht mit anderen großen Verbrauchern teilt. Rund 6.800 BTU/h Wärme bei 2 kW gehören in einen Technikraum oder ein klimatisiertes Büro. Unser Artikel zum Stromverbrauch der RTX PRO 6000 Max-Q an 230 V behandelt Kabel und USV für dieselbe 300-W-Klasse.

Vier RTX PRO 5000 48 GB oder zwei RTX PRO 6000 Max-Q

Zwei Max-Q bringen dieselben 192 GB bei halber Kartenleistung in einen Tower; diesen Vergleich sollten Sie klären, bevor Sie vier 48-GB-Karten bestellen.

NVIDIA-Produktseiten, Max-Q-Datenblatt und MIG-Handbuch; Gespräche nach unserer Regel für Nutzer je Karte; Max-Q-Werte wie in unserem Artikel zu zwei Max-Q.

Für ein großes Modell liegt das Max-Q-Paar vorn: Ein 70B-Modell in FP8 passt auf jede Karte, und als eine TP=2-Kopie fasst es mehr Gespräche als vier 48-GB-Karten unter TP=4, während das Paar das schnellere All-Reduce von vLLM behält. Das Paar braucht rund 1,1 kW an der Steckdose statt rund 2 kW und lässt zwei Steckplätze für eine spätere Erweiterung frei. Das System mit vier Karten liegt vorn, wo vier unabhängige Dienste gleichzeitig laufen, denn die vier Karten kommen zusammen auf 5.376 GB/s statt 3.584 GB/s, und bei der summierten FP4-Rechenleistung. Beide bieten acht MIG-Instanzen zu 24 GB. Unser Artikel zu zwei RTX PRO 6000 Max-Q in einer Workstation behandelt das Paar, und ist die Wahl offen, bieten wir beide Systeme nebeneinander an.

Weitere Systeme zum Vergleich

• Vier RTX PRO 5000 72 GB: 288 GB, Llama 3.3 70B in NVFP4 auf jeder Karte, zwei FP8-Paare für 88 Gespräche, vGPU unter Red Hat KVM; siehe vier RTX PRO 5000 72 GB in einer Workstation.
• Vier RTX 6000 Ada: dieselben 192 GB bei 960 GB/s je Karte, ohne MIG, aber ab 15.2 auf NVIDIAs vGPU-Liste; siehe unsere Seite Workstation mit RTX 6000 Ada kaufen.
• Vier RTX PRO 6000 Max-Q: 384 GB bei denselben 1.200 W, für 70B-Modelle und Modelle der 235B-Klasse mit vielen Nutzern.
• Ein Rack-Server: für einen Dienst im Dauerbetrieb RTX PRO 6000 Server Edition mit vGPU oder die RTX PRO 5000 in einem Rack-Gehäuse, wie unsere Seite zum Rack-Server mit RTX PRO 5000 beschreibt.

Was wir liefern

Sie können dieses System bei uns kaufen: Unser Team legt die Konfiguration auf Ihre Arbeitslast und Ihr Budget aus und antwortet innerhalb eines Werktages. Wir bauen Workstations mit vier RTX PRO 5000 48 GB auf Bestellung, auf Plattformen mit Threadripper PRO oder Xeon W, vor der Lieferung montiert und getestet, auf Wunsch mit Betriebssystem, Treiber, CUDA, Container-Laufzeit und eingerichteten MIG-Instanzen, und wir liefern die Karten für Tower, die Ihr Unternehmen bereits betreibt. Teilen Sie uns den gewünschten Tower oder die Plattform mit, und wir prüfen Steckplätze, Netzteil und Kabel vor dem Angebot. Modelle, Retrieval und die Plattform darüber sind unser Service Private AI/ML.

FAQ