Vier NVIDIA RTX PRO 5000 Blackwell 72 GB in einer Workstation: was auf 288 GB läuft

288 GB auf vier Karten: die Eckdaten

Eine Workstation mit vier NVIDIA RTX PRO 5000 Blackwell 72 GB hat 288 GB GPU-Speicher und fasst nach unserer Auslegungsregel Modelle mit bis zu rund 220 GiB Gewichten: Llama 3.3 70B in FP8 für 88 gleichzeitige Gespräche als zwei TP=2-Paare, gpt-oss-120b auf jedem Paar oder Qwen3-235B-A22B-2507 in FP8, verteilt über alle vier Karten. Nach unserer Schätzung braucht sie rund 1,8 bis 2 kW an der Steckdose, was ein 230-V-Bürostromkreis trägt. Vier RTX PRO 6000 Max-Q im selben Tower bieten bei gleicher Kartenleistung ein Drittel mehr Speicher; der Vergleich weiter unten zeigt, wann sich das System mit RTX PRO 5000 trotzdem lohnt.

Jede Karte hat 72 GB GDDR7 mit ECC bei 1.344 GB/s und 300 W, auf einer Dual-Slot-Karte mit 4,4 × 10,5 Zoll und aktiver Kühlung, laut NVIDIAs Produktseite, gelesen am 24. Oktober 2026. Die Seite zur Max-Q sagt, die Karte ermögliche „up to four GPUs in a single system“; die Seite zur RTX PRO 5000 sagt dagegen nichts darüber, wie viele Karten ein System aufnimmt. Die Zahl je Tower kommt deshalb von den Systemherstellern.

NVIDIAs Produktseite zur RTX PRO 5000 (Speicher, Bandbreite, AI TOPS, 300 W, Kartenmaße), gelesen am 24. Oktober 2026. Treiberwert skaliert aus den 95,6 GiB, die eine Karte mit 96 GB meldet; nutzbarer Speicher nach unserer Regel für Nutzer je Karte, ECC aus.

Unsere Regel für Nutzer je Karte nimmt 90 Prozent des Speichers, den der Treiber meldet, und zieht je Karte 3 GiB für Aktivierungen und Laufzeit ab: 0,9 × 71,7 − 3 = 61,5 GiB je Karte. Was die Gewichte übrig lassen, ist KV-Cache für die laufenden Gespräche. Die Regel und ihre Herleitung stehen in unserem Leitfaden, wie viele Nutzer eine RTX PRO 6000 bedient. Belegt ECC Speicher, sinkt der nutzbare Platz auf rund 57,5 GiB je Karte, wie unser Vergleich RTX PRO 5000 mit 48 GB oder 72 GB erklärt.

Vier Speicher, kein NVLink

Die vier Karten verschmelzen nicht zu einer GPU mit 288 GB. Die RTX PRO 5000 hat kein NVLink, jede Karte adressiert also ihre eigenen 72 GB, und die Karten tauschen Daten über PCIe 5.0 aus. Ein Modell, das größer ist als eine Karte, muss die Serving-Software aufteilen. Auf vier Karten bleiben damit drei praktische Aufteilungen: vier unabhängige Kopien, zwei Paare mit Tensor-Parallelität (TP=2) oder eine Kopie über alle vier Karten (TP=4). Pipeline-Parallelität, bei der jede Karte einen Teil der Schichten hält, ist die Alternative, die der Parallelisierungsleitfaden von vLLM für GPUs ohne NVLink empfiehlt, für höheren Durchsatz und geringeren Kommunikationsaufwand.

Die Aufteilungen unterscheiden sich darin, wie vLLM kommuniziert. Standardmäßig schaltet vLLM laut Quellcode sein Custom-All-Reduce bei mehr als zwei GPUs ab, die nur über PCIe verbunden sind; ein TP=2-Paar behält also den schnelleren Kernel, eine TP=4-Aufteilung fällt auf NVIDIAs Bibliothek NCCL zurück. vLLM 0.30.0 (Release Notes vom 22. September 2026) hat ein optionales FlashInfer-All-Reduce über PCIe-IPC für Systeme ohne NVLink ergänzt (#53576). Beide brauchen Peer-to-Peer-Übertragungen zwischen den Karten. NVIDIAs NCCL-Dokumentation warnt, dass IO-Virtualisierung diesen Verkehr über den Prozessor umleiten kann, mit deutlichem Leistungsverlust bis hin zum Hängenbleiben. Unsere Artikel zu TP=2, TP=4 oder Replikaten ohne NVLink und zu P2P-Prüfungen unter Linux behandeln die Einstellungen in BIOS und Kernel.

Welche Modelle in 288 GB passen

Vier Karten mit 72 GB erschließen die Klasse der Modelle zwischen rund 125 und 220 GiB Gewichten, die zwei Karten nicht fassen, und betreiben jedes kleinere Modell auf einer Karte oder einem Paar.

Unsere Schätzung nach der Regel für Nutzer je Karte, 8K Token mit FP8-KV-Cache, sofern nicht anders angegeben; gpt-oss-120b mit 32K und 16-Bit-Cache von 1,125 GiB. Gewichte wie in unseren Modellartikeln und unserem Artikel zu vier Max-Q; Cache von Qwen3-235B aus seiner config.json auf Hugging Face (94 Schichten, 4 KV-Köpfe, Kopfgröße 128), gelesen am 24. Oktober 2026: 0,73 GiB je Gespräch zu 8K in FP8.

Zwei Zeilen brauchen eine Erklärung. gpt-oss-120b passt nur auf dem Papier auf eine Karte: Es bleiben 0,7 GiB, die kein Gespräch fassen, also gehört es auf ein Paar. Qwen3-235B-A22B in NVFP4 mit rund 124,8 GiB verfehlt ein Paar um 1,7 GiB und braucht deshalb alle vier Karten, wo 121 GiB für den Cache bleiben. Die FP8-Version desselben Modells, rund 219,8 GiB, ist das größte Modell der Tabelle: Über vier Karten lässt sie 26,3 GiB frei, nach unserer Regel genug für rund 35 Gespräche zu 8K Token. Das passt zu einem kleinen Team, nicht zu einer ganzen Abteilung. GLM-4.5 in FP8 mit 361 GB und größere Modelle passen nicht. Weitere Modelle und Größen finden Sie in unseren LLM-Hardware­anforderungen nach Modell.

Vier Kopien, zwei Paare oder ein Modell über vier Karten

Bei der Aufteilung wägen Sie Kapazität gegen Unabhängigkeit ab. Vier Kopien brauchen keinen Verkehr zwischen den Karten, und fällt eine Karte aus, laufen drei Viertel des Dienstes weiter. Eine Kopie über vier Karten speichert die Gewichte nur einmal, sodass weit mehr Speicher für Gespräche bleibt.

Unsere Schätzung nach der Regel für Nutzer je Karte mit 61,5 GiB nutzbar je Karte; 8K Token mit FP8-KV-Cache, gpt-oss-120b mit 32K und 16-Bit-Cache. Speicherrechnung, kein gemessener Durchsatz.

Das sind gleichzeitig laufende Anfragen, weit weniger als die Zahl der Beschäftigten, die einen Dienst nutzen. Die Beispielwerte in unserem Leitfaden zum privaten ChatGPT-Server nach Unternehmens­größe rechnen zur Spitzenzeit mit rund 20 gleichzeitigen Anfragen bei 500 Beschäftigten, 40 bei 1.000 und 80 bei 2.000. Vom Speicher her decken zwei Paare mit Llama 3.3 70B in FP8 den größten dieser Fälle ab; Qwen3-32B als vier Kopien ebenfalls, wobei jede Karte unabhängig arbeitet.

In der Praxis bewährt sich oft eine gemischte Aufteilung. Ein Paar bedient Llama 3.3 70B in FP8 für 44 Gespräche, die dritte Karte betreibt Qwen3-32B für die Programmierung mit 29, und die vierte bleibt frei für Embeddings, einen Reranker oder Tests. Senden Sie uns die Modelle, die Ihr Team gleichzeitig geladen haben möchte, und die Zahl der Personen, die sie nutzen, und wir rechnen die Aufteilung auf vier Karten durch, bevor wir die Workstation anbieten.

Geschwindigkeit bei 1.344 GB/s je Karte

Die Erzeugungsgeschwindigkeit für einen Nutzer hat eine Obergrenze, die die Bandbreite setzt, denn jedes Token liest alle aktiven Gewichte einmal. Nach unserer Rechnung ist eine RTX PRO 5000, die mit Llama 3.3 70B in NVFP4 Token erzeugt und dafür je Token rund 40,6 GB liest, auf rund 33 Token pro Sekunde begrenzt. In FP8 auf einem TP=2-Paar liest jede Karte die Hälfte von 70,6 GB, die Grenze liegt also bei rund 38 Token pro Sekunde, unter TP=4 bei rund 76, vor den Kosten des All-Reduce über PCIe. Qwen3-32B in FP8 auf einer Karte, rund 34,4 GB je Token, hat eine Grenze von rund 39. In der Praxis erreicht die Token-Erzeugung nur einen Teil dieser Werte; sie taugen zum Vergleich von Karten, nicht als Prognose.

Prompt-Verarbeitung und Batch-Durchsatz hängen von der Rechenleistung ab. NVIDIA nennt für die Karte 2.064 AI TOPS in FP4 mit Sparsity, gegenüber 3.511 für die RTX PRO 6000 Max-Q; lange RAG-Prompts und Kontexte von Coding-Agenten dauern auf der RTX PRO 5000 bei gleicher Kartenzahl also länger. Eine veröffentlichte Messung von LLM-Serving mit Tensor-Parallelität auf vier RTX PRO 5000 haben wir nicht gefunden. Die veröffentlichten Ergebnisse für einzelne Karten sammeln unsere RTX PRO 5000 Benchmarks; verlässlich ist ein Lasttest mit Ihrem eigenen Modell auf dem konfigurierten System.

MIG-Hälften und vGPU unter Red Hat KVM

Laut NVIDIAs Produktseite bietet die RTX PRO 5000 „up to two (2) fully isolated instances“, und das Datenblatt nennt für die 72-GB-Karte je 36 GB; vier Karten könnten also acht isolierte GPUs zu 36 GB bieten. NVIDIAs MIG-Handbuch, aktualisiert am 13. Oktober 2026, führt bisher nur die Version mit 48 GB; die Profilnamen der 72-GB-Karte lesen Sie deshalb auf der gelieferten Karte mit nvidia-smi mig -lgip aus. Eine Hälfte mit 36 GB fasst Qwen3-14B in FP8 mit Cache für rund 22 Gespräche nach unserer Regel oder ein 32B-Modell in 4 Bit für rund neun. MIG braucht Linux, Treiber 575.51.03 oder neuer und den Compute-Modus der Karte, der ihre Displayausgänge abschaltet. Laut NVIDIAs MIG-Handbuch wird NCCL mit MIG nicht unterstützt, ein verteiltes Modell braucht also ganze Karten.

Die 72-GB-Karte steht auf NVIDIAs vGPU-Liste ab vGPU 20.2 vom August 2026. Von den Hypervisor-Seiten, die wir am 24. Oktober 2026 gelesen haben, führen sie nur NVIDIAs validierte Plattformen für Red Hat Enterprise Linux mit KVM, mit den Grafikeditionen vWS und vPC; die Support-Matrizen für VMware vSphere und Ubuntu vom 29. September 2026 führen sie nicht. Für virtuelle Maschinen unter vSphere verweist unser Leitfaden MIG und vGPU: VMs pro GPU auf die Server-Edition-Karten.

Tower, Lanes und Strom an 230 V

Stand 24. Oktober 2026 bietet der Konfigurator der Dell Precision 7960 vier RTX PRO 5000 72 GB an, und Lenovo führt die Karte für die ThinkStation PX ohne Höchstzahl. HPs Seite zur Z8 Fury G6i nennt vier Max-Q und keine RTX PRO 5000. Zwei der vier GPU-Steckplätze der Precision 7960 laufen mit PCIe 4.0 x16, was für eine TP=4-Aufteilung mehr zählt als für vier Kopien. Die Tower-Tabelle und die Komponenten, mit denen wir bauen, stehen auf unserer Seite Workstation mit RTX PRO 5000 72 GB kaufen.

Vier Karten mit x16 belegen 64 PCIe-Lanes; AMD führt für den Threadripper PRO 9975WX 128 PCIe-5.0-Lanes und acht Speicherkanäle. NVIDIAs Konfigurations­leitfaden für zertifizierte Systeme verlangt mindestens doppelt so viel Arbeitsspeicher wie GPU-Speicher, hier 576 GB, die wir als 768 GB in acht Modulen einplanen. Strom nach unserer Schätzung: 1.200 W für die Karten, 350 W für den Prozessor und 15 Prozent für Arbeitsspeicher, Laufwerke, Lüfter und Netzteilverluste ergeben rund 1,8 bis 2 kW an der Steckdose, 7,8 bis 8,7 A an 230 V. Ein 16-A-Stromkreis, mit 80 Prozent Auslastung geplant, trägt 2,94 kW. Die Wärme, rund 6.800 BTU/h bei 2 kW, gehört in einen Technikraum oder ein klimatisiertes Büro; unser Artikel zum Stromverbrauch der RTX PRO 6000 Max-Q an 230 V behandelt Kabel und USV für dieselbe 300-W-Klasse.

Vier RTX PRO 5000 72 GB gegen vier RTX PRO 6000 Max-Q

Beide sind 300-W-Karten mit Radiallüfter und belegen zwei Steckplätze; derselbe Tower, dasselbe Netzteil und derselbe Stromkreis tragen also beide Systeme. Bei jedem veröffentlichten Wert, der über LLM-Arbeit entscheidet, liegt das Max-Q-System vorn.

NVIDIA-Produktseiten und Datenblätter, MIG-Handbuch (13. Oktober 2026) und vGPU-Liste unterstützter GPUs (2. Oktober 2026); Gespräche nach unserer Regel für Nutzer je Karte.

Eine Max-Q fasst Llama 3.3 70B in FP8 auf einer Karte; vier Max-Q können also vier unabhängige Kopien betreiben, wo das System mit RTX PRO 5000 Paare braucht. Je Karte hat die Max-Q ein Drittel mehr Bandbreite und rund 70 Prozent mehr FP4-Rechenleistung. Messungen zeigen in dieselbe Richtung: Puget Systems fand die 72-GB-Karte im August 2026 in Topaz Video 1.6.1 um 7 Prozent hinter der Max-Q, wie unser Benchmark-Artikel berichtet. Auch MIG spricht nicht für die RTX PRO 5000, denn die Max-Q bietet neben Vierteln zu 24 GB auch Hälften zu 48 GB.

Zwei Gründe bleiben für die RTX PRO 5000 72 GB. Der erste ist vGPU unter Red Hat KVM, für einen Host unter dem Schreibtisch, der virtuelle Maschinen mit Grafikbeschleunigung betreibt; die Max-Q steht nicht auf NVIDIAs vGPU-Liste. Der zweite ist der Preis: Passen die Modelle je Kopie oder je Paar in 72 GB, entscheidet der Unterschied zwischen den beiden Angeboten, und wir bieten beide Konfigurationen nebeneinander an, damit er schwarz auf weiß vorliegt, bevor Sie wählen. Unser Vergleich 2× RTX PRO 5000 72 GB oder 1× RTX PRO 6000 Max-Q trifft dieselbe Entscheidung eine Nummer kleiner, und vier RTX PRO 6000 Max-Q in einer Workstation behandelt das andere System.

Wann ein anderes System besser passt

• Modelle bis 32B je Kopie und viele Entwickler: vier RTX PRO 5000 48 GB, mit acht MIG-Instanzen zu 24 GB, die NVIDIAs MIG-Handbuch führt.
• Ein 70B-Modell in FP8 je Karte oder Modelle der 235B-Klasse für viele Nutzer: vier RTX PRO 6000 Max-Q.
• Ein Dienst im Dauerbetrieb für mehrere Abteilungen: ein Rack-Server mit RTX PRO 6000 Server Edition, passiv gekühlt, mit redundanten Netzteilen und vGPU auf mehr Hypervisoren; für die RTX PRO 5000 im Rack siehe unsere Seite zum Rack-Server mit RTX PRO 5000.
• 84 GB je Karte: die RTX PRO 5500, deren Spezifikationen NVIDIA noch als vorläufig kennzeichnet; unser Vergleich RTX PRO 5500 vs. RTX PRO 5000 72 GB fasst zusammen, was veröffentlicht ist.

Was wir liefern

Sie können dieses System bei uns kaufen: Unser Team legt die Konfiguration auf Ihre Arbeitslast und Ihr Budget aus und antwortet innerhalb eines Werktages. Wir bauen Workstations mit vier RTX PRO 5000 72 GB auf Bestellung, auf Plattformen mit Threadripper PRO oder Xeon W, vor der Lieferung montiert und getestet, auf Wunsch mit Betriebssystem, Treiber, CUDA und Container-Laufzeit, und wir liefern die Karten für einen Tower, den Ihr Unternehmen bereits betreibt. Nennen Sie uns die Modelle und den gewünschten Tower, und wir bestätigen vier Karten, Lanes und Stromkreis vor dem Angebot. Modelle, Retrieval auf Ihren Dokumenten und die Plattform darüber sind unser Service Private AI/ML.

FAQ