Acht NVIDIA RTX PRO 5000 Blackwell 72 GB in einem Server: was auf 576 GB läuft

576 GB bei 2,4 kW: was acht Karten ergeben

Ein Server mit acht NVIDIA RTX PRO 5000 Blackwell 72 GB hat 576 GB GPU-Speicher bei 300 W je Karte, davon stehen nach unserer Auslegungsregel 492,2 GiB für Gewichte und KV-Cache bereit. Das reicht für ein Modell je Karte bis rund 60 GiB Gewichte, für Llama 3.3 70B in FP8 als vier tensorparallele Paare mit 176 Gesprächen zu 8K oder für Qwen3-235B-A22B in FP8 als zwei Kopien über je vier Karten. Modelle ab 500 GB wie Kimi-K2.6 fasst er nicht, und die Gehäuse für acht Karten, die diese Karte führen, führen auch die RTX PRO 6000 Max-Q: acht davon ergeben 768 GB bei denselben 2,4 kW.

Die NVIDIA RTX PRO 5000 Blackwell ist eine Workstation-Karte: 48 oder 72 GB GDDR7 mit ECC, 1.344 GB/s, 300 W und ein aktiver Radiallüfter auf zwei Steckplätzen, ohne NVLink. Acht davon gehören nur in ein Gehäuse, für das der Hersteller die Karte führt. Welche Gehäuse das sind und wie die Bestellung läuft, steht auf unserer Seite RTX PRO 5000 Rack-Server kaufen; hier geht es darum, was auf den acht Karten läuft.

NVIDIA-Produktseite der RTX PRO 5000 (gelesen am 24. Oktober 2026) und Datenblätter; NVIDIA-MIG-Handbuch (13. Oktober 2026). Nutzbarer Speicher und Summen nach unserer Schätzung, ECC aus. „Server“ steht für Server Edition.

Der nutzbare Speicher folgt unserer Regel für Nutzer je Karte: 90 Prozent des Speichers, den der Treiber meldet, abzüglich 3 GiB je Karte für CUDA-Kontext, Graphen und Aktivierungen. Eine Karte mit 96 GB meldet 95,6 GiB; für die 72-GB-Karte rechnen wir das auf 71,7 GiB um, es bleiben 61,5 GiB je Karte und 492,2 GiB für acht. Regel und Herleitung stehen in unserem Leitfaden Wie viele Nutzer schafft eine RTX PRO 6000?. Würde ECC die 6,25 Prozent belegen, die NVIDIAs CUDA Best Practices Guide für GDDR-Speicher nennt, blieben je Karte rund 57,5 GiB; für GDDR7 veröffentlicht NVIDIA keinen Wert.

Acht getrennte Speicherbereiche zu 72 GB: ein Modell je Karte oder verteilt

Jede Karte adressiert nur ihren eigenen Speicher. Ein Modell, das auf eine Karte passt, läuft als eine Kopie je Karte ohne Datenverkehr zwischen den Karten, und eine ausgefallene Karte nimmt nur eine Kopie mit. Ein größeres Modell wird über zwei, vier oder acht Karten per PCIe 5.0 verteilt, und jedes erzeugte Token wartet dann auf den Austausch der Teilergebnisse. Bei einem verbreiteten Modell liegt die Grenze von 72 GB ungünstig: Llama 3.3 70B hat in NVIDIAs FP8-Checkpoint 67,7 GiB Gewichte, 6 GiB mehr, als eine Karte nach unserer Regel fasst.

Unsere Schätzung nach der Regel für Nutzer je Karte mit 61,5 GiB je Karte. Gewichte aus den veröffentlichten Checkpoints wie in unseren Modellartikeln: gpt-oss-120b 65,3 GB, Qwen3-235B-A22B-Instruct-2507-FP8 236 GB, GLM-4.7 FP8 362 GB, Repository von Kimi-K2.6 595 GB, in GiB umgerechnet.

Das 70B-Modell in 4 Bit passt am besten: 39,8 GiB Gewichte lassen je Karte 21,7 GiB frei, genug für 17 Gespräche zu 8K, und acht Kopien ergeben acht unabhängige Dienste. gpt-oss-120b lässt auf einer Karte nur 0,7 GiB Rest, der kein Gespräch fasst und verschwindet, wenn ECC Speicher belegt; wir planen es deshalb auf TP=2-Paaren. Ein Server, der Kimi-K2.6 oder DeepSeek-V3.2 mit seinem Repository von 690 GB fassen soll, braucht mehr als 576 GB; acht RTX PRO 6000 Server Edition fassen Kimi-K2.6 mit rund 13,8 GiB Rest je Karte, wie unser Leitfaden zur Hardware für Kimi K2 erklärt.

Gespräche je Aufteilung nach unserer Auslegungsregel

Die Tabelle zählt gleichzeitig gehaltene Gespräche mit FP8-KV-Cache: 1,25 GiB je Gespräch zu 8.192 Token für Llama 3.3 70B, 1,0 GiB für Qwen3-32B und 0,625 GiB für Qwen3-14B. gpt-oss-120b rechnen wir mit 32K Token und einem 16-Bit-Cache von 1,125 GiB. Jede Zelle nennt die Aufteilung.

Unsere Schätzung, speicherbegrenzt, abgerundet: (nutzbarer Speicher der Kopie − Gewichte) ÷ Cache je Gespräch × Kopien. Keine Messungen. Die Spalte zur RTX PRO 6000 Server Edition entspricht unserem Leitfaden dazu, was ein Server mit 8× RTX PRO 6000 Server Edition betreibt.

Weniger Kopien fassen mehr Gespräche, weil jede Kopie ihre Gewichte nur einmal speichert. Llama 3.3 70B in FP8 erreicht auf den 72-GB-Karten 284 Gespräche als zwei TP=4-Kopien und 339 als eine TP=8-Kopie, um den Preis von mehr Verkehr über PCIe je Token. Als Planungshilfe rechnen die Beispielwerte in unserem Leitfaden zum privaten ChatGPT-Server nach Unternehmens­größe zur Spitzenzeit mit rund 80 gleichzeitigen Anfragen bei 2.000 Beschäftigten; vier Paare mit 70B in FP8 decken diesen Fall vom Speicher her doppelt ab, oder zwei Paare mit 88 Gesprächen decken ihn ab, während vier Karten andere Modelle betreiben.

Für eine gemischte Plattform rechnet man je Karte. Eine typische Aufteilung: zwei Paare für Llama 3.3 70B in FP8 mit 88 Gesprächen, zwei Karten mit Qwen3-32B für Programmierhilfe, je eine Karte für ein Embedding-Modell, einen Reranker und Spracherkennung und eine Karte für Experimente. Wie man Anfragen über eine solche Aufteilung verteilt, beschreibt unser Leitfaden Mehrere LLMs auf einem GPU-Server. Senden Sie uns Ihre Modellliste und die Spitzenlast, die Ihr Gateway zeigt, und unser Team schickt Ihnen eine Aufteilung Karte für Karte für acht RTX PRO 5000 und für die Alternativen.

Größere Modelle auf 576 GB

Qwen3-235B-A22B passt in seiner FP8-Version mit 219,8 GiB auf vier Karten und lässt 26,3 GiB für den Cache. Mit einem FP8-Cache von rund 2,94 GiB je Gespräch zu 32K fasst jede Kopie 8 Gespräche, zwei TP=4-Kopien also 16; bei 8K sind es rund 70. Zwei Kopien sind die sicherere Aufteilung: vLLMs Qwen3-Anleitung auf GitHub (Issue 17327) berichtet von einem Fehler mit FP8-MoE-Gewichten in 128er-Blöcken bei manchen Größen der Tensor-Parallelität und empfiehlt --tensor-parallel-size 4 oder 8 mit Expert-Parallelität. Auf acht RTX PRO 6000 Server Edition fassen dieselben zwei Kopien 76.

GLM-4.7 in FP8 mit 337,1 GiB passt nur über alle acht Karten und lässt 155,1 GiB für den Cache, rund 13 Gespräche zu 32K mit 16-Bit-Cache, gegenüber rund 28 auf acht Karten mit 96 GB. Für ein kleines Team reicht das; für eine Abteilung passt die 96-GB-Klasse besser. Modelle ab 500 GB sind auf 576 GB nicht sinnvoll: DeepSeek-V3.2 lädt nicht, und Kimi-K2.6 übersteigt mit 554,1 GiB die 492,2 GiB, die wir als nutzbar rechnen. Unser Leitfaden zu den Hardware-Anforderungen von LLMs nach Modell listet die Größen.

Die RTX PRO 5000 hat dieselbe Compute Capability 12.0 wie die RTX PRO 6000; die Kernel-Unterstützung und die Lücken, die unsere Leitfäden zu acht RTX PRO 6000 beschreiben, gelten deshalb auch für sie. Anders sind Speicher je Karte und Bandbreite.

Geschwindigkeit: 1.344 GB/s je Karte und PCIe dazwischen

Für ein Token wird jedes aktive Gewicht einmal gelesen; Bandbreite geteilt durch die je Token gelesenen Bytes begrenzt also die Geschwindigkeit eines Gesprächs. Nach unserer Rechnung kommt eine RTX PRO 5000 bei Llama 3.3 70B in NVFP4, das rund 40,6 GB je Token liest, auf höchstens rund 33 Token pro Sekunde, gegenüber rund 39 auf einer RTX PRO 6000 Server Edition und 44 auf einer Max-Q. Ein TP=2-Paar mit der FP8-Version, 70,6 GB je Token, hat vor dem Austausch über PCIe eine Obergrenze von rund 38 Token pro Sekunde. Für gpt-oss-120b, ein Mixture-of-Experts-Modell, das rund 5 GB je Token liest, liegt die Grenze je Karte bei rund 270 für ein Gespräch; in einem Batch gehen die Token an unterschiedliche Experten, und ein Schritt liest mehr. Das sind nach unserer Schätzung Obergrenzen aus den Spezifikationen, keine Prognosen.

vLLM behält sein schnelles Custom-All-Reduce für zwei GPUs ohne NVLink und schaltet es bei mehr als zwei standardmäßig ab, mit der Warnung „Custom allreduce is disabled because it's not supported on more than two PCIe-only GPUs“; TP=4 und TP=8 nutzen dann NCCL. vLLM 0.30.0 vom 22. September 2026 brachte ein optionales All-Reduce von FlashInfer über PCIe für zwei, vier oder acht GPUs; einen veröffentlichten Gewinn auf acht Karten haben wir nicht gefunden. vLLMs Leitfaden zur Parallelisierung empfiehlt auf GPUs ohne NVLink Pipeline- statt Tensor-Parallelität. Unser Artikel Ein Modell, mehrere GPUs: PCIe oder NVLink erklärt die Abwägung, und Paare gehören an denselben Prozessorsockel.

Eine veröffentlichte Messung mit vier oder acht dieser Karten in einem Server haben wir nicht gefunden. Die veröffentlichten Werte einzelner Karten betreffen andere Arbeitslasten: Puget Systems maß die 72-GB-Karte im August 2026 in Topaz Video 1.6.1 um 7 Prozent hinter der RTX PRO 6000 Max-Q, wie unser Artikel mit Benchmarks der RTX PRO 5000 berichtet.

MIG und vGPU auf acht Karten

Laut NVIDIAs Produktseite unterstützt die RTX PRO 5000 bis zu zwei MIG-Instanzen. Das MIG-Handbuch führt die 48-GB-Karte mit zwei Instanzen zu 24 GB, acht Karten ergeben also 16; die 72-GB-Karte steht noch nicht im Handbuch, ihr Datenblatt nennt zwei Instanzen zu 36 GB, was 16 isolierte GPUs zu 36 GB ergäbe. Nach unserer Regel fasst eine Instanz mit 36 GB Qwen3-14B in FP8 mit Cache für rund 22 Gespräche zu 8K oder ein 32B-Modell in 4 Bit für rund neun, ein 32B-Modell in FP8 aber nicht. MIG braucht Linux, Treiber 575.51.03 oder neuer und die Umstellung der Karten auf den Compute-Modus mit DisplayModeSelector, die ihre Displayausgänge abschaltet. Die Profilnamen lesen Sie auf den gelieferten Karten mit nvidia-smi mig -lgip aus.

Nur die 72-GB-Karte steht auf NVIDIAs vGPU-Liste, ab vGPU 20.2 vom August 2026 mit Support bis März 2027, und von den Hypervisor-Seiten, die wir gelesen haben, führen sie nur NVIDIAs validierte Plattformen für Red Hat Enterprise Linux mit KVM, mit den Grafikeditionen vWS und vPC. Ein Server mit acht Karten für virtuelle Desktops unter VMware braucht die RTX PRO 6000 Server Edition oder die RTX PRO 4500 Server Edition; unser Leitfaden MIG und vGPU: VMs pro GPU zählt die Plätze je Karte.

Strom, Gehäuse und Zulufttemperatur

Die acht Karten ziehen 2,4 kW. Mit zwei Serverprozessoren und 15 Prozent für Arbeitsspeicher, Laufwerke, Lüfter und Netzteilverluste schätzen wir rund 3,6 kW an der Steckdose mit zwei AMD EPYC 9555 zu 360 W und rund 3,9 kW mit zwei Xeon 6900 zu 500 W, der Obergrenze, die Supermicro für sein SYS-322GA-NR nennt. Ein Abgang mit 230 V und 16 A trägt bei 80 Prozent Auslastung 2,94 kW, der Server braucht also einen Abgang mit 32 A je Seite, der 5,89 kW trägt. Acht RTX PRO 6000 Server Edition mit 600 W kommen nach derselben Methode auf rund 6,3 kW. Alles wird zu Wärme: 3,6 kW sind rund 12.300 BTU/h.

Produktseite des 2CRSi Godì 1.8SP5-D und Supermicro-Datenblätter, gelesen am 24. Oktober 2026. Jedes nennt die RTX PRO 5000 Blackwell in seiner GPU-Liste; keines gibt eine eigene Anzahl für sie an.

2CRSi führt die RTX PRO 5000 mit 48 oder 72 GB bei 300 W für den Godì, mit Steckplätzen für GPUs bis 350 W, vier PCIe-5.0-x16-Steckplätzen je Prozessor und 4+1 Netzteilen mit 2.000 W; seine Obergrenze von 25 °C verlangt einen Serverraum, der die Rackfront darunter hält. Supermicros Datenblätter nennen eine Höchstzahl an Dual-Slot-GPUs je Gehäuse und keine Zahl je Modell; acht Karten bestätigen wir deshalb beim Hersteller. Supermicros SYS-422GA-NRT und SYS-422GL-NR für acht Karten führen die Karte nicht. Abgangsarten erklärt unser Leitfaden GPU-Server an 16 A, 32 A und Drehstrom.

Wann eine andere Konfiguration besser passt

• Ein 70B-Modell in FP8 je Karte oder Modelle über 500 GB: acht RTX PRO 6000 Server Edition, 96 GB je Karte, passiv und von den meisten GPU-Server-Herstellern geführt; siehe unseren Leitfaden dazu, was ein Server mit 8× RTX PRO 6000 Server Edition betreibt.
• Dieselben 2,4 kW mit mehr Speicher, direkt auf der Hardware: acht RTX PRO 6000 Max-Q in einem Gehäuse, das beide Karten führt; jedes Gehäuse in der Tabelle oben führt auch die Max-Q, und unser Vergleich 8 GPUs mit 300 W stellt die Max-Q einer auf 300 W begrenzten Server Edition gegenüber.
• Viele kleine Modelle, MIG und vGPU unter VMware mit rund 2,2 kW: acht RTX PRO 4500 Server Edition, wie auf unserer Seite dazu, was ein Server mit 8× RTX PRO 4500 Server Edition betreibt.
• Die halbe Größe: vier RTX PRO 5000 72 GB mit 246,1 GiB nutzbar, die an einen 16-A-Abgang passen.
• Training und Fine-Tuning großer Modelle: unser Trainingsknoten mit acht H200 NVL und NVLink-Brücken.

Acht RTX PRO 5000 bleiben eine vernünftige Wahl, wo das Team die Karte bereits auf seinen Workstations nutzt, wo jedes Modell je Kopie in 61,5 GiB passt oder wo Grafik-vGPU unter Red Hat KVM zur Aufgabe gehört. Trifft nichts davon zu, entscheidet zwischen ihnen und acht Max-Q der Preis der beiden Konfigurationen, die wir Ihnen nebeneinander anbieten.

Was wir liefern

Sie können dieses System bei uns kaufen: Unser Team legt die Konfiguration auf Ihre Arbeitslast und Ihr Budget aus und antwortet innerhalb eines Werktages. Wir liefern die RTX PRO 5000 mit 48 oder 72 GB und bauen Server mit acht Karten auf Bestellung auf Gehäusen, für die der Hersteller die Karte führt, vor der Lieferung montiert und getestet, mit einem EU-Vertrag, einer EU-Rechnung und Herstellergarantie auf jede Komponente. Stückzahlen und Lieferzeit werden mit dem Angebot schriftlich bestätigt. Nennen Sie uns den Rackplatz, seinen Abgang und seine Zulufttemperatur, und wir antworten mit Gehäuse, Kartenaufteilung und Alternativen.

FAQ