Zwei NVIDIA RTX PRO 5000 Blackwell 72 GB oder eine RTX PRO 6000 Blackwell Max-Q

Die Entscheidung in einer Tabelle

Für ein Modell, dessen Gewichte und Cache in rund 83 GiB passen, und für die schnellsten Antworten je Nutzer kaufen Sie eine NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition: 96 GB in einem Bereich, 1.792 GB/s, 300 W und Llama 3.3 70B in FP8 auf einer einzigen Karte. Zwei RTX PRO 5000 Blackwell 72 GB liegen vorn, wenn ein 70B-Modell in FP8 viele Personen gleichzeitig bedienen soll, wenn zwei Teams je eine eigene Karte mit bis zu rund 60 GiB Gewichten brauchen oder wenn virtuelle Maschinen mit Grafikbeschleunigung unter Red Hat Enterprise Linux mit KVM geplant sind. Das Paar braucht die doppelte Kartenleistung, 600 W statt 300 W.

NVIDIA-Produktseite der RTX PRO 5000 und Datenblatt der RTX PRO 6000 Max-Q (Juni 2026), beide gelesen am 24. Oktober 2026; CUDA-Kerne der RTX PRO 5000 aus NVIDIAs Datenblatt, wie in unserem Vergleich 48 GB oder 72 GB zitiert; NVIDIAs vGPU-Liste (2. Oktober 2026); Gespräche nach unserer Regel für Nutzer je Karte.

Beide Karten gehören zur Blackwell-Generation, mit Tensor Cores der fünften Generation und FP4; beide sind Dual-Slot-Karten mit 4,4 × 10,5 Zoll, aktivem Kühler und einem 16-Pin-Anschluss, und keine hat NVLink. Die RTX PRO 5000 ist eine beschnittene Version des Chips der RTX PRO 6000, wie unser Artikel mit Benchmarks der RTX PRO 5000 erklärt; auf beiden Optionen läuft also dieselbe Software.

Speicher: zwei Bereiche zu 72 GB gegen einen mit 96 GB

Unsere Regel für Nutzer je Karte nimmt 90 Prozent des Speichers, den der Treiber meldet, und zieht je Karte 3 GiB für CUDA-Kontext und Aktivierungen ab. Eine Karte mit 96 GB meldet 95,6 GiB, es bleiben 83,0 GiB; für die 72-GB-Karte rechnen wir das auf 71,7 GiB um, es bleiben 61,5 GiB je Karte und 123,1 GiB für das Paar. Die Regel leitet unser Leitfaden Wie viele Nutzer schafft eine RTX PRO 6000? her.

Das Paar ergibt keine GPU mit 144 GB. Jede Karte adressiert nur ihren eigenen Speicher; ein Modell mit mehr als rund 61,5 GiB für Gewichte und Cache muss deshalb über beide Karten verteilt werden, und jedes erzeugte Token erfordert dann einen Austausch über PCIe. Die Max-Q bietet bis zu 83,0 GiB in einem einzigen Speicher. Zwischen 61,5 und 83,0 GiB liegt das Modell, nach dem viele Unternehmen zuerst fragen: Llama 3.3 70B in NVIDIAs FP8-Checkpoint mit 67,7 GiB Gewichten.

Modelle und Gespräche je Option

Die Tabelle zeigt, wie viele Gespräche neben jedem Modell Platz finden, mit einem FP8-KV-Cache von 1,25 GiB je Gespräch zu 8.192 Token für Llama 3.3 70B, 1,0 GiB für Qwen3-32B und 0,625 GiB für Qwen3-14B. gpt-oss-120b rechnen wir mit 32K Token und einem 16-Bit-Cache von 1,125 GiB.

Unsere Schätzung nach der Regel für Nutzer je Karte, speicherbegrenzt, abgerundet, ECC aus; Gewichte wie in unseren Modellartikeln: Qwen3-14B FP8 15,2 GiB, Qwen3-32B FP8 32,0 GiB, Llama 3.3 70B NVFP4 39,8 GiB und FP8 67,7 GiB, gpt-oss-120b 60,8 GiB. Keine Messungen.

Das Paar fasst in jeder Zeile mehr, außer beim 70B-Modell in 4 Bit, wo zwei Kopien mit je 17 Gesprächen mit der einen Kopie der Max-Q und ihren 34 gleichziehen. Der große Abstand liegt bei Llama 3.3 70B in FP8: Über zwei Karten verteilt lässt das Modell 55 GiB für den Cache, auf der Max-Q bleiben neben den Gewichten nur 15,3 GiB. Bei gpt-oss-120b ist es ähnlich. Es lässt sich auf eine 72-GB-Karte laden, doch es bleiben nur 0,7 GiB, die kein Gespräch fassen; auf der RTX PRO 5000 braucht es deshalb beide Karten; die Max-Q fasst es mit 22,2 GiB Rest.

Das sind gleichzeitige Anfragen, keine Beschäftigten. Mit den Beispielwerten aus unserem Leitfaden zum privaten ChatGPT-Server nach Unternehmens­größe erzeugen 500 Beschäftigte zur Spitzenzeit rund 20 gleichzeitige Anfragen. Eine Max-Q deckt das mit Qwen3-32B oder dem 70B-Modell in 4 Bit ab, nicht aber mit dem 70B-Modell in FP8; das Paar deckt es mit beiden 70B-Versionen ab. Wir liefern beide Karten, einzeln als Karte oder in Workstations auf Bestellung; senden Sie uns das Modell und die Zahl der Personen, die es nutzen, und unser Team antwortet mit der passenden Option.

Tempo für einen Nutzer und für viele

Für jedes Token werden die Gewichte des Modells einmal gelesen; Bandbreite geteilt durch die je Token gelesenen Bytes begrenzt also die Geschwindigkeit eines Gesprächs. Nach unserer Rechnung:

Unsere Rechnung, Bandbreite ÷ je Token gelesene Bytes. Reale Engines erreichen nur einen Teil dieser Obergrenzen, und der TP=2-Wert enthält nicht die Zeit für das All-Reduce über PCIe.

Bei jedem Modell, das auf eine Karte passt, liegt die Obergrenze der Max-Q um ein Drittel höher, weil 1.792 GB/s ein Drittel mehr sind als 1.344 GB/s. Nur ein über das Paar verteiltes Modell setzt die Bandbreite beider Karten für ein Gespräch ein, und dann kostet der Austausch über PCIe seinen Anteil. vLLM behält sein schnelles Custom-All-Reduce für zwei GPUs ohne NVLink und schaltet es nur „on more than two PCIe-only GPUs“ ab oder wenn der Peer-to-Peer-Test scheitert; ein Paar ist damit der einfachste Fall für eine Aufteilung ohne NVLink. vLLM 0.30.0 (Release Notes vom 22. September 2026) hat ein optionales FlashInfer-All-Reduce über PCIe-IPC für Systeme ohne NVLink ergänzt (#53576). Beide Karten gehören in x16-Steckplätze am selben Prozessor; unser Leitfaden zu RTX PRO 6000 P2P unter Linux nennt die Einstellungen in BIOS und Kernel, die für jedes Paar von RTX-PRO-Karten gelten.

Bei vielen Nutzern werden die Gewichte eines dichten Modells je Schritt einmal für den ganzen Batch gelesen; der Durchsatz wächst also mit der Parallelität, bis Rechenleistung oder Cache ausgehen. Dort zählt der größere Cache des Paars. Eine veröffentlichte Messung der RTX PRO 5000 mit Sprachmodellen, die Engine-Version, Präzision, Parallelität und Testsystem zusammen nennt, haben wir nicht gefunden. Der nächste veröffentlichte Vergleich betrifft Video: Puget Systems maß die 72-GB-Karte im August 2026 in Topaz Video 1.6.1 um 7 Prozent hinter der RTX PRO 6000 Max-Q.

Rechenleistung, Prompts und Fine-Tuning

Für die Verarbeitung von Prompts und für Training zählt die Tensor-Leistung. NVIDIA nennt für die RTX PRO 5000 2.064 AI TOPS und für die Max-Q 3.511, beide FP4 mit Sparsity, und unser Vergleich 48 GB oder 72 GB nennt für die RTX PRO 5000 65 TFLOPS FP32 gegenüber 110 bei der Max-Q. Die 4.128 AI TOPS des Paars addieren sich nur, wenn beide Karten arbeiten: an getrennten Aufgaben, an zwei Kopien eines Modells oder an einem verteilten Modell, dessen Schichten aufeinander warten. Für lange Dokumente, RAG mit großen Prompts und Coding-Agenten auf einem Modell, das in 96 GB passt, ist eine Max-Q das schnellere Einzelgerät.

Fine-Tuning braucht mehr Speicher als der Inferenzbetrieb. Nach den Regeln je Parameter in unserem Leitfaden zum GPU-Speicher für Fine-Tuning belegt ein QLoRA-Lauf auf einem 70B-Modell rund 42,8 GB für die Modellzustände; das passt auf eine Karte beider Optionen, nach unserer Rechnung bleiben rund 29 GB auf einer 72-GB-Karte und rund 53 GB auf der Max-Q. Das Paar kann zwei solche Läufe nebeneinander betreiben, einen je Karte.

MIG, vGPU und virtuelle Maschinen

MIG teilt eine Karte in isolierte Instanzen mit eigenem Speicher und eigener Rechenleistung. NVIDIAs Datenblatt der Max-Q nennt bis zu vier Instanzen zu 24 GB, zwei zu 48 GB oder eine zu 96 GB. Laut NVIDIAs Produktseite bietet die RTX PRO 5000 bis zu zwei Instanzen; das Datenblatt der 72-GB-Karte nennt je 36 GB. NVIDIAs MIG-Handbuch, aktualisiert am 13. Oktober 2026, führt bisher nur die Version mit 48 GB; lesen Sie die Profile auf der gelieferten Karte deshalb mit nvidia-smi mig -lgip aus. Das Paar bietet also vier isolierte GPUs zu 36 GB, die Max-Q vier zu 24 GB oder zwei zu 48 GB. Je Karte sind die Hälften der Max-Q mit 48 GB größer als die der RTX PRO 5000 mit 36 GB; das Paar bringt mehr Instanzen mittlerer Größe. Eine Instanz mit 36 GB fasst ein 32B-Modell in 4 Bit mit Cache für rund neun Gespräche, eine mit 24 GB nicht. MIG braucht auf beiden Karten Linux, Treiber 575.51.03 oder neuer und die Umstellung auf den Compute-Modus mit DisplayModeSelector, die die Displayausgänge abschaltet.

Bei vGPU trennen sich die beiden deutlicher. Die RTX PRO 5000 72 GB steht auf NVIDIAs vGPU-Liste ab vGPU 20.2 vom August 2026, mit Support bis März 2027, und von den Hypervisor-Seiten, die wir am 24. Oktober 2026 gelesen haben, führen sie nur NVIDIAs validierte Plattformen für Red Hat Enterprise Linux mit KVM, mit den Grafikeditionen vWS und vPC. Die Max-Q steht nicht auf der Liste; virtuelle Maschinen erhalten sie nur als ganze Karte per Passthrough, und Threads im Proxmox-Forum berichten von Reset-Problemen auf Hosts mit mehreren Max-Q im Passthrough, wie unsere Seite zur Max-Q in virtuellen Maschinen erklärt. Für vGPU unter VMware vSphere ist keine der beiden Optionen gelistet; das ist eine Aufgabe für die RTX PRO 6000 Server Edition in einem Rack-Server, wie unser Leitfaden MIG und vGPU: VMs pro GPU zeigt.

Strom, Steckplätze und die Workstation

Mit einem Workstation-Prozessor mit 350 W und 15 Prozent für Arbeitsspeicher, Laufwerke, Lüfter und Netzteilverluste kommen zwei RTX PRO 5000 nach unserer Schätzung auf rund 1,1 kW an der Steckdose, rund 4,8 A an 230 V, eine Max-Q auf rund 0,75 kW, rund 3,3 A. Beide laufen an einem gewöhnlichen Bürostromkreis mit 16 A, das Paar gibt aber rund 350 W mehr Wärme in den Raum ab und braucht zwei 16-Pin-Kabel vom Netzteil. Beide Karten haben Radiallüfter, die durch das Slotblech ausblasen; lassen Sie hinter dem Tower Platz frei. Unser Artikel zum Stromverbrauch der RTX PRO 6000 Max-Q an 230 V behandelt Stromkreise und Kabel für die 300-W-Klasse.

In vielen Firmen-Towern entscheiden die Steckplätze mehr als der Strom. Das Paar braucht zwei x16-Steckplätze mit Dual-Slot-Abstand an einem Prozessor, die Max-Q einen. Beide Wege lassen sich in einem dafür gebauten Tower auf vier Karten ausbauen: Vier Max-Q bieten 384 GB, vier RTX PRO 5000 72 GB bieten 288 GB, bei denselben 1.200 W Kartenleistung. Dells Konfigurator der Precision 7960 bietet bis zu vier RTX PRO 5000 72 GB an, Lenovos Spezifikation der ThinkStation PX nennt bis zu vier Max-Q und bietet auch die RTX PRO 5000 72 GB an, und HP führt für die Z8 Fury G6i bis zu vier Max-Q und keine RTX PRO 5000, wie unser Leitfaden Workstation mit RTX PRO 5000 72 GB kaufen darlegt.

Zwei Max-Q bei denselben 600 W

Erlaubt das Budget 600 W Kartenleistung, sind zwei RTX PRO 6000 Max-Q die dritte Option und auf dem Papier die stärkste. Sie bieten 192 GB und nach unserer Regel 166,1 GiB nutzbar, 1.792 GB/s je Karte und Llama 3.3 70B in FP8 auf jeder Karte: 24 Gespräche als zwei Kopien oder 78 als ein TP=2-Paar, gegenüber 44 auf zwei RTX PRO 5000 72 GB. Qwen3-32B in FP8 erreicht als zwei Kopien 102. Auch bei MIG liegt das Max-Q-Paar vorn, mit vier Hälften zu 48 GB gegenüber vier zu 36 GB. Dem Paar aus RTX PRO 5000 bleibt ein eigenes Argument, vGPU unter Red Hat KVM. Spielt dieses keine Rolle, entscheidet zwischen zwei RTX PRO 5000 72 GB und zwei Max-Q der Preis der beiden Konfigurationen, die wir Ihnen nebeneinander anbieten. Unser Leitfaden zu zwei RTX PRO 6000 Max-Q in einer Workstation behandelt dieses System.

Welche Option für welche Arbeit

• Ein 70B-Modell in FP8 für ein Team oder die schnellsten Antworten bei einem Modell, das in 96 GB passt: eine RTX PRO 6000 Max-Q.
• Ein 70B-Modell in FP8 für 20 bis 40 gleichzeitige Anfragen: zwei RTX PRO 5000 72 GB als TP=2-Paar oder, wenn das Budget es erlaubt, zwei Max-Q.
• Zwei Teams oder zwei Modelle mit je bis zu rund 60 GiB nebeneinander: zwei RTX PRO 5000 72 GB, ein Modell je Karte.
• Virtuelle Maschinen mit Grafikbeschleunigung unter Red Hat KVM: RTX PRO 5000 72 GB, hier die einzige Option auf NVIDIAs vGPU-Liste.
• Vier isolierte Nutzer auf einer Linux-Maschine: beide; das Paar gibt vier Instanzen zu 36 GB, die Max-Q vier zu 24 GB oder zwei zu 48 GB.
• Ein Tower mit einem freien x16-Steckplatz oder einem Budget von 300 W: eine RTX PRO 6000 Max-Q.
• vGPU unter VMware: keine der beiden; ein Rack-Server mit RTX PRO 6000 Server Edition.

Unser Vergleich mehrere RTX PRO 5000 oder 4500 statt weniger RTX PRO 6000 stellt zwölf Ausbaustufen nebeneinander, und unser Vergleich RTX PRO 5000 mit 48 GB oder 72 GB behandelt die Wahl innerhalb der 5000er-Reihe.

Was wir liefern

Sie können dieses System bei uns kaufen: Unser Team legt die Konfiguration auf Ihre Arbeitslast und Ihr Budget aus und antwortet innerhalb eines Werktages. Wir liefern die RTX PRO 5000 72 GB und die RTX PRO 6000 Max-Q als Karten für Workstations, die Sie bereits betreiben, nach einer Prüfung von Steckplätzen, Netzteil und Kabeln, und bauen Workstations mit beiden Karten auf Bestellung auf Plattformen mit Threadripper PRO oder Xeon W, vor der Lieferung montiert und getestet, mit einem EU-Vertrag, einer EU-Rechnung und Herstellergarantie auf jede Komponente. Stückzahlen und Lieferzeit werden mit dem Angebot schriftlich bestätigt. Nennen Sie uns das Tower-Modell, die geplanten Modelle und die Nutzer zur Spitzenzeit, und wir antworten mit der passenden Option und einem schriftlichen Angebot.

FAQ