Zwei NVIDIA RTX PRO 6000 Blackwell Max-Q in einer Workstation: was 192 GB leisten

Zwei Max-Q in einer Workstation

Eine Workstation mit zwei NVIDIA RTX PRO 6000 Blackwell Max-Q hat 192 GB GPU-Speicher und betreibt nach unserer Auslegungsregel offene Modelle mit bis zu rund 150 GiB Gewichten: Llama 3.3 70B in FP8 für rund 78 gleichzeitige Gespräche mit 8K Token und FP8-Cache, gpt-oss-120b als zwei unabhängige Kopien oder DeepSeek-V4-Flash verteilt über beide Karten. Unter Volllast braucht sie nach unserer Schätzung rund 1,1 kW an der Steckdose, was ein gewöhnlicher 230-V-Stromkreis im Büro trägt. Die beiden Karten verschmelzen nicht zu einer GPU mit 192 GB; ein größeres Modell teilt die Software über PCIe auf beide auf.

Die Max-Q ist die 300-W-Edition der RTX PRO 6000 Blackwell. Sie hat den vollen Chip der Workstation Edition mit 600 W, 24.064 CUDA-Kerne, und dieselben 96 GB GDDR7 mit ECC bei 1.792 GB/s. NVIDIAs Datenblatt zur Max-Q vom Juni 2026 nennt eine Karte mit zwei Slots, aktivem Kühler und einem 16-poligen Stromanschluss an PCIe 5.0 x16, und die Produktseite sagt, sie ermögliche „bis zu vier GPUs in einem einzigen System“. Zwei Karten passen zu einem Pilotprojekt für eine Abteilung, zu einem Entwicklungsrechner für ein ML-Team oder zu einem System am Arbeitsplatz für ein Labor, dessen Daten im Haus bleiben müssen.

Datenblatt der NVIDIA RTX PRO 6000 Blackwell Max-Q (Juni 2026) und Produktseite, gelesen am 24. Oktober 2026; 95,6 GiB sind die 97.887 MiB, die nvidia-smi meldet.

Unsere Regel für Nutzer je Karte nimmt 90 Prozent des Speichers, den der Treiber meldet, und zieht je Karte 3 GiB für CUDA-Graphen und Aktivierungen ab: 0,9 × 95,6 − 3 = 83,04 GiB. Was die Gewichte übrig lassen, ist KV-Cache, also der Speicher, den jedes laufende Gespräch braucht. Die Herleitung steht in unserem Leitfaden wie viele Nutzer eine RTX PRO 6000 schafft.

Warum die 300-W-Edition für zwei Karten

Zwei Workstation Edition mit 600 W lassen sich in einigen Towern betreiben, doch ihre Double-Flow-Through-Kühler geben die Wärme ins Gehäuse ab, und die obere Karte atmet die Abluft der unteren. Unser Vergleich der Editionen beschreibt die drei Versionen im Detail. Die Max-Q hat einen Radiallüfter, der die Wärme hinten aus dem Gehäuse drückt; zwei Karten nebeneinander heizen sich so weniger gegenseitig auf, und das Paar bleibt bei 600 W Kartenleistung statt 1.200 W.

Der Preis des niedrigeren Limits ist der Takt. Puget Systems hat im Juli 2025 gemessen, dass die Max-Q in Render- und Videoanwendungen 5 bis 14 Prozent hinter der Workstation Edition liegt. Bei LLMs hängt der Abstand von der Phase ab. Die Erzeugung von Token ist durch die Speicherbandbreite begrenzt, und die ist bei beiden Editionen gleich. Die Verarbeitung des Prompts ist durch die Rechenleistung begrenzt. Ein Test im Level1Techs-Forum mit einer auf 300 W begrenzten 600-W-Karte zeigt das Muster: Bei Llama 3.3 70B in 8 Bit (Q8_0) mit llama.cpp sank die Token-Erzeugung von 20,54 auf 19,29 Token pro Sekunde, rund 6 Prozent, die Prompt-Verarbeitung dagegen von 1.735 auf 907 Token pro Sekunde. Die Karte war eine per Software begrenzte Workstation Edition und keine Max-Q, sie betreibt aber denselben Chip mit demselben Limit. Unser Artikel zu zwei RTX PRO 6000 Workstation Edition behandelt das 600-W-Paar.

Tower, für die Hersteller zwei oder vier Max-Q angeben

Die folgenden Hersteller führen die Max-Q in ihren eigenen Spezifikationen für diese Tower. Ein Tower für vier Karten nimmt auch zwei auf und lässt Platz für den späteren Ausbau.

HP-Spezifikationsseite der Z8 Fury G6i, Lenovo-PSREF-Spezifikationen der ThinkStation P5 Gen 2 (2. September 2026) und der ThinkStation PX (9. Oktober 2026) sowie Dells Konfigurator der Precision 7960, alle gelesen am 24. Oktober 2026.

Die P5 Gen 2 ist eine Maschine für zwei Karten, mit Netzteilen von 750 oder 1.000 W je nach Konfiguration. Die anderen drei sind Tower für vier Karten. StorageReview hat in einem Test vom 23. Juni 2026 zwei Max-Q in der HP Z8 Fury G6i geprüft, die jeden GPU-Steckplatz mit PCIe 5.0 x16 anbindet. Wir bauen GPU-Workstations auch auf Bestellung, auf Plattformen mit Threadripper PRO oder Xeon W, wie unsere Seite zu KI-Servern beschreibt.

2 × 96 GB und ein Modell, das größer ist als eine Karte

Die beiden Karten bilden keine GPU mit 192 GB. Keine Edition der RTX PRO 6000 hat NVLink; jede Karte adressiert nur ihre eigenen 96 GB, und die beiden tauschen Daten über ihre PCIe-Anbindung aus. Ein Modell, das größer ist als eine Karte, muss von der Serving-Engine aufgeteilt werden: Bei Tensor-Parallelismus (TP=2) wird jede Schicht halbiert, und die Karten addieren nach jeder Schicht ihre Teilergebnisse; bei Pipeline-Parallelismus hält jede Karte die Hälfte der Schichten und reicht die Aktivierungen weiter.

Für die Kapazitätsrechnung ist der Effekt klein: Zwei Karten halten nach unserer Regel 166,1 GiB Gewichte und Cache, und ein aufgeteiltes Modell nutzt fast alles davon. Für die Geschwindigkeit wartet bei TP=2 jedes Token auf einen Austausch über PCIe. Hier sind zwei Karten in vLLM gegenüber vier im Vorteil: Der Quellcode schaltet das eigene Custom-All-Reduce von vLLM „on more than two PCIe-only GPUs“ ab und weicht auf NVIDIAs Bibliothek NCCL aus. In der Standardeinstellung ist ein TP=2-Paar damit die einzige Aufteilung ohne NVLink, die den schnelleren Kernel behält, solange der Peer-to-Peer-Test zwischen den Karten besteht. vLLM 0.30.0 (Release Notes vom 22. September 2026) hat ein optionales FlashInfer-PCIe-IPC-All-Reduce für Systeme ohne NVLink ergänzt (#53576); es ändert das nur dort, wo es eingeschaltet ist. Unser Vergleich TP=2, TP=4 oder Replikate ohne NVLink erklärt die Codepfade.

Am Peer-to-Peer-Zugriff scheitern Aufbauten mit zwei Karten am häufigsten. NVIDIAs NCCL-Dokumentation warnt, dass IO-Virtualisierung GPU Direct stören kann, weil sie den gesamten Punkt-zu-Punkt-Verkehr über PCI zum Root Complex der CPU umleitet, was „die Leistung deutlich verringert oder sogar zum Hängen führt“. Ein Thread im Level1Techs-Forum zu zwei Max-Q mit Treiber 580.95.05 und NCCL 2.28.9 berichtet genau das: NCCL blieb beim ersten All-Reduce direkt nach „Connected all rings“ stehen, und Nutzer lösten das Problem entweder durch Abschalten der IOMMU im BIOS oder mit iommu=pt und abgeschaltetem ACS. Unser Leitfaden RTX PRO 6000 P2P unter Linux listet die Prüfungen auf.

Eine Kopie je Karte oder eine Kopie über beide

Bei der Wahl der Aufteilung steht Kapazität gegen Unabhängigkeit. Zwei Kopien, eine je Karte, brauchen keinen Verkehr zwischen den Karten, und fällt eine Karte aus, bedient die andere weiter. Eine Kopie über beide Karten speichert die Gewichte nur einmal, lässt also weit mehr Speicher für Gespräche übrig, und ein einzelner Nutzer bekommt bis zur doppelten Speicherbandbreite.

Unsere Schätzung nach der Regel für Nutzer je Karte; gleichzeitige Gespräche in voller Kontextlänge, KV-Cache in 16 Bit, sofern nicht anders angegeben. Cache je Gespräch: 2,5 GiB (16 Bit) oder 1,25 GiB (FP8) für Llama 3.3 70B bei 8K, 1,125 GiB für gpt-oss-120b und 2,14 GiB für Qwen3.8-27B bei 32K, wie in unseren Modell-Leitfäden.

Für die TP=2-Zeile von Llama 3.3 70B: Von 166,08 GiB bleiben nach 67,7 GiB Gewichten 98,4 GiB, und 98,4 ÷ 2,5 ergibt 39 Gespräche, mit FP8-Cache 78. Auf einer Karte allein bleiben 15,3 GiB, also sechs Gespräche. Gezählt sind Anfragen, die im selben Moment laufen. Ein Team von 50 Personen mit einem Assistenten, der den ganzen Tag offen ist, erzeugt weit weniger gleichzeitige Antworten; legen Sie die Größe deshalb nach der Spitze aus, die die Logs Ihres Gateways zeigen.

Welche Modelle in 192 GB passen

Zwei Karten erschließen die Klasse der Modelle zwischen 96 GB und rund 150 GiB Gewichten, die eine Karte nicht hält.

Größen der Checkpoints auf Hugging Face, wie in unseren Modell-Leitfäden und unserem Artikel zu vier Max-Q angegeben; freier Platz nach unserer Regel (166,1 GiB abzüglich der Gewichte; bei DeepSeek-V4-Flash je Karte, weil sein Cache vollständig auf jeder Karte liegt).

DeepSeek-V4-Flash passt am knappsten: Sein komprimierter Cache liegt bei Tensor-Parallelismus vollständig auf jeder Karte, die Zahl der Gespräche hängt also vom Platz ab, der auf einer Karte übrig bleibt, rund 5 GiB. Unser DeepSeek-Hardware-Leitfaden erklärt, wie sein Cache aufgeteilt wird. Weitere Modelle und Größen stehen in unseren LLM-Hardware-Anforderungen nach Modell.

Senden Sie uns die Modelle, die Ihr Team dauerhaft geladen halten will, und die Zahl der Personen, die sie nutzen, und wir rechnen durch, ob zwei Karten reichen oder ob der Tower für vier vorbereitet sein sollte.

Veröffentlichte Messwerte einer Workstation mit zwei Max-Q

Der Test der HP Z8 Fury G6i bei StorageReview nennt vLLM-Ergebnisse für zwei Max-Q über mehrere Modelle und Batch-Größen. Das Testgerät hatte einen Intel Xeon 696X mit 64 Kernen, 128 GB DDR5 und zwei Max-Q; StorageReview verglich es mit einer Dell Precision 7875 mit einem Threadripper PRO 9995WX mit 96 Kernen und denselben zwei Karten, wobei die zweite Karte mit PCIe 4.0 x16 lief.

StorageReview, Test der HP Z8 Fury G6i, 23. Juni 2026 (geändert am 20. Oktober 2026), vLLM, Summe über beide Karten; der Test nennt weder die Tensor-Parallel-Einstellung noch die Genauigkeit von gpt-oss-120b.

Die Dell erreichte in der ersten und letzten Zeile 11.848 und 16.833 Token pro Sekunde. StorageReview führt den Vorsprung der HP auf die volle Anbindung mit PCIe 5.0 x16 und auf die Art zurück, wie der Prozessor das Scheduling von vLLM abarbeitet, und merkt an, dass der Abstand bei gpt-oss-120b auf wenige Prozent schrumpft. Für Käufer heißt das: Die Anbindung der Steckplätze eines Towers verdient dieselbe Prüfung wie die Zahl der Karten.

Geschwindigkeitsgrenzen aus der Speicherbandbreite

Die Erzeugungsgeschwindigkeit für einen Nutzer hat eine Obergrenze, die die Bandbreite setzt: Jedes Token liest alle aktiven Gewichte einmal. Llama 3.3 70B in FP8 liest rund 70,6 GB je Token, eine Max-Q ist also auf 1.792 ÷ 70,6 = 25 Token pro Sekunde begrenzt. Bei TP=2 liest jede Karte die Hälfte, 35,3 GB, und die Grenze verdoppelt sich auf rund 51. gpt-oss-120b, ein Mixture-of-Experts-Modell, liest rund 5 GB je Token und kommt auf einer Karte für einen Nutzer auf eine Grenze von rund 358 Token pro Sekunde, nach unserer Schätzung eine Obergrenze; in einem Batch gehen die Token an unterschiedliche Experten, und ein Schritt liest mehr. Das sind nach unserer Schätzung Obergrenzen: Die reale Erzeugung erreicht einen Teil davon, und der Austausch über PCIe kostet einen Teil des Gewinns von TP=2. Die Grenzen zeigen auch, warum ein Max-Q-Paar für die interaktive Nutzung eines 70B-Modells besser passt als eine Karte.

Rund 1,1 kW: Strom, Wärme und Lautstärke

Zwei Karten mit 300 W ergeben 600 W. Ein Prozessor mit 350 W, die Standard-TDP eines Threadripper PRO 9975WX und die Basisleistung eines Xeon 698X, bringt die Summe auf 950 W. Für Arbeitsspeicher, Laufwerke, Lüfter und Verluste im Netzteil rechnen wir 15 Prozent hinzu; unter Volllast braucht die Workstation nach unserer Schätzung also rund 1,1 kW an der Steckdose, rund 4,8 A an einem 230-V-Stromkreis. Ein Stromkreis mit 16 A, den wir mit 80 Prozent oder 2,94 kW einplanen, trägt sie mit Reserve für Monitore und eine zweite Maschine. Unsere Seite zum Stromverbrauch der Max-Q an 230 V behandelt Netzteile, Kabel und Stromkreise für zwei, vier und acht Karten.

Die gesamte Leistung wird zu Wärme im Raum: 1,1 kW sind rund 3.750 BTU pro Stunde, etwa so viel, wie ein Heizlüfter mit 1 kW abgibt, und zwar so lange, wie die Jobs laufen. Ein geschlossenes Büro ohne Kühlung erwärmt sich über einen Tag Fine-Tuning spürbar.

Keiner der Hersteller dieser Tower veröffentlicht Lautstärkewerte für eine Max-Q-Konfiguration unter GPU-Last; HPs Seite zur Z8 Fury G6i spricht von intelligenter Lüftersteuerung ohne Dezibelwerte. Zwei Berichte aus dem Level1Techs-Forum beschreiben die Karte selbst: Eine einzelne Max-Q lief mit rund 85 °C bei 65 Prozent Lüfterdrehzahl und blieb bis etwa 70 Prozent leise, und in einem Aufbau mit vier Karten erreichten die beiden inneren Karten bei 300 W 91 °C. Puget Systems empfiehlt einen freien Steckplatz zwischen den Karten, weil der Speicher auf der Rückseite der Platine Luft braucht, und begrenzt die eigenen Desktops auf drei Max-Q. Wir planen die beiden Karten mit diesem Abstand, wo die Steckplätze des Towers es erlauben. Unser Leitfaden GPU-Server im Büro behandelt Lautstärke und Wärme für Maschinen in der Nähe von Menschen.

MIG: acht GPUs zu 24 GB für ein Team

Jede Max-Q lässt sich in bis zu vier isolierte Instanzen zu 24 GB, zwei zu 48 GB oder eine zu 96 GB teilen, zwei Karten bieten also bis zu acht getrennte GPUs. MIG wird je Karte eingestellt: Eine Karte kann in Instanzen zu 24 GB die Notebooks von vier Entwicklern betreiben, während die andere ein 70B-Modell in FP8 für die Abteilung bereitstellt. NVIDIAs MIG-Handbuch sagt, NCCL werde „mit MIG derzeit nicht unterstützt“; ein über beide Karten verteiltes Modell braucht deshalb beide Karten ganz.

MIG auf der Max-Q braucht Linux, Treiber 575.51.03 oder neuer und ein vBIOS ab 98.02.6A.00.00, und jede Karte muss mit NVIDIAs DisplayModeSelector in den Compute-Modus wechseln, was ihre Displayausgänge abschaltet. Eine MIG-Workstation läuft deshalb ohne Monitor oder behält für den Bildschirm eine kleine zusätzliche Karte. Unsere MIG-Profile der RTX PRO 6000 zeigen, was in jede Größe passt.

Die Max-Q steht nicht auf NVIDIAs vGPU-Liste, Stand 2. Oktober 2026; vGPU ist der Server Edition vorbehalten. Das Durchreichen ganzer Karten an virtuelle Maschinen ist möglich, und im Proxmox-Forum werden Reset-Probleme auf Hosts mit mehreren Max-Q berichtet, wie unsere Seite zur Max-Q in virtuellen Maschinen erklärt.

Schon jetzt für vier Karten planen

Die meisten Entscheidungen, die einen späteren Ausbau ermöglichen, fallen beim Kauf:

• Tower und Steckplätze. Vier Karten mit zwei Slots brauchen vier x16-Steckplätze im Doppelslot-Abstand. Dells Precision 7960 hat zwei Steckplätze mit PCIe 5.0 x16 und zwei mit PCIe 4.0 x16 in voller Höhe; in Lenovos ThinkStation PX sitzen die vier Steckplätze mit PCIe 5.0 x16 je zwei an jedem Prozessor.
• Netzteil. Das doppelte Netzteil der HP Z8 Fury G6i mit bis zu 2.700 W zusammen muss laut HPs Spezifikationsseite beim Kauf konfiguriert werden. StorageReview merkt an, dass diese Option einen Prozessor mit 350 W und vier Max-Q abdeckt.
• PCIe-Lanes des Prozessors. Vier Karten mit x16 belegen 64 PCIe-Lanes. Der Threadripper PRO 9975WX bietet 128 PCIe-5.0-Lanes, der Xeon 698X ebenfalls 128.
• Arbeitsspeicher. Mit doppelt so viel Arbeitsspeicher wie GPU-Speicher brauchen zwei Karten 384 GB und vier 768 GB; planen Sie die Module so, dass sich die Kanäle später gleichmäßig füllen lassen.

Die Konfiguration mit vier Karten, ihre Temperaturen und ihr Budget von 2 kW stehen in unserem Artikel zu vier RTX PRO 6000 Max-Q in einer Workstation.

Wann ein Rack-Server besser passt

Eine Workstation passt zu einem Team, das neben seiner Maschine arbeitet. Sobald der Dienst im Dauerbetrieb für mehrere Abteilungen oder für Kunden läuft, erledigt ein Rack-Server mit zwei RTX PRO 6000 Server Edition dieselbe Aufgabe im Serverraum: passive Karten mit bis zu 600 W, redundante Netzteile, Management außerhalb des Betriebssystems und vGPU ab Release 19.0. Die Server Edition hat 1.597 GB/s statt 1.792 GB/s, rund 11 Prozent weniger bei der Token-Erzeugung, und dieselben 96 GB je Karte. Unser Einstiegsserver hat zwei Server Edition, zwei AMD-EPYC-Prozessoren, 384 GB DDR5 mit ECC und zwei NVMe-Laufwerke, wie unsere Seite zu zwei RTX PRO 6000 Server Edition beschreibt. Die Abwägung zwischen Tower und Rack steht in KI-Workstation oder KI-Server.

Was wir liefern

Sie können dieses System bei uns kaufen: Unser Team legt die Konfiguration auf Ihre Arbeitslast und Ihr Budget aus und antwortet innerhalb eines Werktages. Wir liefern die RTX PRO 6000 Blackwell Max-Q als Karten für einen Tower, den Sie schon betreiben, und bauen Max-Q-Workstations mit zwei oder vier Karten auf Bestellung, vor der Lieferung montiert und getestet, auf Wunsch mit installiertem Betriebssystem, Treiber, CUDA und einer Container-Laufzeit. Konfiguration, Varianten und Bestellablauf stehen auf unserer Seite Workstation mit 2× RTX PRO 6000 Max-Q kaufen. Für einen Tower, den Ihr Unternehmen schon besitzt, nennen Sie uns das Modell und sein Netzteil, und wir prüfen, ob er eine zweite Karte aufnimmt. Modelle, RAG und die Plattform darüber sind unser Service Private AI/ML.

FAQ