Zwei NVIDIA RTX PRO 4000 Blackwell oder eine RTX PRO 6000 Blackwell Max-Q für KI

96 GB auf einer Karte gegen 2 × 24 GB

Für Sprachmodelle ist eine NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition der bessere Kauf als zwei RTX PRO 4000 Blackwell: doppelt so viel Speicher wie das Paar, und zwar in einem einzigen Speicherbereich, die 2,7-fache Bandbreite jeder RTX PRO 4000 und dazu MIG, bei fast gleicher Leistungsaufnahme. Zwei RTX PRO 4000 sind vorn, wenn zwei Personen oder zwei virtuelle Maschinen je eine ganze GPU brauchen, wenn die Modelle bei rund 14B Parametern bleiben und wenn die Workstation zwei Einzelslots hat, aber weder Platz noch Strom für eine Karte mit 300 W.

Datenblatt der NVIDIA RTX PRO 4000 Blackwell (5323450, Juni 2026) und Datenblatt der RTX PRO 6000 Max-Q (Juni 2026), beide gelesen am 24. Oktober 2026; vGPU-Liste zuletzt aktualisiert am 2. Oktober 2026.

Beide sind Blackwell-Karten mit Tensor Cores der fünften Generation und FP4, beide sind über PCIe 5.0 angebunden, und keine hat NVLink. Die RTX PRO 4000 ist eine Einzelslot-Karte mit 4,4 × 9,5 Zoll, aktivem Kühler und einem 16-Pin-Stromanschluss; die Max-Q ist eine Doppelslot-Karte mit 4,4 × 10,5 Zoll, Radiallüfter und ebenfalls einem 16-Pin-Stromanschluss. In der Breite belegen beide Varianten also gleich viel Platz.

Speicher: zwei Bereiche zu 24 GB oder einer mit 96 GB

Unsere Regel für Nutzer je Karte nimmt 90 Prozent des Speichers, den der Treiber meldet, zieht je Karte 3 GiB für CUDA-Kontext, CUDA-Graphen und Aktivierungen ab und rechnet den Rest als Platz für Gewichte und KV-Cache. Auf einer 96-GB-Karte meldet der Treiber 95,6 GiB, das ergibt 83,0 GiB. Für die 24-GB-Karte skalieren wir die 95,6 GiB nach Kapazität, eine Annahme, und kommen auf 18,5 GiB je Karte und 37,0 GiB für das Paar. Unser Leitfaden wie viele Nutzer eine RTX PRO 6000 bedient leitet die Regel her.

Das Paar ergibt keine GPU mit 48 GB. Jede RTX PRO 4000 adressiert nur ihren eigenen Speicher, deshalb muss die Serving-Engine jedes Modell mit mehr als rund 18,5 GiB für Gewichte und Cache auf beide Karten verteilen, und jedes erzeugte Token läuft dann über PCIe. Die Max-Q hält ein solches Modell im Ganzen. Das ist der Kern des Unterschieds; der Rest dieser Seite folgt daraus.

Welche Modelle auf welche Variante passen

Die Tabelle nennt die Gewichte verbreiteter offener Modelle und den Platz, der nach dem Laden bleibt, bevor das erste Gespräch beginnt. Dieser Platz nimmt den KV-Cache auf.

Unsere Schätzung nach der Regel für Nutzer je Karte: 18,5 GiB je RTX PRO 4000, 37,0 GiB für das Paar, 83,0 GiB für die Max-Q. Gewichte wie in unseren Modellleitfäden: Qwen3-14B und Qwen3-32B in FP8, NVIDIAs NVFP4- und FP8-Checkpoints von Llama 3.3 70B, gpt-oss-120b im MXFP4-Release.

Die Grenze zwischen den Varianten liegt bei rund 14B Parametern in FP8. Bis dahin betreibt jede RTX PRO 4000 ihre eigene Kopie. Ein 32B-Modell passt auf das Paar nur als eine Kopie über beide Karten, mit Platz für fünf Gespräche. Ein 70B-Modell oder gpt-oss-120b braucht die Max-Q oder vier und mehr RTX PRO 4000; unsere Seite zu vier RTX PRO 4000 in einer Workstation behandelt diesen Aufbau.

Ein Modell auf zwei RTX PRO 4000 verteilen

Mit Tensor-Parallelität über zwei Karten (TP=2) teilt die Engine jede Schicht in zwei Hälften, und die Karten addieren ihre Teilergebnisse nach jeder Schicht über PCIe. vLLM behält für zwei GPUs ohne NVLink seinen eigenen schnellen All-Reduce-Kernel; der Quellcode schaltet ihn erst bei „more than two PCIe-only GPUs“ ab oder wenn der Peer-to-Peer-Test zwischen den Karten scheitert. Release 0.30.0 vom 22. September 2026 brachte zwar ein optionales All-Reduce über FlashInfer PCIe IPC für Systeme ohne NVLink (Pull Request #53576), standardmäßig sind zwei Karten aber der günstigste Fall für eine Aufteilung ohne NVLink, wie unser Artikel zu TP=2, TP=4 oder Replikaten ohne NVLink für die RTX PRO 6000 erklärt.

Der Peer-to-Peer-Zugriff verlangt Sorgfalt im BIOS und im Kernel. NVIDIAs NCCL-Dokumentation warnt, dass IO-Virtualisierung den PCIe-Verkehr zwischen den Karten zum Root Complex der CPU umleiten kann, mit „a significant performance reduction or even a hang“. Beide Karten gehören in x16-Steckplätze am selben Prozessor, und der Abnahmetest sollte die Peer-to-Peer-Prüfung enthalten; unser Leitfaden RTX PRO 6000 P2P unter Linux nennt die Einstellungen, die für jedes Paar von RTX-PRO-Karten gelten.

Die Bandbreite begrenzt das Tempo eines einzelnen Gesprächs, weil für jedes erzeugte Token die Gewichte einmal gelesen werden. Nach unserer Rechnung:

Unsere Rechnung, Bandbreite ÷ je Token gelesene Bytes, nur Gewichte. Die reale Token-Erzeugung erreicht nur einen Teil dieser Obergrenzen, und der Wert für TP=2 enthält nicht die Zeit für das All-Reduce über PCIe.

Selbst wenn die zusammen 1.344 GB/s des Paares an einem verteilten Modell arbeiten, bleibt die einzelne Max-Q vorn, und sie braucht keinen Verkehr zwischen Karten.

Nutzer: Gespräche nach unserer Regel für Nutzer je Karte

Die zweite Frage ist, wie viele Gespräche jede Variante gleichzeitig hält. Die Tabelle zählt Gespräche mit 8.192 Token und FP8-KV-Cache: je 0,625 GiB für Qwen3-14B, 1,0 GiB für Qwen3-32B und 1,25 GiB für Llama 3.3 70B; gpt-oss-120b ist mit 32.768 Token und 16-Bit-Cache von 1,125 GiB gerechnet.

Unsere Schätzung nach der Regel für Nutzer je Karte, speichergebunden, abgerundet; keine Messwerte.

Gezählt sind Anfragen, die im selben Moment laufen, und das sind weit weniger als die Menschen, die einen Dienst nutzen. Mit den Beispielwerten unseres Leitfadens zum privaten ChatGPT-Server nach Firmengröße erzeugen 500 Beschäftigte in der Spitze rund 20 gleichzeitige Anfragen. Zwei RTX PRO 4000 decken das mit Qwen3-14B über beide Karten ab; eine Max-Q deckt es mit einem 32B-Modell oder mit Llama 3.3 70B in NVFP4 ab.

„Nutzer“ kann auch Personen meinen, die je eine eigene GPU bekommen. Zwei RTX PRO 4000 geben zwei Entwicklerinnen oder Entwicklern je eine ganze Karte mit eigenen Displayausgängen, ohne weitere Einrichtung als den Treiber. Die Max-Q gibt bis zu vier Personen über MIG je eine isolierte GPU mit 24 GB, wie der nächste Abschnitt beschreibt. Wir liefern beide Karten, einzeln oder in Workstations auf Bestellung; nennen Sie uns die Modelle und die Zahl der Personen, die sie nutzen, und unser Team antwortet mit der passenden Variante.

MIG: vier GPUs zu 24 GB aus einer Max-Q

MIG teilt eine Karte in Instanzen mit eigenem Speicher und eigener Rechenleistung, voneinander isoliert. NVIDIAs Datenblatt der Max-Q nennt bis zu vier Instanzen zu 24 GB, zwei zu 48 GB oder eine zu 96 GB. Die RTX PRO 4000 hat kein MIG; NVIDIAs MIG-Leitfaden führt sie nicht auf.

Eine Max-Q mit vier Instanzen zu 24 GB gibt damit vier Personen je den Speicher einer RTX PRO 4000, aus einer einzigen Karte mit 300 W. Die Bedingungen zählen: MIG auf den Workstation-Editionen der RTX PRO 6000 läuft unter Linux mit Treiber 575.51.03 oder neuer und aktuellem vBIOS, und die Karte muss mit NVIDIAs DisplayModeSelector in den Compute-Modus geschaltet werden, der ihre Displayausgänge abschaltet. NVIDIAs MIG-Leitfaden ergänzt: „NCCL is currently not supported with MIG“, jede Instanz bearbeitet also ihre eigene Aufgabe. Unsere MIG-Profile der RTX PRO 6000 zeigen, was in welche Größe passt.

Eine Workstation, die zugleich Arbeitsplatz einer Person und MIG-Host ist, braucht für die Monitore eine zweite, kleine Karte. Bei zwei RTX PRO 4000 stellt sich diese Frage nicht, denn jede Karte behält ihre vier DisplayPort-2.1b-Ausgänge.

vGPU und virtuelle Maschinen

Keine der beiden Karten steht auf NVIDIAs Liste der von der vGPU-Software unterstützten GPUs, zuletzt aktualisiert am 2. Oktober 2026; keine lässt sich also mit vGPU-Profilen auf virtuelle Maschinen aufteilen. Es bleibt das Durchreichen ganzer Karten. Zwei RTX PRO 4000 lassen sich an zwei virtuelle Maschinen geben, je eine; eine Max-Q geht an eine. Threads im Proxmox-Forum beschreiben Reset-Probleme auf Hosts mit mehreren Max-Q im Passthrough, wie unsere Seite zur RTX PRO 6000 Max-Q in virtuellen Maschinen erklärt; planen Sie einen Test ein, bevor Sie sich darauf verlassen.

Sind virtuelle Desktops oder Compute-VMs mit vGPU das Ziel, liegen die passenden Karten woanders: die RTX PRO 6000 Server Edition ab vGPU-Release 19.0 und die RTX PRO 4500 Server Edition ab 20.0, beide in Rack-Servern, oder die RTX PRO 5000 72 GB ab 20.2, nur unter Red Hat Enterprise Linux mit KVM. Unser Artikel MIG und vGPU: wie viele VMs je GPU zählt die Plätze.

Strom, Steckplätze und Gehäuse

Auf Kartenebene brauchen beide Varianten fast gleich viel: 290 W gegen 300 W. Mit einem Workstation-Prozessor mit 350 W und 15 Prozent für Arbeitsspeicher, Laufwerke, Lüfter und Netzteilverluste kommen beide nach unserer Schätzung auf rund 0,75 kW an der Steckdose, rund 3,3 A an einem 230-V-Stromkreis. Ein gewöhnlicher Bürostromkreis trägt beide, und die Wärme im Raum ist dieselbe.

Mehr entscheidet das Gehäuse. Zwei RTX PRO 4000 brauchen zwei x16-Steckplätze, am besten am selben Prozessor, aber nur Einzelslot-Abstand, und zwei Karten mit 145 W bündeln weniger Wärme an einer Stelle. Die Max-Q braucht einen x16-Steckplatz mit Platz für eine Doppelslot-Karte von 10,5 Zoll, ein 16-Pin-Stromkabel vom Netzteil und freie Luft hinter ihrem Radiallüfter. Mehrere Hersteller führen die Max-Q für ihre Workstations; Lenovos Spezifikation der ThinkStation PX vom 9. Oktober 2026 etwa nennt bis zu vier Max-Q und bietet auch die RTX PRO 4000 an.

Das Wachstum verläuft unterschiedlich. Der Weg mit der RTX PRO 4000 wächst durch weitere Karten: Vier ergeben 96 GB in vier Einzelslots. Der Weg mit der Max-Q wächst auf zwei, drei oder vier Max-Q, 384 GB in einem dafür ausgelegten Tower, wie unser Artikel zu vier RTX PRO 6000 Max-Q in einer Workstation beschreibt. Unser Vergleich der Single-Slot-GPUs für KI behandelt dichte Aufbauten mit der RTX PRO 4000.

Fine-Tuning, Prompts und Rechenleistung

Fine-Tuning braucht mehr Speicher als Serving. Nach den Werten je Parameter in unserem Leitfaden zum GPU-Speicher für Fine-Tuning belegt ein LoRA-Lauf auf einem 8B-Modell rund 16,7 GB für Modellzustände; das lässt nach unserer Rechnung rund 7 GB auf einer 24-GB-Karte und rund 79 GB auf der Max-Q frei. Ein QLoRA-Lauf auf einem 70B-Modell belegt 42,8 GB, was keine 24-GB-Karte hält und auf der Max-Q rund 53 GB freilässt. Einen Trainingslauf über zwei RTX PRO 4000 zu verteilen, ist mit Frameworks möglich, die das Modell aufteilen, um den Preis von Verkehr über PCIe in jedem Schritt.

Für die Verarbeitung von Prompts und für Training zählt die Tensor-Rate. NVIDIAs Datenblätter nennen 1.178 AI TOPS je RTX PRO 4000 und 3.511 für die Max-Q, jeweils FP4 mit Sparsity; das Paar erreicht 2.356 nur, wenn beide Karten an getrennten Aufgaben oder an einem verteilten Modell arbeiten. Für lange Dokumente, RAG mit großem Kontext und Agenten, die viel Zeit mit Prompts verbringen, ist die einzelne Max-Q die schnellere Variante.

Welche Variante für welche Arbeit

• Ein Assistent oder Coding-Modell ab 30B für eine Abteilung oder ein 70B-Modell: eine RTX PRO 6000 Max-Q. Zwei RTX PRO 4000 halten ein 70B-Modell weder in FP8 noch in NVFP4.
• Mehrere Personen, die je eine isolierte GPU auf einer Linux-Maschine wollen: eine Max-Q mit MIG, vier Instanzen zu 24 GB, dazu eine kleine Karte für die Displays.
• Zwei Entwickler oder zwei virtuelle Maschinen mit je einer ganzen GPU und eigenen Monitoren: zwei RTX PRO 4000.
• Modelle bis rund 14B in FP8, Embeddings, Reranker und Spracherkennung neben CAD-Arbeit: zwei RTX PRO 4000, ein Modell oder eine Aufgabe je Karte.
• Ein Tower mit zwei freien Einzelslots, aber ohne Platz oder Stromkabel für eine Doppelslot-Karte mit 300 W: zwei RTX PRO 4000.
• Fine-Tuning über LoRA auf kleinen Modellen hinaus: eine Max-Q.
• Virtuelle Desktops mit vGPU: keine der beiden; ein Server mit RTX PRO 6000 Server Edition oder RTX PRO 4500 Server Edition.

Unser Leitfaden zur besten Workstation-GPU für KI 2026 ordnet beide Karten in die ganze RTX-PRO-Reihe ein, und unser Vergleich mehrere kleinere Karten oder weniger RTX PRO 6000 behandelt größere Aufbauten.

Was wir liefern

Sie können dieses System bei uns kaufen: Unser Team legt die Konfiguration auf Ihre Arbeitslast und Ihr Budget aus und antwortet innerhalb eines Werktages. Wir liefern die RTX PRO 4000 und die RTX PRO 6000 Max-Q als Karten für Workstations, die Sie schon betreiben, nach einer Prüfung von Steckplätzen, Netzteil und Kabeln, und bauen Workstations mit beiden Karten auf Bestellung auf Plattformen mit Threadripper PRO oder Xeon W, vor der Lieferung montiert und getestet, mit einem EU-Vertrag und einer EU-Rechnung und mit Herstellergarantie auf jede Komponente. Stückzahlen und Lieferzeit werden mit dem Angebot schriftlich bestätigt. Teilen Sie uns das Tower-Modell und die geplanten Modelle mit, und wir antworten mit den passenden Karten und einem schriftlichen Angebot.

FAQ