Mehrere RTX PRO 5000 oder 4500 statt weniger NVIDIA RTX PRO 6000 Blackwell im Vergleich

Zuerst entscheidet das größte Modell je Karte

Mehrere RTX PRO 5000 oder RTX PRO 4500 sind die bessere Wahl als weniger RTX PRO 6000, wenn Ihre Modelle in 32 bis 72 GB je Karte passen und Sie viele getrennte Dienste, MIG-Instanzen oder vGPU-Desktops auf einem Host betreiben wollen. Weniger RTX PRO 6000 sind besser, wenn ein Modell auf eine Karte passen muss: Llama 3.3 70B in FP8 braucht 67,7 GiB für die Gewichte, das passt auf eine 96-GB-Karte und auf keine kleinere RTX PRO Blackwell. Bei gleicher Leistungsaufnahme bieten vier RTX PRO 6000 Max-Q ein Drittel mehr Speicher als vier RTX PRO 5000 72 GB.

Die NVIDIA RTX PRO 6000 Blackwell gibt es als Workstation Edition (600 W, aktiv), als Max-Q (300 W, Radiallüfter, laut NVIDIA bis zu vier je Workstation) und als Server Edition (passiv, bis 600 W, einstellbar). Die Mittelklasse in diesem Vergleich sind die RTX PRO 5000 mit 48 oder 72 GB, die RTX PRO 4500 als Workstation-Karte und als Server Edition sowie die RTX PRO 4000. Alle sind PCIe-5.0-x16-Karten ohne NVLink; ein Modell, das größer als eine Karte ist, wird also in jeder Konfiguration über PCIe aufgeteilt. Die Unterschiede Karte für Karte stehen in unserem Vergleich RTX PRO 6000, 5000 oder 4500; diese Seite vergleicht ganze Konfigurationen.

Zwölf Konfigurationen nebeneinander

Die Tabelle stellt zwei, vier und acht Karten jedes Typs nebeneinander. Der nutzbare Speicher folgt unserer Regel für Nutzer je Karte: 90 Prozent des Speichers, den der Treiber meldet, abzüglich 3 GiB je Karte für CUDA-Kontext und Aktivierungen. Auf einer 96-GB-Karte meldet der Treiber 95,6 GiB; für die kleineren Karten rechnen wir diesen Wert im Verhältnis der Kapazität um, das ergibt 61,5 GiB auf einer 72-GB-Karte, 40,0 GiB bei 48 GB, 25,7 GiB bei 32 GB und 18,5 GiB bei 24 GB. Regel und Herleitung stehen in unserem Leitfaden Wie viele Nutzer schafft eine RTX PRO 6000?.

Produktseiten und Datenblätter von NVIDIA, gelesen am 24. Oktober 2026 (RTX PRO 4500 Server Edition 800 GB/s und 165 W; RTX PRO 4500 896 GB/s und 200 W; RTX PRO 4000 672 GB/s und 145 W; RTX PRO 5000 1.344 GB/s und 300 W; Max-Q 1.792 GB/s und 300 W; Server Edition 1.597 GB/s, 300 bis 600 W; Workstation Edition 1.792 GB/s und 600 W). Die Bandbreite ist die Summe über die Karten, der nutzbare Speicher unsere Schätzung nach der Regel oben. „Server“ steht für Server Edition, „WS“ für Workstation Edition.

Die summierte Bandbreite hilft nur, wenn alle Karten gleichzeitig arbeiten, etwa mit getrennten Kopien eines Modells; ein einzelnes Gespräch auf einer Karte sieht nur die Bandbreite dieser Karte. Für das Gehäuse zählen die Steckplätze: Die RTX PRO 4500 Server Edition und die RTX PRO 4000 belegen einen Steckplatz, die Workstation-Variante der RTX PRO 4500, die RTX PRO 5000 und jede luftgekühlte RTX PRO 6000 zwei. Das ergibt 32 GB je Steckplatz bei der 4500 Server Edition, 24 GB bei der 4000, 36 GB bei der 5000 72 GB und 48 GB bei einer 96-GB-Karte. Die Zahlen gelten ohne ECC; mit eingeschaltetem ECC verliert eine GDDR-Karte 6,25 Prozent ihres Speichers, wie unser Vergleich L40S vs. RTX PRO 4500 Server Edition erklärt. Die RTX PRO 5500 fehlt bewusst: NVIDIA veröffentlicht für sie noch vorläufige technische Daten.

Der Speicher je Karte entscheidet, was ohne Aufteilung läuft

Ein Modell, das auf eine Karte passt, läuft als eine Kopie je Karte ohne Verkehr zwischen den Karten, und eine ausgefallene Karte nimmt nur ihre eigene Kopie mit. Das ist die einfachste Aufteilung und die, die man anstreben sollte. Die Tabelle zeigt, welche Modelle nach unserer Regel auf eine Karte jeder Größe passen und wie viel daneben für den KV-Cache frei bleibt.

Unsere Schätzung nach der Regel für Nutzer je Karte. Gewichte: Llama 3.3 70B in NVIDIAs FP8-Checkpoint 67,7 GiB, gpt-oss-120b 60,8 GiB (65,3 GB Safetensors), Qwen3-32B in FP8 32,0 GiB, wie in unseren Modell-Leitfäden.

Die RTX PRO 5000 72 GB fasst gpt-oss-120b nur auf dem Papier: Für den Cache bleiben 0,7 GiB, damit lässt sich kein Gespräch bedienen. Llama 3.3 70B in NVFP4 mit 39,8 GiB passt auf eine Karte mit 72 oder 96 GB, lässt auf einer 48-GB-Karte aber nichts übrig. Für die Modellliste, mit der die meisten Unternehmen kommen, ein 70B-Modell und ein oder zwei kleinere, verläuft die Grenze zwischen 72 und 96 GB.

Vier RTX PRO 6000 Max-Q gegen vier RTX PRO 5000 72 GB

Nach diesem Vergleich fragen Käufer am häufigsten, und die Datenblätter klären das meiste. Beide Konfigurationen passen in eine Workstation mit vier Karten, beide Karten nehmen 300 W auf, haben einen Radiallüfter und belegen zwei Steckplätze, und beide Konfigurationen nehmen 1.200 W auf. Die Max-Q-Variante hat 384 GB gegenüber 288 GB, 7.168 GB/s gegenüber 5.376 GB/s und 0,32 GB Speicher je Watt gegenüber 0,24. Eine Max-Q fasst Llama 3.3 70B in FP8 allein, die 72-GB-Karte nicht.

Für die RTX PRO 5000 72 GB spricht ein eigener Punkt: NVIDIAs vGPU-Liste führt sie ab Release 20.2, allerdings nur unter Red Hat Enterprise Linux KVM, während die Max-Q gar nicht auf der Liste steht. MIG spricht nicht für sie. NVIDIAs Produktseite nennt für die RTX PRO 5000 bis zu zwei MIG-Instanzen, auf der 72-GB-Karte laut NVIDIAs Datenblatt je 36 GB (NVIDIAs MIG-Handbuch führt bisher nur die 48-GB-Karte), während sich eine Max-Q in zwei Instanzen zu 48 GB oder vier zu 24 GB teilt. Brauchen Sie vGPU unter Red Hat KVM nicht, entscheidet der Preis je Karte, den wir für beide anbieten. Unser Artikel RTX PRO 5000 Blackwell: 48 GB oder 72 GB? behandelt die Wahl innerhalb der 5000er, und Vier RTX PRO 6000 Max-Q pro Workstation behandelt die passenden Tower.

Die Max-Q gehört in Workstations. In einen Rack-Server passt sie nur, wenn der Hersteller sie für das Gehäuse freigibt, und für den Dauerbetrieb im Rack empfehlen wir die Server Edition, die passiv gekühlt und für den Luftstrom eines Servers ausgelegt ist, wie unser Artikel RTX PRO 6000 Max-Q im Rack-Server erklärt.

Modelle über PCIe auf Mittelklassekarten aufteilen

Auf Karten mit 32 oder 48 GB wird ein 70B-Modell immer aufgeteilt, und damit ist PCIe an jedem Token beteiligt. Standardmäßig schaltet vLLM laut Quellcode sein Custom-All-Reduce bei mehr als zwei GPUs ohne NVLink ab, mit der Meldung „Custom allreduce is disabled because it's not supported on more than two PCIe-only GPUs“, und nutzt dann NCCL. Ein TP=2-Paar behält standardmäßig den schnelleren Weg, TP=4 und TP=8 nicht. vLLM 0.30.0 (Release Notes vom 22. September 2026) hat ein optionales FlashInfer-All-Reduce über PCIe-IPC für Systeme ohne NVLink ergänzt (#53576). Der Parallelisierungsleitfaden von vLLM, aktualisiert am 15. Oktober 2026, rät für GPUs ohne NVLink: „leverage pipeline parallelism instead of tensor parallelism for higher throughput and lower communication overhead“. Unser Artikel RTX PRO 6000 ohne NVLink: TP=2, TP=4 oder Replikate geht die Möglichkeiten durch.

Eine belastbare veröffentlichte Messung der Skalierung mit Tensor-Parallelität auf vier oder acht RTX PRO 4500 oder 5000 haben wir nicht gefunden; die Zahlen unten sind deshalb Speicherrechnung und sagen nichts über die Geschwindigkeit je Nutzer. Messungen einzelner Karten gibt es. StorageReviews Test der RTX PRO 4500 Server Edition vom 14. Oktober 2026 maß mit vLLM 0.27.1 bei 32 gleichzeitigen Streams für diese Karte 1.107 Ausgabe-Token pro Sekunde, mit Ministral 3 14B in FP8 im Chat-Format 512/512. Eine RTX PRO 6000 mit 600 W kam auf 2.283; StorageReview testete dafür eine Workstation-Edition-Karte in einem eigenen Tower anstelle der Server Edition. Mit Eingaben von 8.192 Token waren es rund 180 und 608; den flachen Verlauf der kleineren Karte führt StorageReview darauf zurück, dass ihre 32 GB für den KV-Cache nicht reichen. Je Nennwatt liegt die kleinere Karte bei kurzem Kontext vorn: 1.107 ÷ 165 ergibt 6,7 Token pro Sekunde je Watt, 2.283 ÷ 600 ergibt 3,8, nach unserer Division.

Gespräche je Konfiguration nach unserer Regel

Die Tabelle zählt gleichzeitig gehaltene Gespräche mit 8.192 Token und FP8-KV-Cache: 1,25 GiB je Gespräch bei Llama 3.3 70B, 1,0 GiB bei Qwen3-32B und 0,625 GiB bei Qwen3-14B. Jede Zelle zeigt die Aufteilung mit den meisten Kopien, die noch passt.

Unsere Schätzung, durch den Speicher begrenzt, keine Messwerte: (nutzbarer Speicher der Kopie − Gewichte) ÷ Cache je Gespräch, abgerundet. Gewichte 67,7, 39,8, 32,0 und 15,2 GiB. Cache je Token aus der config.json des Modells, wie in unseren Modell-Leitfäden.

Weniger Kopien fassen mehr Gespräche, weil jede Kopie ihre eigenen Gewichte speichert. Vier RTX PRO 6000 fassen mit Llama 3.3 70B in FP8 als zwei TP=2-Paare 156 Gespräche, vier 72-GB-Karten in derselben Aufteilung 88. Mit einer Kopie über alle vier Karten sind es 211 und 142, auf vier 48-GB-Karten 73. Acht RTX PRO 4500 Server Edition kommen als eine TP=8-Kopie auf 110, um den Preis eines All-Reduce über acht Karten per PCIe in jeder Schicht.

Das sind laufende Anfragen, keine Beschäftigten. Mit den Beispielwerten unseres Leitfadens Privater ChatGPT-Server: GPUs nach Firmengröße erzeugen 500 Beschäftigte in der Spitze rund 20 gleichzeitige Anfragen, 2.000 Beschäftigte rund 80. Eine Workstation mit vier RTX PRO 4000 deckt den ersten Fall mit Qwen3-14B ab; Llama 3.3 70B für 2.000 Beschäftigte braucht 96-GB-Karten oder vier 72-GB-Karten als TP=2-Paare. Wir bauen beide Varianten; senden Sie uns Ihre Modellliste und die Spitzenlast, die Ihr Gateway zeigt, und unser Team stellt Ihnen die Mittelklasse- und die RTX-PRO-6000-Konfiguration nebeneinander.

MIG, vGPU und Workstation oder Server

MIG teilt eine Karte in isolierte Instanzen mit eigenem Speicher. NVIDIAs MIG-Handbuch nennt vier Instanzen für jede Edition der RTX PRO 6000, zwei für die RTX PRO 5000 48 GB und zwei für die RTX PRO 4500, ohne Edition; Lenovos Produktleitfaden zur Workstation-Karte RTX PRO 4500 (26. Mai 2026) nennt keine MIG-Unterstützung, deshalb planen wir MIG auf der Workstation-Karte nicht ein. Die RTX PRO 4000 hat kein MIG. Ob vGPU, also virtuelle Maschinen mit einem Anteil an einer Karte, möglich ist, hängt von NVIDIAs Liste unterstützter GPUs ab, zuletzt aktualisiert am 2. Oktober 2026.

NVIDIAs MIG-Handbuch (unterstützte GPUs) und NVIDIAs Liste der von vGPU unterstützten GPUs (2. Oktober 2026), gelesen am 24. Oktober 2026; Produktseite der RTX PRO 5000 („up to two“ Instanzen) und NVIDIAs Datenblatt für die 72-GB-Karte; Lenovo-Produktleitfaden LP2443 zur Workstation-Karte RTX PRO 4500. Konfigurationen mit zwei Karten haben halb so viele Instanzen.

Für virtuelle Desktops oder Compute-VMs unter VMware bleiben in diesem Vergleich die 4500 Server Edition und die 6000 Server Edition; NVIDIAs vSphere-Matrix führt die 4500 Server Edition ab ESXi 8.0 Update 3g und VCF 9.0.1. MIG auf Workstation-Karten setzt Linux, ein aktuelles vBIOS und den Compute-Modus voraus; die Umstellung schaltet die Displayausgänge ab. Unser Leitfaden MIG vs. vGPU: VMs pro RTX PRO 6000, 5000 und L40S zählt die Plätze je Karte.

Stromverbrauch: welche Konfigurationen an einen 16-A-Anschluss passen

Ein 230-V-Stromkreis mit 16 A liefert 3,68 kW, wir planen davon 80 Prozent ein, 2,94 kW. Für Server mit vier und acht Karten rechnen wir zu den Karten zwei Prozessoren mit je 280 W, für den Server mit zwei Karten zwei mit je 200 W, für Workstations einen Prozessor mit 350 W, und schlagen 15 Prozent für Arbeitsspeicher, Laufwerke, Lüfter und Netzteilverluste auf. Das sind Nennwerte; eine Messung am gelieferten System ersetzt sie durch einen gemessenen Wert.

Unsere Schätzung: Leistungsaufnahme laut NVIDIA, plus 2 × 280 W (Standard-TDP des AMD EPYC 9355) bei Servern mit vier und acht Karten, 2 × 200 W (AMD EPYC 9135) beim Server mit zwei Karten oder 350 W bei Workstations, plus 15 Prozent. Anschluss: 230 V × 16 A = 3,68 kW, mit 80 Prozent Auslastung geplant wie in unserem Leitfaden zu Strom und Kühlung im GPU-Rack.

Elf der zwölf Konfigurationen bleiben unter 2,94 kW. Vier RTX PRO 6000 Server Edition mit 600 W brauchen am Rackplatz 32 A oder Drehstrom, oder den 450-W-Modus, der nach StorageReview bei kurzem Kontext 2 bis 5 Prozent und bei langem Kontext 4 bis 9 Prozent kostet, gemessen an der Workstation Edition stellvertretend für die Server Edition. Acht RTX PRO 4500 Server Edition bringen 256 GB an einen Rackplatz, den ein Server mit vier RTX PRO 6000 bei voller Leistung überschreiten würde. Anschlussarten und A/B-Redundanz behandelt unser Leitfaden GPU-Server: Strom für 2, 4, 8 GPUs an 16 A, 32 A und Drehstrom.

Wann acht kleinere Karten besser sind

Acht RTX PRO 4500 Server Edition ergeben acht getrennte Fehlerbereiche und 16 MIG-Instanzen zu 16 GB in einem Server, mit 24 Videodecodern gegenüber 16 bei vier RTX PRO 6000. Sie passen zu einer Plattform, auf der viele kleine Modelle nebeneinander laufen: Embeddings, ein Reranker, ein 14B-Assistent, Spracherkennung und einige Abteilungsmodelle, jedes auf einer eigenen Karte oder MIG-Hälfte, dazu vGPU-Desktops. Supermicro führt acht Karten der 4500 Server Edition im 4U-System SYS-422GL-NR und im 5U-System SYS-522GA-NRT, sechs im 2U-System ARS-222GL-NR. Unser Vergleich 8x RTX PRO 4500 Server vs 4x RTX PRO 6000 Server geht tiefer in diese Paarung.

Für ein Modell der 70B-Klasse passen sie weniger: Jede Kopie belegt vier Karten, acht Karten fassen also zwei Kopien, und jedes Token wartet auf All-Reduce-Schritte über PCIe. Ist das 70B-Modell die Hauptlast, betreiben vier 96-GB-Karten vier getrennte Kopien ohne Verkehr zwischen den Karten.

Welche Konfiguration für welches Team

• Abteilungsassistent mit einem Modell von 14B bis 32B, unter dem Schreibtisch: vier RTX PRO 4000 für Qwen3-14B und rund 20 gleichzeitige Anfragen; vier RTX PRO 5000 48 GB für Qwen3-32B in FP8 als vier Kopien.
• Ein 70B-Modell für ein großes Unternehmen, in einer Workstation: vier RTX PRO 6000 Max-Q. Vier RTX PRO 5000 72 GB betreiben dasselbe Modell nur als TP=2-Paare, mit weniger Gesprächen.
• VDI unter Red Hat KVM und KI auf Karten der Workstation-Klasse: RTX PRO 5000 72 GB, die einzige Workstation-Karte der RTX PRO Blackwell auf NVIDIAs vGPU-Liste.
• Viele kleine Modelle, MIG und vGPU im Rack an einem 16-A-Anschluss: acht RTX PRO 4500 Server Edition.
• Modelle von 70B bis 120B im Rack, Dauerbetrieb: zwei oder vier RTX PRO 6000 Server Edition; vier Karten mit 600 W brauchen mehr als einen 16-A-Anschluss.
• Ein Modell auf einer Karte am Arbeitsplatz: eine RTX PRO 6000 Workstation Edition, oder zwei Max-Q, wenn eine zweite Kopie oder ein TP=2-Paar geplant ist.

Was wir liefern

Sie können dieses System bei uns kaufen: Unser Team legt die Konfiguration auf Ihre Arbeitslast und Ihr Budget aus und antwortet innerhalb eines Werktages. Wir liefern jede Karte aus diesem Vergleich und bauen KI-Server und Workstations auf Bestellung, vor der Lieferung montiert und getestet, mit einem EU-Vertrag, einer EU-Rechnung und Herstellergarantie auf jede Komponente. Stückzahlen und Lieferzeit werden mit dem Angebot schriftlich bestätigt. Nennen Sie uns Ihr bevorzugtes Gehäuse, den Stromkreis am Arbeitsplatz oder Rackplatz und Ihre Modelle, und wir prüfen Karten, PCIe-Lanes und Strom, bevor wir ein Angebot erstellen.

FAQ