8× RTX PRO 6000 Server Edition vs. 8× RTX PRO 4500 Server Edition: Speicher, Nutzer, Strom

Dieselben acht Steckplätze, zwei verschiedene Server

Ein Server mit acht NVIDIA RTX PRO 6000 Blackwell Server Edition und einer mit acht RTX PRO 4500 Blackwell Server Edition teilen die Kartenzahl und sonst wenig. Der Server mit RTX PRO 6000 Server Edition hat das Dreifache an GPU-Speicher, führt Modelle bis rund 80 GiB Gewichte auf einer Karte aus und braucht rund 6,3 kW. Der Server mit RTX PRO 4500 Server Edition hält Modelle bis rund 20 GiB je Karte, eignet sich für viele kleine Modelle und virtuelle Desktops und läuft mit rund 2,2 kW an einem einzigen 16-A-Anschluss.

SE = Server Edition. NVIDIA-Produktseiten beider Karten und Product Briefs SP-12355-001_v02 (Minimum 300 W) und PB-12790-001_02 (Minimum 100 W); NVIDIA MIG User Guide (13. Oktober 2026) und Liste der von vGPU unterstützten GPUs (2. Oktober 2026), wie in unseren Leitfäden zu den Karten zitiert; nutzbarer Speicher und Leistung an der Steckdose sind unsere Schätzungen, mit zwei AMD EPYC 9555 bzw. zwei EPYC 9355.

Keine der beiden Karten hat NVLink; ein Modell, das größer ist als eine Karte, wird also in beiden Servern über PCIe aufgeteilt. Unser früherer Vergleich 8× RTX PRO 4500 oder 4× RTX PRO 6000 Server Edition hält die summierte Bandbreite etwa gleich. Diese Seite hält stattdessen die Zahl der Steckplätze gleich, und vor genau dieser Wahl steht ein Käufer, sobald ein Gehäuse mit acht Steckplätzen doppelter Breite feststeht.

Der Speicher je Karte entscheidet über die Modelle

Unsere Regel für Nutzer je Karte nimmt 90 Prozent des Speichers, den der Treiber meldet, und zieht 3 GiB je Karte ab. Die RTX PRO 6000 Server Edition meldet 95,6 GiB, es bleiben 83,0 GiB je Karte und 664,3 GiB für acht. Für die 32-GB-Karte veröffentlicht NVIDIA keinen vom Treiber gemeldeten Wert, wir skalieren daher den Wert der 96-GB-Karte auf rund 31,9 GiB; es bleiben 25,7 GiB je Karte und 205,6 GiB für acht. Prüfen Sie den Wert mit nvidia-smi -q auf Ihrer eigenen Karte. Die Tabelle zählt gleichzeitige Gespräche in voller Kontextlänge.

Unsere Schätzungen nach der Regel für Nutzer je Karte, keine Messungen: FP8-KV-Cache bei 8K (0,625, 1,0 und 1,25 GiB je Gespräch), 16-Bit-Cache bei 32K; Gewichte 15,2, 32,0, 67,7, 60,8 und 219,8 GiB aus den Checkpoints von Qwen, NVIDIA und OpenAI, wie in unseren Leitfäden zur Auslegung.

Zwei Zeilen zeigen die Rechnung. Auf einer RTX PRO 6000 Server Edition lässt Qwen3-32B in FP8 83,0 − 32,0 = 51 GiB frei, also 51 Gespräche mit 8K je Karte und 408 für acht Kopien. Auf der RTX PRO 4500 Server Edition braucht dasselbe Modell mindestens zwei Karten je Kopie, und eine TP=4-Kopie hat 102,8 GiB; es bleiben 70,8 GiB, also 70 Gespräche, 140 für zwei Kopien. Qwen3-235B-A22B-2507 in FP8 hat 219,8 GiB Gewichte, mehr als die 205,6 GiB, die der kleinere Server insgesamt hält.

Das Aufteilen kostet Zeit. Jede aufgeteilte Kopie tauscht in jeder Schicht Teilergebnisse zwischen ihren Karten über PCIe aus, und vLLMs eigenes All-Reduce ist standardmäßig bei mehr als zwei GPUs ohne NVLink abgeschaltet: Der Quellcode meldet „Custom allreduce is disabled because it's not supported on more than two PCIe-only GPUs“. vLLM 0.30.0 (Release Notes vom 22. September 2026) hat für Systeme ohne NVLink ein optionales All-Reduce über FlashInfer PCIe IPC eingeführt (#53576). Mit acht RTX PRO 6000 Server Edition läuft ein 70B-Modell als Kopie je Karte oder als TP=2-Paar, das diesen Weg behält; mit acht RTX PRO 4500 Server Edition braucht es TP=4 oder TP=8, die standardmäßig auf NCCL zurückfallen. Unser Leitfaden RTX PRO 6000 ohne NVLink vergleicht die Aufteilungen.

Nutzer je Modell für 500 bis 2.000 Beschäftigte

Die Gespräche oben sind Anfragen, die im selben Moment laufen. Mit den Beispielwerten unseres Leitfadens Private-ChatGPT-Server nach Unternehmens­größe erzeugen 500 Beschäftigte zur Spitzenzeit rund 20 gleichzeitige Anfragen, 1.000 Beschäftigte rund 40 und 2.000 Beschäftigte rund 80.

Nach diesen Werten decken acht RTX PRO 4500 Server Edition mit Kopien eines 14B-Modells in FP8 2.000 Beschäftigte ab, und zwei TP=4-Kopien von Llama 3.3 70B in FP8 rund 1.000. Acht RTX PRO 6000 Server Edition bedienen das 70B-Modell für weit mehr als 2.000 Beschäftigte, mit Reserve für längere Kontexte oder ein zweites Modell, und nur sie halten Modelle ab 200 GiB. Ist ein Assistent der 70B-Klasse für das ganze Unternehmen mit Raum zum Wachsen geplant, sind die größeren Karten die sicherere Wahl. Geht es um mehrere kleine Modelle, Embeddings und Reranker für ein oder zwei Abteilungen, trägt der kleinere Server das mit einem Drittel der Leistung.

Wir bauen beide Server auf Bestellung und teilen die Karten je Modell auf. Senden Sie uns Modelle, Kontextlängen und die Zahl der Beschäftigten, und unser Team antwortet innerhalb eines Werktages mit Karte, Aufteilung und den Gesprächen je Modell.

Veröffentlichte Messwerte je Karte

StorageReview hat eine RTX PRO 4500 Server Edition in einem Dell PowerEdge R770 mit vLLM 0.27.1 getestet und die Ergebnisse am 14. Oktober 2026 veröffentlicht, neben einer RTX PRO 6000, die mit demselben Container und Treiber in einem Dell Pro Max Tower T2 lief. Diese Karte war eine Workstation Edition, die laut StorageReview „stands in for the server card“, weil beide mit 600 W spezifiziert sind und sich im Test gleich verhielten.

StorageReview, Test der RTX PRO 4500 Blackwell Server Edition, 14. Oktober 2026, gelesen am 24. Oktober 2026: Ausgabe-Token pro Sekunde bei 32 gleichzeitigen Anfragen mit Ministral 3 14B in FP8; die RTX PRO 4500 blieb bei 8K ab 8 Anfragen bei rund 180 Token/s stehen; je Nennwatt bei 512/512. WS = RTX PRO 6000 Workstation Edition, stellvertretend für die Server Edition. Die Host-Plattformen unterscheiden sich.

Bei kurzem Kontext liefert die größere Karte etwa das Doppelte, bei 8K etwa das Dreifache, weil der kleineren Karte der Speicher für den KV-Cache ausgeht. StorageReview schrieb dazu: „The flattening is KV cache running out, and 32GB sets that limit“. Je Nennwatt leistet die RTX PRO 4500 bei kurzem Kontext mehr. Nach unserer Rechnung kämen acht unabhängige Kopien bei kurzem Kontext auf rund 8.856 Ausgabe-Token pro Sekunde mit acht RTX PRO 4500 Server Edition und rund 18.000 mit acht RTX PRO 6000 Server Edition bei 600 W, Obergrenzen aus einer Karte, sofern der Host nicht zur Grenze wird. Unsere Übersicht der RTX-PRO-4500-Benchmarks sammelt die übrigen veröffentlichten Werte.

Für acht Karten hat nur die größere Konfiguration verifizierte Ergebnisse in MLPerf® Inference v6.1 vom 16. September 2026; einen verifizierten Eintrag mit acht RTX PRO 4500 Server Edition haben wir nicht gefunden.

MLPerf® Inference: Datacenter v6.1, Closed Division, Kategorie Available, Offline-Szenario, Llama 2 70B (llama2-70b-99.9) und gpt-oss-120b, Einträge 6.1-0070 und 6.1-0050, je acht RTX PRO 6000 Blackwell Server Edition, abgerufen von mlcommons.org am 24. Oktober 2026. Ergebnisse von der MLCommons Association verifiziert. The MLPerf name and logo are registered and unregistered trademarks of MLCommons Association in the United States and other countries. All rights reserved. Unauthorized use strictly prohibited. See www.mlcommons.org for more information.

Strom: 4,8 kW gegenüber 1,32 kW Kartenleistung

Acht RTX PRO 6000 Server Edition mit 600 W ziehen 4,8 kW, acht RTX PRO 4500 Server Edition mit 165 W ziehen 1,32 kW. Mit den Prozessoren unserer Leitfäden für acht Karten und 15 Prozent für Arbeitsspeicher, Laufwerke, Netzwerkkarten, Lüfter und Wandlungsverluste kommt der Server auf rund 6,3 kW bzw. rund 2,2 kW. Der kleinere Server käme mit denselben zwei EPYC 9555 auf rund 2,3 kW.

Unsere Schätzung: Kartenleistung aus NVIDIAs Product Briefs; zwei AMD EPYC 9555 mit 360 W für den Server mit RTX PRO 6000 SE und zwei EPYC 9355 mit 280 W für den Server mit RTX PRO 4500 SE, dazu 15 Prozent; Anschlüsse mit 80 Prozent geplant: 2,94 kW bei 16 A, 5,89 kW bei 32 A, 8,87 kW bei Drehstrom mit 16 A. Dells Datenblatt nennt für einen Knoten mit acht RTX PRO 6000 Server Edition rund 8 kW als Richtwert; planen Sie den Anschluss nach dem Wert des Herstellers für das genaue Modell.

Oft entscheidet der Anschluss. Ein Rackplatz mit einem 230-V-Anschluss zu 16 A je Seite trägt mit 2,94 kW Planwert den Server mit RTX PRO 4500 Server Edition, nicht aber den mit RTX PRO 6000 Server Edition, selbst wenn dessen Karten auf das Minimum von 300 W begrenzt sind. Mit 600 W braucht der größere Server je Seite einen Drehstromanschluss, und bei A- und B-Einspeisung trägt jede Seite den ganzen Server. Die Wärme folgt: Rund 6,3 kW brauchen bei 11 °C Temperaturanstieg etwa 1.000 CFM Luft, 2,2 kW etwa 350 CFM, nach den 160 CFM je kW aus unserem Leitfaden zu Strom und Kühlung im GPU-Rack. Die begrenzten Varianten vergleicht unsere Seite zu acht GPUs mit 300 W.

MIG, vGPU-Desktops und Supportzeitraum

NVIDIAs MIG User Guide nennt bis zu vier Instanzen 1g.24gb auf der RTX PRO 6000 und zwei Hälften 1g.16gb auf der RTX PRO 4500; die Server bieten also bis zu 32 isolierte GPUs zu 24 GB oder 16 zu 16 GB. Eine 24-GB-Instanz hält Qwen3-14B in FP8 mit Cache für rund vier Gespräche mit 8K; eine 16-GB-Hälfte hält ein 8B-Modell in FP8, ein Embedding-Modell oder einen Reranker, Qwen3-14B in FP8 passt nicht hinein. Laut NVIDIAs MIG User Guide wird NCCL mit MIG nicht unterstützt, aufgeteilte Modelle laufen also auf ganzen Karten.

Für virtuelle Desktops nennt NVIDIAs vPC Sizing Guide vom 19. August 2026 16 Desktops je RTX PRO 4500 Server Edition mit 2-GB-Profilen, 128 für acht Karten bei der von NVIDIA so genannten maximal unterstützten Dichte. Für die RTX PRO 6000 Server Edition nennt derselbe Leitfaden 32 je Karte mit 2-GB-Profil und 48 mit MIG-backed Time-Sliced vGPU, nach unserer Rechnung also 256 oder 384 für acht Karten. NVIDIA bezeichnet die RTX PRO 4500 Server Edition als „the primary recommended GPU for NVIDIA vPC“, und ein Pilot mit Ihren eigenen Desktops legt das endgültige Profil fest. Unser Leitfaden zur GPU-Auslegung für VDI rechnet Hosts bis 1.000 Desktops hoch.

Der Supportzeitraum unterscheidet sich. Stand Oktober 2026 gehört die RTX PRO 6000 Server Edition zu NVIDIAs langfristigem Treiberzweig R580, unterstützt bis Juni 2028, mit vGPU 19 bis Juli 2028. Die RTX PRO 4500 Server Edition steht nicht in der R580-Liste und braucht vGPU 20 auf dem Zweig R595, dessen Supportende NVIDIA mit März 2027 angibt; ein jetzt gekaufter Host wechselt also im ersten Betriebsjahr auf einen späteren Zweig. Die Profile je Karte stehen in unseren Leitfäden zu den vGPU-Profilen der RTX PRO 6000 Server Edition und zu MIG und vGPU: VMs je Karte.

Host, Gehäuse und Lizenzen

NVIDIAs Konfigurations­leitfaden für NVIDIA-Certified Systems, aktualisiert am 30. September 2026, verlangt mindestens doppelt so viel Arbeitsspeicher, wie die GPUs zusammen an Speicher haben, und mindestens sechs physische Kerne je GPU. Beide Server brauchen also 48 Kerne, beim Arbeitsspeicher unterscheiden sie sich: 1.536 GB für acht RTX PRO 6000 Server Edition und 512 GB für acht RTX PRO 4500 Server Edition. NVIDIAs Referenzarchitektur RTX PRO AI Factory rechnet zwei Kerne je MIG-Instanz hinzu, was bei den größeren Karten mit 32 Instanzen stärker zählt.

Mehrere Gehäuse nehmen beide Karten auf. Puget Systems konfiguriert seinen 4U-Server für acht GPUs mit einer bis acht RTX PRO 4500 oder RTX PRO 6000 Server Edition, mit 3+1 Netzteilen zu 3.200 W und vier Anschlüssen mit 200 bis 240 V, und Supermicro führt acht Karten beider Typen in seinem 5U-Server SYS-522GA-NRT. Für die RTX PRO 6000 Server Edition nehmen Dells XE7745, HPEs DL380a Gen12, Ciscos UCS C845A M8 und Lenovos 3U-Server SR675 V3 acht Karten auf. Für die RTX PRO 4500 Server Edition führt Supermicro acht Karten auch im 4U-Server SYS-422GL-NR, in 2U gibt Supermicro höchstens sechs frei. Ein Gehäuse für acht Karten doppelter Breite hat Platz, den die einfach breite Karte nicht nutzt, und über die Zahl je Modell entscheidet die Liste des Herstellers, wie unsere Liste kompatibler Server für die Server Edition für die größere Karte zeigt.

Die Lizenzen trennen die beiden nicht. NVIDIAs Lizenzleitfaden hält fest, dass NVIDIA AI Enterprise „is licensed on a per-GPU basis“; wo sie genutzt wird, brauchen acht Karten also in beiden Servern acht Lizenzen, und keine der beiden Karten enthält ein Abonnement. vWS, vPC und vApps verkauft NVIDIA je gleichzeitigem Nutzer oder je GPU. Serving mit vLLM auf Bare Metal braucht in beiden Fällen keine NVIDIA-Lizenz.

Welcher Server für welche Arbeit

Unsere Auswertung der Abschnitte oben; Quellen wie in den Tabellen.

Den meisten Unternehmen, die einen Server mit acht Karten für LLM-Inferenz kaufen, empfehlen wir die RTX PRO 6000 Server Edition, weil das größte Modell entscheidet und 96 GB je Karte das Aufteilen von 70B-Modellen auf vier Karten vermeiden. Der Server mit RTX PRO 4500 Server Edition passt besser, wo die Arbeit aus vielen kleinen Modellen oder Desktops besteht und der Anschluss 16 A hat. Dieses System können Sie bei uns kaufen: Unser Team legt die Konfiguration nach Ihrer Arbeitslast und Ihrem Budget aus und antwortet innerhalb eines Werktages. Wir bauen beide auf Bestellung, vor der Lieferung montiert und getestet, mit Herstellergarantie auf jede Komponente, einem EU-Vertrag und einer EU-Rechnung; die Schritte stehen auf unseren Seiten Server mit 8× RTX PRO 6000 Server Edition kaufen und Server mit 8× RTX PRO 4500 Server Edition kaufen. Beschreiben Sie uns Rackplatz und Anschluss, und wir legen beide Varianten nebeneinander aus.

FAQ