NVIDIA RTX PRO 6000 Blackwell: Benchmarks, MLPerf®-Ergebnisse und Grenzen

Drei Editionen, ein Chip

Hinter dem Namen RTX PRO 6000 Blackwell stecken drei Karten mit demselben Chip, dem GB202: 24.064 CUDA-Kerne und 96 GB GDDR7 mit ECC an einem 512-Bit-Bus, von denen nvidia-smi 97.887 MiB meldet, also 95,6 GiB. Die Workstation Edition läuft mit 600 W, einem Double-Flow-Through-Kühler und 1.792 GB/s; die Max-Q behält diesen Speicher und diese Bandbreite bei 300 W, mit einem Kühler in Radialgebläse-Bauart, wie Puget Systems ihn beschreibt; die passive Server Edition nimmt bis zu 600 W auf, konfigurierbar, und ihr Speicher läuft mit 1.597 GB/s. Unser Editionsvergleich enthält die vollständige Tabelle.

Wir sind Lieferant, kein Labor: Nichts in diesem Artikel ist eine eigene Messung. Jeder Messwert ist ein veröffentlichtes Ergebnis Dritter, zitiert mit Quelle, Datum und, soweit angegeben, Modell, Präzision und Software.

Geschwindigkeits­grenze für einen Nutzer: Bandbreite geteilt durch Bytes pro Token

Die Prefill-Phase ist rechenlimitiert; die Decode-Phase liest jedes aktive Gewicht einmal pro Token, für einen Nutzer ist die Grenze also die Speicherbandbreite geteilt durch die pro Token gelesenen Bytes. Nach unserer Rechnung liest Llama 3.3 70B pro Token 70,6 GB in FP8 und 40,6 GB in NVFP4. Das begrenzt einen einzigen Stream bei der Workstation Edition und der Max-Q auf 25,4 und 44,1 Token pro Sekunde und bei der Server Edition auf 22,6 und 39,3. gpt-oss-120b liest im MXFP4-Checkpoint von OpenAI etwa 5 GB pro Token und ist damit auf rund 360 und 320 begrenzt. Das sind Obergrenzen für gewöhnliches Decoding, keine Messungen.

Bei vielen gleichzeitigen Anfragen bedient jeder Lesedurchgang der Gewichte alle Anfragen zugleich, der Gesamtdurchsatz steigt also, bis die Rechenleistung oder der Platz für den KV-Cache ausgeht; an dieser Stelle zählen die FP4-Tensor-Kerne.

NVIDIAs eigene Zahlen: Durchsatz unter Volllast

NVIDIAs Performance-Übersicht zu TensorRT-LLM enthält für die Server Edition Tabellen zu drei Modellen, jeweils aus einem FP4-Checkpoint von NVIDIA. Die Metrik ist Ausgabe-Token pro Sekunde je GPU, das erste Token eingeschlossen, gemessen mit trtllm-bench und dem PyTorch-Backend, während ein lokaler Client Anfragen „mit hoher Rate / ohne Verzögerung zwischen den Nachrichten“ sendet: eine Karte unter maximaler Last, mit vielen Optionen in der Standardeinstellung, in Zahlen, die laut NVIDIA „nicht als Spitzenleistung betrachtet werden sollten“.

Performance-Übersicht von NVIDIA zu TensorRT-LLM (Dokumentation von TensorRT-LLM 1.4.0rc1), Tabellen für die „RTX 6000 Pro Blackwell Server Edition“, zuletzt aktualisiert am 19. Oktober 2026 mit unveränderten Werten; synthetische Prompts, Eingabe- und Ausgabelängen in Token. Der Eintrag für Qwen3-235B-A22B mit vier Karten nutzt NVIDIAs Einstellungen DEP2 und PP2.

Am stärksten beeinflusst die Prompt-Länge das Ergebnis: Das 70B-Modell fällt von 1.724 auf 296 Token pro Sekunde je GPU, wenn die Prompts von 1.000 auf 8.192 Token wachsen, und Prompts mit 32.768 Token führt NVIDIA für dieses Modell nur auf zwei Karten, pipeline-parallel. Wir haben bei NVIDIA keine Angabe je Nutzer gefunden. Wir liefern die Karte in allen drei Editionen und bauen KI-Server mit der Server Edition nach Auftrag. Schildern Sie kurz Ihr Modell und Ihre Nutzerzahl, und unser Team hilft Ihnen weiter.

MLPerf® Inference v6.0: verifizierte Ergebnisse für zwei bis zehn Karten

MLPerf® Inference v6.0 enthält Ergebnisse der Closed Division von HPE, Dell, Cisco und weiteren Einreichern für Server mit zwei bis zehn Karten der Server Edition; der Server mit zehn Karten ist HPEs ProLiant Compute DL380a Gen12 (Eintrag 6.0-0045), wobei HPEs QuickSpecs für diesen Server, Stand 16. Oktober 2026, die RTX PRO 6000 auf acht Karten begrenzen. Im Offline-Szenario werden alle Anfragen auf einmal gesendet; im Server-Szenario treffen sie in zufälligen Abständen ein, und ein Lauf zählt nur, wenn die Zeit bis zum ersten Token und die Zeit je Ausgabe-Token innerhalb von Grenzwerten bleiben, die das Interactive-Szenario verschärft. MLPerf® Inference v6.1, veröffentlicht am 16. September 2026, enthält Ergebnisse der Server Edition für Server mit vier und acht Karten; die Ergebnisse mit acht Karten folgen im nächsten Abschnitt.

MLPerf® Inference: Datacenter v6.0 (veröffentlicht am 1. April 2026), Closed Division, Kategorie Available; Benchmarks Llama 2 70B (llama2-70b-99) und gpt-oss-120b, Szenarien Offline, Server und Interactive; abgerufen von mlcommons.org am 24. September 2026; Ergebnisse von der MLCommons Association verifiziert, wie jedes MLPerf®-Ergebnis in diesem Abschnitt. Werte aus der Ergebnistabelle und den Rohlogs von MLCommons; die Systeme mit der RTX PRO 6000 liefen mit FP4-Gewichten auf TensorRT 10.14 mit CUDA 13.0 oder 13.1. Die Werte je Karte (unsere Division des Systemergebnisses durch die Zahl seiner GPUs) und die Token pro Sekunde je Stream (1.000 geteilt durch die mediane Zeit je Ausgabe-Token im Log) sind unsere Rechnung, keine MLPerf®-Metriken. Grenzen für das erste Token und je Ausgabe-Token: Server 2 s und 200 ms für Llama 2 70B, 3 s und 80 ms für gpt-oss-120b; Interactive 450 ms und 40 ms. The MLPerf name and logo are registered and unregistered trademarks of MLCommons Association in the United States and other countries. All rights reserved. Unauthorized use strictly prohibited. See www.mlcommons.org for more information.

Nach unserer Division jedes Systemergebnisses, keine MLPerf®-Metrik, erreichten die drei HPE-Systeme der Tabelle mit Llama 2 70B im Offline-Szenario 3.340 bis 3.739 Token pro Sekunde je Karte. HPEs Server mit acht Karten behielt im Server-Szenario 96 Prozent seines Offline-Gesamtwerts, mit einem Median von 175 ms je Ausgabe-Token: etwa 5,7 Token pro Sekunde für den Median-Stream, nach unserer Rechnung. Das Interactive-Szenario kommt einem Chat am nächsten. Die Server der Ergebnisse 6.0-0004 und 6.0-0005 mit je acht Karten hielten den Median-Stream bei etwa 27 Token pro Sekunde (37 ms je Token) und lieferten 6.238,1 und 6.262,6 Token pro Sekunde, also 22 und 23 Prozent ihrer eigenen Offline-Ergebnisse (27.812,9 und 27.730,1). Bei gpt-oss-120b lag der Median im Server-Szenario bei 55 ms je Token, etwa 18 Token pro Sekunde je Stream. NVIDIAs 1.724 je GPU und unsere Division der MLPerf®-Ergebnisse je Karte sind unterschiedliche Messungen: Modelle, Anfragelängen, Software und Tuning unterscheiden sich allesamt.

HPEs DL385 Gen11 mit vier Karten (Eintrag 6.0-0054) begrenzte seine Karten auf 450 W, während das System mit zwei Karten (Eintrag 6.0-0052) sie mit 600 W betrieb. Nach derselben Division je Karte, keine MLPerf®-Metrik, lieferten die begrenzten Karten im Offline-Szenario 3 Prozent weniger und im Server-Szenario 8 Prozent weniger, in dem ein Ergebnis auch von der Last abhängt, auf die der jeweilige Lauf eingestellt war. Die beiden Systeme unterscheiden sich in der Kartenzahl und im Treiber-Build (580.105.09 gegenüber 580.126.09), das ist also ein Anhaltspunkt, kein kontrollierter Test.

Dells PowerEdge XE7740 mit acht H200 NVL (Eintrag 6.0-0021) lieferte mit Llama 2 70B im Offline-Szenario 18 Prozent mehr als dasselbe Chassis mit acht RTX PRO 6000 (Eintrag 6.0-0022): 32.004 gegenüber 27.034,8 Token pro Sekunde. Das H200-NVL-System lief mit FP8-Gewichten auf TensorRT 10.13, wobei NVLink als Verbindung zwischen den Karten angegeben ist; das RTX-PRO-6000-System lief mit FP4-Gewichten auf TensorRT 10.14 über PCIe. Im Interactive-Szenario erreichte das H200-NVL-System 16.343,8 Token pro Sekunde, das 2,6-Fache des Ergebnisses 6.0-0004 vom Server eines anderen Herstellers, bei etwa 28 Token pro Sekunde für den Median-Stream gegenüber 27. Nach unserer Rechnung sind das etwa zweieinhalbmal so viele gleichzeitig laufende Anfragen innerhalb derselben Grenzen. Unser Vergleich mit der H200 NVL erklärt, warum.

MLPerf® Inference v6.1: acht Karten der Server Edition

MLPerf® Inference v6.1 enthält Ergebnisse von fünf Systemen verschiedener Hersteller mit je acht Karten der Server Edition. Die Tabelle nennt die Systemergebnisse, wie MLCommons sie veröffentlicht; Llama 2 70B läuft in dieser Runde mit dem Genauigkeitsziel von 99,9 Prozent (llama2-70b-99.9), gegenüber 99 Prozent in der Tabelle zu v6.0 oben, deshalb vergleichen wir die beiden Runden nicht Zeile für Zeile.

MLPerf® Inference: Datacenter v6.1 (veröffentlicht am 16. September 2026), Closed Division; Benchmarks Llama 2 70B (llama2-70b-99.9), gpt-oss-120b, Llama 3.1 8B und Whisper; Szenarien Offline und Server, Token pro Sekunde; Einträge 6.1-0070 (MiTAC G4520G6), 6.1-0013 (Cisco UCS C845A M8), 6.1-0036 (Dell PowerEdge XE7740), 6.1-0050 (HPE ProLiant Compute DL380a Gen12) und 6.1-0082 (Nebius RTX PRO 6000 n1), jeweils mit acht RTX PRO 6000 Blackwell Server Edition; abgerufen von mlcommons.org am 24. Oktober 2026; Ergebnisse von der MLCommons Association verifiziert. „Nicht zitiert“: ein Wert, den wir nicht angeben.

Nach unserer Division jedes Systemergebnisses durch acht, keine MLPerf®-Metrik, erreichten die vier Systeme mit Llama 2 70B im Offline-Szenario 3.661 bis 3.754 Token pro Sekunde je Karte und liegen innerhalb von 2,6 Prozent; bei diesem Modell zählt der Serverhersteller also weniger als die Zahl der Karten. Im Server-Szenario behielt jedes System 97 bis 98 Prozent seines Offline-Durchsatzes, gegenüber 96 Prozent bei HPEs Server mit acht Karten in v6.0. Die drei Ergebnisse mit gpt-oss-120b liegen innerhalb von 3,2 Prozent. HPEs Eintrag enthält außerdem Llama 3.1 8B im Interactive-Szenario, mit 39.986,3 Token pro Sekunde oder 78 Prozent seines Offline-Ergebnisses. NVIDIAs DGX B300 mit acht über NVLink verbundenen GPUs erreichte mit Llama 2 70B offline 109.277 Token pro Sekunde, etwa das 3,6-Fache des besten Ergebnisses mit acht Karten der Server Edition (MLPerf® Inference: Datacenter v6.1, Closed Division, llama2-70b-99.9, Offline, Eintrag 6.1-0071, abgerufen von mlcommons.org am 24. Oktober 2026, Ergebnis von der MLCommons Association verifiziert). Unser Überblick über MLPerf Inference v6.1 für PCIe-GPU-Server enthält alle Szenarien, unser Leitfaden zu acht Karten der Server Edition zeigt, was ein solcher Server betreibt.

Tests Dritter: Ergebnisse für einen Nutzer, mehrere Karten und Fine-Tuning

Die Tests von StorageReview zur RTX PRO 6000 Workstation (7. Oktober 2025) und zum HPE ProLiant DL380a Gen12 (6. November 2025); der Benchmark von Exxact zum LoRA-Fine-Tuning (4. Juni 2026). StorageReview nennt weder die Quantisierung seiner Modelle in LM Studio noch die Präzision seines Laufs mit Llama 2 70B Chat noch seine vLLM-Version; Exxact nennt seine Softwareversionen nicht.

Die Einzelkartenwerte von StorageReview stammen aus einem einzigen Prompt, der einen Aufsatz mit 500 Wörtern verlangt, auf einer Threadripper-Workstation unter Windows; da das Dateiformat nicht angegeben ist, lassen sie sich den Obergrenzen oben nicht gegenüberstellen. Llama 3.3 70B läuft mit 67,7 GiB in NVIDIAs FP8-Checkpoint auf einer RTX PRO 6000, mit FP8-Cache für rund zwölf Gespräche mit 8K nach unserer Regel für Nutzer je Karte, und passt nicht in die 32 GB einer RTX 5090, wie unser Vergleich mit der RTX 5090 erklärt. Exxact, ein Systemintegrator, ließ sein LoRA-Fine-Tuning mit Rang 16 auf den Query- und Value-Projektionen laufen, mit Batch 2 je GPU und Sequenzen von 512 Token; zwei Karten mit verteiltem Datenparallelismus erreichten 9.541 Token pro Sekunde, was Exxact mit einer Skalierung von 96,1 Prozent beziffert.

Wir bauen KI-Server auf Bestellung mit Karten der RTX PRO 6000 Server Edition für Inferenz und Fine-Tuning. Nennen Sie uns das Modell und ob Sie es bereitstellen oder feinabstimmen wollen, und Sie erhalten innerhalb eines Werktages Konfiguration und Angebot.

Rendering, Bild und Video

Puget Systems hat die Workstation Edition im Juni 2025, aktualisiert im Juli, mit der RTX 6000 Ada verglichen, auf einem Ryzen 9 9950X mit Treiber 576.52: 50 Prozent schneller in Blender, mit nahezu gleichem Zuwachs im RTX-Modus von V-Ray, 55 Prozent in dessen CUDA-Modus, 34 Prozent in Unreal Engine und in DaVinci Resolve 43 Prozent in den LongGOP-Tests und 78 Prozent bei den GPU-Effekten. StorageReview hat die Workstation Edition in der Monster-Szene von Blender 4.4 mit 7.870 Samples pro Minute gemessen, vor den 7.421,5 der RTX 5090, und in V-Ray mit 12.128 vpaths, wo die 5090 mit 14.764 vorn lag; der Stable-Diffusion-XL-Test von UL Procyon in FP16 brauchte 5,364 Sekunden pro Bild.

Für die Server Edition führt NVIDIAs Seite zur Inferenzleistung, Stand September 2026, nur Vision-Modelle sowie Modelle zur Bild- und Videogenerierung, darunter Flux mit 0,20 Bildern pro Sekunde in FP4 bei Batch 1, Stable Diffusion XL mit 0,72 bei Batch 4 und Stable Video Diffusion mit 2,82 Videos pro Minute, mit TensorRT und ohne Angabe von Auflösung oder Schrittzahl. Phoronix zeigt in seinem Linux-Test der Familie (21. Mai 2026, Treiber 595.58.03) die Ergebnisse nur als Diagramme.

Max-Q, Leistungsaufnahme, Wärme und Lautstärke

Pugets Test vom Juli 2025 auf einem Threadripper PRO 7965WX sah die Max-Q mit 300 W in Blender, Octane, Redshift und V-Ray um 5 bis 13 Prozent hinter der Workstation Edition und bei den GPU-Effekten von DaVinci Resolve sowie in Unreal Engine um 14 Prozent dahinter; wir haben keinen veröffentlichten LLM-Test beider Editionen auf demselben Prüfstand gefunden. Unser Leitfaden zur Workstation mit vier Karten behandelt Tower mit vier Max-Q.

Die gesamte Workstation von StorageReview mit der Karte zog während Stable Diffusion XL im Mittel 918,5 W und in der Spitze 1.036,3 W, im Leerlauf 152,3 W. Die Server Edition hat keinen eigenen Lüfter und wird von den Lüftern des Servers gekühlt: NVIDIAs Product Brief nennt einen über einen Luftkanal geführten Mindestluftstrom durch den Kühlkörper von 43 CFM bei 25 °C Einlasstemperatur bis 125 CFM bei 45 °C, als Referenz für die Qualifizierung.

Grenzen: NVLink, MIG, vGPU, Stromversorgung und Workloads für andere Karten

Kein NVLink. NVIDIAs Product Brief für die Server Edition führt NVLink als nicht unterstützt, und keine Edition hat es: Zwei Karten sind zwei GPUs mit 96 GB an PCIe 5.0 x16, kein einzelner Pool mit 192 GB. Tensor-Parallelismus funktioniert, wie die Läufe von StorageReview mit vier Karten zeigen, aber jeder Austausch läuft über PCIe, und ein Hinweis in der Dokumentation von vLLM schlägt auf Knoten ohne NVLink stattdessen Pipeline-Parallelismus vor, für höheren Durchsatz.

MIG braucht auf den Workstation-Editionen Vorbereitung. Alle drei lassen sich in bis zu vier Instanzen zu 24 GB, zwei zu 48 GB oder eine zu 96 GB aufteilen und brauchen auf Bare Metal oder im Passthrough Linux und Treiber 575.51.03 oder neuer; die Workstation Edition und die Max-Q brauchen außerdem ein Mindest-vBIOS und den auf Compute umgestellten Anzeigemodus, was die Displayausgänge abschaltet, während die Server Edition im Modus mit abgeschalteter Anzeige ausgeliefert wird. Unsere MIG-Anleitung enthält die Schritte.

vGPU läuft nur auf der Server Edition. NVIDIAs Liste der von vGPU unterstützten GPUs, aktualisiert am 2. Oktober 2026, führt die Server Edition ab vGPU 19.0 und ihre flüssigkeitsgekühlte Version ab vGPU 20.0, aber keine der beiden Workstation-Editionen; laut dem Product Brief der Server Edition setzt vGPU den Modus mit abgeschalteter Anzeige voraus.

Stromversorgung und Software. Die 600 W der Server Edition hängen vom Kabel ab: NVIDIAs Product Brief definiert einen 450-W-Modus für ein dafür beschaltetes 16-poliges Kabel und verlangt einen R575-Treiber und CUDA 12.9 oder neuer.

Workloads für andere Karten. Die RTX PRO 6000 ist die falsche Wahl für interaktives Serving von Modellen der 70B-Klasse für viele Nutzer gleichzeitig, wo die H200 NVL mit 4.800 GB/s HBM3e gegenüber 1.597 GB/s GDDR7 das 2,6-Fache des Durchsatzes weiter oben lieferte (MLPerf® Inference: Datacenter v6.0, Closed Division, Llama 2 70B (llama2-70b-99), Szenario Interactive, Einträge 6.0-0021 und 6.0-0004, FP8- gegenüber FP4-Gewichten, abgerufen von mlcommons.org am 24. September 2026, Ergebnisse von der MLCommons Association verifiziert); Modelle, die mehr als 96 GB und schnellen Tensor-Parallelismus brauchen; Arbeit mit doppelter Genauigkeit, da FP64 laut NVIDIAs Whitepaper mit 1/64 der FP32-Rate läuft; virtuelle Desktops auf den Workstation-Editionen; und Server, die nur für Karten mit 350 W qualifiziert sind, wo die L40S weiterhin besser passen kann.

Wir liefern auch die H200 NVL und die L40S, sodass sich die Wahl der Karte nach dem Workload richten kann. Beschreiben Sie uns den Workload und den Server, in den die Karte kommt, und wir sagen Ihnen, welche Karte passt.

Was wir liefern

Wir liefern die RTX PRO 6000 Blackwell in allen drei Editionen, mit Herstellergarantie, unter einem EU-Vertrag und auf einer Rechnung, als Karten oder in KI-Servern, die wir auf Bestellung bauen und für den Workload auslegen, vor der Lieferung montiert und getestet; zwei unserer drei Referenz­konfigurationen haben zwei beziehungsweise vier Karten der Server Edition. Wenn Sie auch die Software brauchen, übernimmt unser Engineering-Partner Vixen.UNO unter demselben Vertrag das Deployment: private LLMs auf vLLM, Ollama oder NVIDIA AI Enterprise und RAG unter Beachtung der Zugriffsrechte jedes Nutzers, beginnend mit einem Pilotprojekt auf einem Prozess mit klaren Metriken (Private AI/ML).

FAQ