RTX PRO 6000 Blackwell vs. GeForce RTX 5090 für KI-Arbeit: was die zusätzlichen 64 GB bringen und was nicht

Eine Chipfamilie, zwei Produkte

Für KI-Arbeit unterscheidet sich die RTX PRO 6000 Blackwell an drei Stellen von der GeForce RTX 5090: 96 gegenüber 32 GB Speicher, BF16- und FP8-Berechnungen mit FP32-Akkumulation bei der 2,4-fachen Spitzenrate der 5090 und NVIDIAs Treiberlizenz, die GeForce-Software vom Einsatz im Rechenzentrum ausschließt. Bei einem Modell, das auf beide Karten passt, läuft die Token-Generierung ähnlich schnell, weil beide den Speicher mit 1.792 GB/s lesen. Die beiden stammen aus derselben Generation und teilen die Compute Capability 12.0, derselbe CUDA-Code läuft also auf beiden. NVIDIA aktiviert 170 Streaming-Multiprozessoren auf der 5090 und 188 auf der RTX PRO 6000 und gibt der Profikarte am selben 512-Bit-Bus dreimal so viel Speicher. Laut NVIDIAs Whitepapers läuft der GDDR7-Speicher beider Karten mit 28 Gbit/s pro Pin, was bei 512 Bit die 1.792 GB/s der Tabelle ergibt.

NVIDIA-Produktseiten und -Datenblätter; Boost-Takte, L2-Cache und die Bandbreite der 5090 aus NVIDIAs Architektur-Whitepapers zu RTX Blackwell (GeForce) und RTX PRO Blackwell. NVIDIAs Product Brief zur Server Edition führt NVLink als „Not supported“, und Lenovos Product Guides zur Max-Q und zur Server Edition vermerken „NVLink support: No“.

Die dritte Edition, gedacht fürs Rack, ist die Server Edition: dieselben 96 GB, passive Kühlung, 1.597 GB/s und vGPU-Unterstützung. Sie ist die einzige Edition, die für ein Servergehäuse gebaut ist, und das spielt für die Lizenzfrage weiter unten eine Rolle.

Wo beide ähnlich schnell sind

Für jedes erzeugte Token wird jedes aktive Gewicht einmal gelesen; die Generierungs­geschwindigkeit für einen einzelnen Nutzer folgt also der Speicherbandbreite, und beide Karten haben dieselben 1.792 GB/s. Ein veröffentlichter Test bestätigt das. In StorageReviews Test vom 7. Oktober 2025 lag die RTX PRO 6000 im Textgenerierungs-Benchmark von UL Procyon, der TensorRT nutzt, bei vier Modellen, die auf beide Karten passen, in Ausgabe-Token pro Sekunde zwischen 3,6 und 8,2 Prozent vor der 5090. Modelle, die den Großteil der 32 GB der 5090 belegen, lassen ihr wenig Platz für den KV-Cache; Kontextlänge und parallele Anfragen gehen auf der 5090 daher eher aus als das Tempo. Bei einem Modell, das bequem in 32 GB passt, und jeweils einem Nutzer liegen die beiden Karten nah beieinander.

Unter hoher Last sieht das Ergebnis anders aus. Bei vielen gleichzeitigen Anfragen nimmt der Speicher, der nach den Gewichten frei bleibt, den KV-Cache auf, und der Cache entscheidet, wie viele Anfragen parallel laufen. Mit demselben Modell auf beiden Karten hat die RTX PRO 6000 Platz für weit mehr gleichzeitige Gespräche.

Jenseits von Sprachmodellen gilt dasselbe. In den Rendering-Läufen desselben StorageReview-Tests lag die 5090 in V-Ray mit 14.764 vpaths gegenüber 12.128 vorn und erzeugte ein SDXL-Bild in 5,2 Sekunden gegenüber 5,4, während Blender in die andere Richtung ausschlug: 7.870 Samples pro Minute gegenüber 7.421. Am Schreibtisch mit einem Grafiker oder einem Entwickler und mittelgroßen Modellen ist die GeForce-Karte nicht die langsame Wahl.

Modelle, die nicht in 32 GB passen

Passt das Modell nicht mehr in 32 GB, ändert sich der Vergleich. gpt-oss-120b ist 60,8 GiB groß, ein 70B-Modell in 4 Bit braucht schon ohne Kontext etwa 40 GiB, und keines von beiden lässt sich in 32 GB laden, ohne in den Systemspeicher auszuweichen. Die Schichten, die nicht passen, arbeiten dann aus dem Systemspeicher, dessen Bandbreite nur einen Bruchteil der 1.792 GB/s der Karte erreicht, und die Generierung wird entsprechend langsamer. In LM Studio mit jeweils einer Anfrage maß StorageReview auf der RTX PRO 6000 163,1 Token pro Sekunde bei gpt-oss-120b und 31,7 bei Llama 3.3 70B, Läufe, die die 5090 allein nicht schafft. Wir liefern die RTX PRO 6000 in allen drei Editionen; nennen Sie uns Ihr Modell und die Kontextlänge, und wir sagen Ihnen, welche Edition passt.

Nur Gewichte; KV-Cache und Laufzeitumgebung kommen hinzu. Die Zahl der Gespräche folgt unserer Regel für Nutzer pro Karte: 0,9 × 95,6 GiB, abzüglich 3 GiB Overhead und abzüglich der Gewichte. Die 70B-Werte gelten für Llama 3.3 70B aus unserem 70B-Rechenbeispiel, der 32B-Wert für NVIDIAs Checkpoint Qwen3-32B NVFP4; der Wert für gpt-oss-120b stammt aus OpenAIs Model Card.

Mehrere RTX 5090 gegen eine RTX PRO 6000

Beim reinen Durchsatz können mehrere 5090 eine RTX PRO 6000 schlagen: Zwei von ihnen lesen den Speicher zusammen mit 3.584 GB/s statt 1.792. Die Nachteile tauchen in dieser Zahl nicht auf. Zwei 5090 sind für 1.150 W Leistungsaufnahme spezifiziert, eine RTX PRO 6000 für 600 W, das Modell muss auf die Karten aufgeteilt werden, und da wir kein NVIDIA-Produktdokument gefunden haben, das Peer-to-Peer-Transfers zwischen Karten der GeForce-RTX-50-Serie bestätigt, sollten Sie damit planen, dass jeder Austausch zwischen ihnen über den Host läuft. Die Lizenz weiter unten gilt für jede von ihnen.

Trainingsdurchsatz: FP32-Akkumulation bei GeForce und RTX PRO

Tensor-Kerne multiplizieren Zahlen niedriger Präzision und addieren die Produkte in einen Akkumulator. Mixed-Precision-Training hält diesen Akkumulator der Genauigkeit wegen in FP32; PyTorch dokumentiert FP16-Akkumulation als Opt-in, das numerische Präzision gegen Geschwindigkeit tauscht, und NVIDIAs Whitepapers führen BF16 nur mit FP32-Akkumulation auf. Die folgende Tabelle zeigt, wo sich die beiden Produkte unterscheiden.

Whitepaper „NVIDIA RTX Blackwell GPU Architecture“ v1.1, Tabelle 3, und Whitepaper „RTX PRO Blackwell GPU Architecture“ v1.1, Tabelle 4. Spitzenraten beim Boost-Takt, ohne Sparsity.

Die GeForce-Karte rechnet Tensor-Operationen mit FP32-Akkumulation bei halber Rate: 209,5 TFLOPS gegenüber 419 mit FP16-Akkumulation. Die RTX PRO 6000 rechnet beides bei voller Rate. Geteilt durch Streaming-Multiprozessoren und Takt ergeben die Tabellen für beide Produkte bei voller Rate dieselben 1.024 dichten FP16-Operationen pro Multiprozessor und Takt, was eher auf eine Produktentscheidung als auf einen Unterschied in den Tensor-Kernen hindeutet. Mit FP32-Akkumulation hat die RTX PRO 6000 daher als Workstation Edition die 2,4-fache BF16- und FP8-Spitzenrate der 5090 und als 300-W-Max-Q die 2,1-fache. FP4 und INT8, die die 5090 bei voller Rate rechnet, unterscheiden sich auf der Workstation Edition nur um den Faktor 1,2 und auf der Max-Q um den Faktor 1,05.

Für Inferenz, die in FP4 oder INT8 rechnet, Aktivierungen eingeschlossen, spielt diese Tabelle kaum eine Rolle; Formate wie AWQ, die nur die Gewichte in 4 Bit speichern, rechnen ihre Matrixoperationen weiterhin in 16 Bit, und die Generierung für einen einzelnen Nutzer ist ohnehin durch die Speicherbandbreite begrenzt. Für Fine-Tuning, Training und BF16-Arbeit allgemein ist dies der größte Leistungsunterschied zwischen den beiden Karten, und die beworbenen AI-TOPS-Werte zeigen ihn nicht, weil sie auf beiden Karten FP4-Angaben sind.

Für Fine-Tuning liefern wir die RTX PRO 6000 als Karten oder in Multi-GPU-Servern, die wir nach Auftrag bauen. Nennen Sie uns das Modell und die Fine-Tuning-Methode, und wir antworten innerhalb eines Werktages mit Konfiguration und Angebot.

Lizenz und Garantie

Für Server geben die Lizenz- und Garantiebedingungen den Ausschlag. NVIDIAs Treiberlizenz, das „NVIDIA Driver License Agreement“ vom 25. Februar 2025, legt in Abschnitt 2.8 fest, dass GeForce- und Titan-Software nur für die Nutzung auf eigener GeForce- oder Titan-Hardware lizenziert ist („is licensed for use only on GeForce or Titan hardware products you own“) und nicht für den Einsatz im Rechenzentrum („is not licensed for datacenter deployment“). Abschnitt 2.7 desselben Vertrags ist nicht auf GeForce beschränkt und schließt aus, die Software zu nutzen, um kommerzielle Hosting-Dienste zu erbringen („provide commercial hosting services“), sofern der Vertrag dies nicht ausdrücklich gestattet. NVIDIAs Garantie für seine eigenen GeForce-Karten ergänzt, dass sie „intended for consumer end user purposes only“ sind, nicht für „datacenter use and/or GPU cluster commercial deployments“, und dass eine solche Nutzung die Garantie erlöschen lässt („shall void this warranty“). Die Lizenz definiert den Begriff Rechenzentrum nicht, und ob eine bestimmte Installation unter die Klausel fällt, ist eine rechtliche Bewertung für die Rechtsabteilung des Unternehmens. NVIDIAs eigene Garantie für RTX-PRO-Workstation-Karten läuft drei Jahre, und wir haben darin keinen solchen Ausschluss gefunden; für eine über einen Boardpartner gekaufte Karte gelten die Bedingungen dieses Partners. Unser Artikel zu GeForce-Karten im Server zitiert die Klausel und die Garantie vollständig.

Für einen GPU-Server liefern wir die für Servergehäuse gebaute Server Edition; unsere Liste kompatibler Server zeigt, welche Modelle sie aufnehmen. Teilen Sie uns das Servermodell und die gewünschte Zahl der Karten mit, und wir prüfen vor Ihrer Bestellung Strom und Kühlung.

MIG, ECC, Treiber und Peer-to-Peer

MIG. Die RTX PRO 6000 teilt sich in bis zu vier isolierte Instanzen zu 24 GB oder zwei zu 48 GB, unter Linux mit Treiber 575.51.03 oder neuer, einem aktuellen vBIOS (98.02.55.00.00 oder neuer auf der Workstation Edition, 98.02.6A.00.00 auf der Max-Q) und auf Compute umgestelltem Anzeigemodus. Die 5090 unterstützt kein MIG. Teilt sich ein Team eine Karte, erhalten mit MIG bis zu vier Nutzer je eine isolierte Instanz statt einer gemeinsamen Warteschlange; unser Leitfaden zu MIG und vGPU enthält die Details. Weder die 5090 noch die Editionen Workstation und Max-Q stehen auf NVIDIAs vGPU-Liste; vGPU setzt die Server Edition voraus.

ECC. Die RTX PRO 6000 wird mit ECC-geschütztem GDDR7 beworben. NVIDIAs GeForce-Whitepaper erklärt, dass GDDR7 ECC im Speicherchip selbst mitbringt und dass es „auf GeForce-RTX-GPUs mit GDDR7-Speicher immer aktiviert“ ist. NVIDIAs RTX-PRO-Whitepaper ergänzt, dass die GDDR7-Umsetzung der Profiprodukte „Enhanced CRC for RAS“ unterstützt; ein NVIDIA-Dokument, das einen weiteren Unterschied beschreibt, haben wir nicht gefunden. ECC allein ist daher in dieser Generation ein schwächeres Argument als bei GDDR6.

Treiber. Die RTX PRO nutzt NVIDIAs RTX-Enterprise-Treiber mit ISV-Zertifizierungen; die 5090 nutzt Game-Ready- und Studio-Treiber. Für CAD, Simulation und alles mit einer Liste zertifizierter Anwendungen zählt nur Ersteres.

Peer-to-Peer. Ein NVIDIA-Produktdokument, das die Peer-to-Peer-Unterstützung Karte für Karte angibt, haben wir weder für GeForce- noch für RTX-PRO-Karten gefunden; prüfen Sie sie deshalb am System selbst, wie es unser P2P-Leitfaden beschreibt. Lesen Sie bei einem Aufbau mit mehreren Karten auch NVIDIAs NCCL-Hinweise: IOMMU-Übersetzung unter Linux auf Bare Metal legt PCIe-Peer-to-Peer lahm, die BIOS-Einstellungen sind also ebenso wichtig wie die Karte.

RTX 5090 oder RTX PRO 6000: Kriterien für die Auswahl

Die 5090 ist eine vernünftige Wahl für eine Person am Schreibtisch, die mit Modellen bis etwa 32B in 4 Bit arbeitet, für Bildgenerierung und für GPU-Rendering, wo sie so schnell ist wie die Profikarte und manchmal schneller. Zur RTX PRO 6000 greifen Sie, wenn Modell oder Kontext mehr als 32 GB brauchen, wenn die Arbeit Training oder Fine-Tuning in BF16 oder FP8 umfasst, wenn sich mehrere Personen die Karte per MIG teilen, wenn ein zertifizierter Treiber verlangt wird und immer dann, wenn die Maschine in einem Serverraum steht. Für den letzten Fall ist die Server Edition, nicht die Workstation-Karte, die Edition, die Sie kaufen sollten.

Was wir liefern

Wir liefern die RTX PRO 6000 Blackwell in allen drei Editionen, EU-weit mit Herstellergarantie, unter einem EU-Vertrag und auf einer Rechnung: die Workstation Edition oder die Max-Q für eine Maschine am Arbeitsplatz, die Server Edition für einen Rack-Server und für vGPU. Sie erhalten sie als Karten, oder wir bauen sie nach Auftrag in eine Workstation oder einen GPU-Server ein; GeForce-Karten liefern wir nicht. Für mehrere Karten in einer Maschine am Arbeitsplatz lesen Sie vier Max-Q-Karten in einer Workstation; für das Rack unseren Editionsvergleich.

FAQ