4× NVIDIA RTX PRO 6000 Blackwell Server Edition oder 4× H200 NVL im Vergleich

Zwei Server mit vier Karten bei gleicher Leistung

Wählen Sie vier H200 NVL, wenn ein Modell mit 70B bis 400B Parametern viele Nutzer interaktiv bedienen soll, wenn zur Aufgabe verteiltes Fine-Tuning oder Simulation in doppelter Genauigkeit gehört oder wenn das Abonnement von NVIDIA AI Enterprise ohnehin eingeplant ist. Wählen Sie vier NVIDIA RTX PRO 6000 Blackwell Server Edition, wenn die Modelle in NVFP4 laufen, wenn es um Durchsatz im Batch, mehrere Modelle nebeneinander oder virtuelle Workstations neben KI geht und wenn 96 GB je Karte für das größte Modell reichen. Beide Server ziehen 2,4 kW für die Karten.

Beide sind passiv gekühlte PCIe-Gen5-Karten mit zwei Slots für Rack-Server, ausgelegt für bis zu 600 W, und beide laufen in denselben 4U-Gehäusen von Dell, HPE und Cisco. Sie unterscheiden sich im Speichersystem und in der Verbindung zwischen den Karten. Die H200 NVL hat 141 GB HBM3e mit 4,8 TB/s und verbindet bis zu vier Karten über eine NVLink-Brücke mit 900 GB/s je GPU. Die RTX PRO 6000 Server Edition hat 96 GB GDDR7 mit 1.597 GB/s und kein NVLink, ihre vier Karten tauschen Daten über PCIe aus. Unser Vergleich auf Kartenebene, RTX PRO 6000 vs. H200 NVL: 96 oder 141 GB für LLMs, behandelt je eine Karte; diese Seite vergleicht den Server mit vier Karten, so wie die meisten Käufer bestellen.

Die Entscheidungstabelle

Gespräche für Llama 3.3 70B in FP8 mit 8K und FP8-KV-Cache, eine Kopie über vier Karten, und freier Speicher für Llama 4 Maverick in FP8: unsere Schätzungen nach der Regel für Nutzer je Karte unten. FP64: NVIDIAs H200-Seite (30 TFLOPS je Karte) und unsere Rechnung für die Server Edition (1/64 von 120 TFLOPS FP32 laut NVIDIAs Whitepaper zur RTX-Blackwell-PRO-Architektur).

Speicher und die Verbindung zwischen den Karten

Produktseite und Product Brief SP-12355-001_v02 der NVIDIA RTX PRO 6000 Blackwell Server Edition; NVIDIAs H200-Seite und Product Brief PB-12128-001_v01; NVIDIAs MIG-Handbuch (13. Oktober 2026); gelesen am 24. Oktober 2026. Die Verbindungsraten sind NVIDIAs Summen für beide Richtungen.

Unsere Regel für Nutzer je Karte nimmt 90 Prozent des Speichers, den der Treiber meldet, und zieht je Karte 3 GiB für CUDA-Kontext und Aktivierungen ab: 83,0 GiB je RTX PRO 6000 Server Edition und 123,4 GiB je H200 NVL. Was nach den Gewichten übrig bleibt, nimmt den KV-Cache auf. Die Herleitung steht in unserem Leitfaden Wie viele Nutzer schafft eine RTX PRO 6000?.

Die Verbindung entscheidet, wie gut ein Modell läuft, das über alle vier Karten verteilt ist. Der Quellcode von vLLM aktiviert das Custom All-Reduce auf mehr als zwei GPUs nur, wenn alle über NVLink voll verbunden sind; auf mehr als zwei reinen PCIe-GPUs meldet vLLM „Custom allreduce is disabled because it's not supported on more than two PCIe-only GPUs“ und nutzt NCCL. Vier H200 NVL an einer 4-Wege-Brücke erfüllen diese Bedingung, vier RTX PRO 6000 Server Edition nicht. Das ist das Standardverhalten: vLLM 0.30.0 (Release Notes vom 22. September 2026, #53576) hat für Systeme ohne NVLink ein optionales All-Reduce von FlashInfer über PCIe-IPC ergänzt, das ein Server mit vier Server-Edition-Karten testen kann. Der Server mit Server-Edition-Karten läuft am besten mit einer Kopie je Karte oder zwei TP=2-Paaren, wie unser Artikel RTX PRO 6000 ohne NVLink erklärt.

Welche Modelle passen, und für wie viele Nutzer

Unsere Schätzungen nach der Regel für Nutzer je Karte. Gewichte aus den Hugging-Face-Repositories wie in unseren Modell-Leitfäden: Llama 3.3 70B FP8 72,7 GB, gpt-oss-120b 65,3 GB, Qwen3-235B-A22B-Instruct-2507-FP8 236 GB, Llama 4 Maverick FP8 rund 417 GB, DeepSeek-V3.2 rund 690 GB.

Erst die 4-Wege-NVLink-Domäne macht die 400B-Klasse auf vier PCIe-Karten möglich. Auf dem Server mit Server-Edition-Karten hat eine Kopie über alle vier Karten 332,2 GiB für Gewichte und Cache zusammen; je größer die Gewichte, desto weniger Platz bleibt für Gespräche. DeepSeek-V3.2 braucht acht Karten beider Typen, wie unsere LLM-Hardware-Anforderungen je Modell aufführen.

Für die Nutzer nehmen wir Llama 3.3 70B in FP8, das Modell, das die meisten Unternehmen zuerst nennen, mit 8K-Kontext und FP8-KV-Cache von 1,25 GiB je Gespräch.

Unsere Schätzung, gleichzeitige Gespräche mit 8.192 Token in voller Länge: (nutzbarer Speicher der Kopie − 67,7 GiB) ÷ 1,25 GiB, je Kopie abgerundet.

Am größten ist der Abstand mit vier Kopien: 55,7 GiB Cache je H200 NVL gegenüber 15,3 GiB je RTX PRO 6000 Server Edition, also 44 Gespräche je Karte gegenüber 12. Mit einem NVFP4-Checkpoint von 39,8 GiB, der nur auf Blackwell nativ läuft, trägt jede Server-Edition-Karte 34 Gespräche, vier Kopien 136. Das sind Anfragen, die im selben Moment laufen; unser Leitfaden Privater ChatGPT-Server: GPUs nach Firmengröße rechnet die Zahl der Beschäftigten darauf um.

Die Geschwindigkeit je Nutzer folgt der Bandbreite. Werden je Token die 70,6 GB der FP8-Gewichte gelesen, ergibt das eine Obergrenze von rund 23 Token pro Sekunde auf einer RTX PRO 6000 Server Edition und 68 auf einer H200 NVL, nach unserer Rechnung. StorageReview hat auf vier Server-Edition-Karten in einem HPE ProLiant Compute DL380a Gen12 mit TP=4 für einen einzelnen Nutzer von Llama 2 70B 32,89 Token pro Sekunde gemessen (Test vom 6. November 2025). Wir liefern beide Server; senden Sie uns das Modell, die Kontextlänge und die Höchstzahl gleichzeitig laufender Anfragen, und unser Team schickt Ihnen beide Konfigurationen mit den Zahlen je Aufteilung.

Veröffentlichte Werte: MLPerf® v6.0 je Karte

Am saubersten lassen sich die Karten in einem Gehäuse und einer Runde vergleichen: Dells PowerEdge XE7740 mit acht H200 NVL und mit acht RTX PRO 6000 Server Edition in MLPerf® Inference v6.0.

MLPerf® Inference: Datacenter v6.0, Closed Division, Kategorie Available, Llama 2 70B (llama2-70b-99), Einträge 6.0-0021 (Dell PowerEdge XE7740, 8 × H200 NVL) und 6.0-0022 (Dell PowerEdge XE7740, 8 × RTX PRO 6000 Server Edition), abgerufen von mlcommons.org am 24. September 2026. Ergebnisse verifiziert durch die MLCommons Association. „Je Karte“ ist unsere Division des Systemergebnisses, keine MLPerf-Metrik. The MLPerf name and logo are registered and unregistered trademarks of MLCommons Association in the United States and other countries. All rights reserved. Unauthorized use strictly prohibited. See www.mlcommons.org for more information.

Nach unserer Division liegt die H200 NVL je Karte offline um 18 Prozent und im Server-Szenario um 14 Prozent vorn. Das sind Systeme mit acht Karten; ein Server mit vier Karten hat auf der H200-Seite eine NVLink-Domäne und keinen Verkehr zwischen Domänen, die Werte je Karte von Servern mit vier Karten können also abweichen. MLPerf® Inference v6.1 vom 16. September 2026 enthält keinen Eintrag mit der H200 NVL, ein direkter Vergleich bleibt daher bei v6.0. Unsere Seiten NVIDIA H200 NVL: MLPerf®, Stromverbrauch, Grenzen und RTX PRO 6000 Blackwell: Benchmarks, MLPerf®-Werte führen die übrigen Einträge, darunter ein Interactive-Ergebnis der Server Edition im Server eines anderen Herstellers.

StorageReviews Übersicht zu Enterprise-GPUs vom 14. Oktober 2026 hat mit vLLM 0.27.1 eine H200 NVL bei 450 W getestet, „the most a Dell PowerEdge R770 GPU slot delivers“, gegen eine RTX PRO 6000 Workstation Edition mit 600 W, die dieselbe GPU und mehr Bandbreite als die Server Edition hat. Mit Ministral 3 14B in FP8 bei 32 Streams erreichte die H200 NVL 3.435 Ausgabe-Token pro Sekunde und die Workstation Edition 2.283; mit einer NVFP4-Fassung von Qwen3.8-27B drehte sich die Reihenfolge um, 467 gegen 616, weil Hopper keine FP4-Arithmetik hat.

Fine-Tuning auf vier Karten

Unser Vergleich H200 NVL vs. RTX PRO 6000 für Fine-Tuning zählt die Modellzustände je Methode. QLoRA auf einem 70B-Modell, 42,8 GB, passt auf eine Karte beider Typen, ein Server mit vier Karten führt also vier solche Jobs parallel aus. LoRA auf einem 70B-Modell mit BF16-Basis, 144,4 GB, braucht zwei Karten beider Typen. Ein volles Fine-Tuning eines 8B-Modells mit 32-Bit-Adam, 128 GB Modellzustände, passt auf eine H200 NVL und braucht zwei RTX PRO 6000 Server Edition mit FSDP. Ein volles Fine-Tuning eines 70B-Modells, rund 1.129 GB, übersteigt den GPU-Speicher beider Server und braucht CPU-Offload oder acht Karten und mehr.

Sobald ein Lauf verteilt wird, trägt die Verbindung die Gewichte. Bei einem 70B-LoRA, das über vier Karten verteilt ist, zählt dieser Artikel rund 212 GB, die jede Karte für jeden Vorwärts- und Rückwärtsdurchlauf empfängt. Bei den Nennraten dauert das über PCIe Gen5 mit 64 GB/s je Richtung mindestens 3,3 Sekunden und über NVLink mit 450 GB/s je Richtung 0,47 Sekunden, nach unserer Rechnung, bevor FSDP einen Teil davon hinter der Rechenarbeit verbirgt. NVIDIA nennt für die H200 NVL 835,5 TFLOPS dichte BF16-Leistung, die Hälfte ihres Werts mit Sparsity; für die Server Edition veröffentlicht NVIDIA keinen dichten Wert, die Workstation Edition kommt auf 503,8. Für verteiltes Training ist der H200-NVL-Server die stärkere Plattform, bei einem Job je Karte schrumpft der Abstand auf diese Tensor-Rate.

FP64 und Simulation

NVIDIA nennt für die H200 NVL 30 TFLOPS FP64 und 60 auf den Tensor-Cores, für vier Karten also 120 TFLOPS FP64. NVIDIAs Whitepaper zur RTX-Blackwell-PRO-Architektur gibt dem GB202-Chip eine FP64-Rate von 1/64 der FP32-Rate, nach unserer Rechnung rund 1,9 TFLOPS je Server Edition und 7,5 für vier. Codes, die in doppelter Genauigkeit rechnen, darunter viele Solver für CFD, Chemie und Strukturmechanik, gehören auf die H200 NVL; Solver in einfacher oder gemischter Genauigkeit laufen gut auf der RTX PRO 6000 Server Edition. Unser Artikel GPU für CFD-Simulation: H200 NVL oder RTX PRO 6000 geht die Solver durch.

Strom, Gehäuse und Host

Beide Karten haben einen 16-Pin-Anschluss und laufen mit bis zu 600 W. NVIDIAs Product Briefs nennen als Minimum 300 W für die Server Edition und 200 W für die H200 NVL. Mit zwei AMD EPYC 9355 zu je 280 W und 15 Prozent für den restlichen Server kommen beide Server mit vier Karten bei 600 W je Karte auf rund 3,4 kW an der Steckdose und bei 450 W auf rund 2,7 kW, nach unserer Schätzung. Bei 600 W liegt das über den 2,94 kW, die wir je 230-V-Anschluss mit 16 A einplanen; der Rackplatz braucht dann 32 A oder Drehstrom, oder die Karten laufen begrenzt. StorageReview stellte fest, dass die RTX PRO 6000 Workstation Edition bei 450 W „gave up 2 to 5 percent at short context“ und „4 to 9 percent at long context“; für die H200 NVL bei 450 W haben wir keinen veröffentlichten Vergleich mit 600 W gefunden.

HPE QuickSpecs a50004300enw und a00047453enw; Lenovo Press LP2263; Produktseite Supermicro SYS-212GB-NR; Dell Technical Guides XE7745 A09 und XE7740 A04; Cisco C845A M8 Datenblatt und Spec Sheet A.11; Konfigurations­leitfaden für NVIDIA-Certified Systems (30. September 2026); gelesen am 24. Oktober 2026.

NVIDIAs Leitfaden für zertifizierte Systeme verlangt mindestens doppelt so viel Arbeitsspeicher wie GPU-Speicher insgesamt und sechs Kerne je GPU, der H200-NVL-Server braucht also rund 360 GB mehr Host-RAM. Unser Referenz-Inferenzknoten unter KI-Server hat vier Server-Edition-Karten mit zwei AMD EPYC und 768 GB DDR5 mit ECC; für vier H200 NVL setzen wir 1.152 GB ein, 24 Module zu 48 GB. Unser Leitfaden zum Server mit vier H200 NVL behandelt Brücken, Gehäuse und Host dieser Variante, und der Server mit 4× RTX PRO 6000 Server Edition die andere.

Lizenzen und Virtualisierung

NVIDIAs Licensing Guide, aktualisiert am 2. September 2026, hält fest: „Each NVIDIA H200 NVL Tensor Core GPU includes a five-year NVIDIA AI Enterprise subscription.“ Die Laufzeit beginnt 90 Tage nach dem Versanddatum der Karte an den Serverhersteller und wird über die Seriennummer der GPU aktiviert; vier Karten bringen also vier Abonnements mit. Für die RTX PRO 6000 Server Edition wird NVIDIA AI Enterprise separat lizenziert, je GPU. Open-Source-Engines wie vLLM laufen auf beiden Servern auch ohne Abonnement.

Für virtuelle Maschinen hat die H200 NVL nur Compute-vGPU (C-Serie) über NVIDIA AI Enterprise; NVIDIA führt sie in der Support-Matrix von AI Enterprise 8.2, deren Hypervisoren für Compute-vGPU VMware vSphere 8.0 und neuer einschließen. Grafik-vGPU hat sie nicht. Die Server Edition steht ab Release 19.0 auf NVIDIAs vGPU-Liste, für Grafik- und Compute-Profile, unter vSphere mit ESXi 8.0 Update 3g oder neuer; Grafik-Editionen wie vWS und vPC werden je gleichzeitigem Nutzer lizenziert, einige auch je GPU als Abonnement. Ein Server, der tagsüber CAD-Desktops und nachts Inferenz bedient, ist ein Server-Edition-Server.

Welcher Server mit vier Karten für welche Aufgabe

• Unternehmensassistent mit einem 70B-Modell für 1.000 Beschäftigte und mehr: vier H200 NVL, mit 286 bis 340 laufenden Gesprächen und der dreifachen Bandbreite je Nutzer.
• Ein Modell der 400B-Klasse auf einem Server: vier H200 NVL an einer 4-Wege-Brücke.
• Dokument- und Batch-Pipelines mit NVFP4-Modellen: vier RTX PRO 6000 Server Edition, die FP4 nativ rechnen; die RTX PRO 6000 Workstation Edition lag im NVFP4-Test von StorageReviews Übersicht vorn.
• Mehrere Modelle bis 70B, eines je Karte, dazu Embeddings und Reranker: beide; der Server mit Server-Edition-Karten braucht weniger Host-RAM, der H200-NVL-Server lässt je Karte drei- bis viermal so viel Cache.
• Virtuelle Workstations, Rendering oder Video neben KI: vier RTX PRO 6000 Server Edition.
• LoRA und volles Fine-Tuning über mehrere Karten, FP64-Solver: vier H200 NVL.

Was wir liefern

Sie können dieses System bei uns kaufen: Unser Team legt die Konfiguration auf Ihre Arbeitslast und Ihr Budget aus und antwortet innerhalb eines Werktages. Wir bauen KI-Server auf Bestellung mit vier RTX PRO 6000 Server Edition oder vier H200 NVL mit ihren NVLink-Brücken, vor der Lieferung montiert und getestet, mit einem EU-Vertrag und einer EU-Rechnung und mit Herstellergarantie auf jede Komponente. Stückzahlen und Lieferzeit werden mit dem Angebot schriftlich bestätigt. Beschreiben Sie uns Modelle, Nutzer und Stromanschluss, und wir bieten beide Server an, wo beide passen.

FAQ