NVIDIA RTX PRO 6000 Blackwell Server Edition vs. H100 NVL und H100 SXM im Vergleich

Welche Karte welche Aufgabe übernimmt

Die NVIDIA RTX PRO 6000 Blackwell Server Edition kann eine H100 beim Betrieb von Sprachmodellen ersetzen, die in 96 GB passen, vor allem in FP4, und in jedem Server, der zusätzlich rendert, Video kodiert oder virtuelle Workstations bereitstellt. Die H100 bleibt vorn, wo Speicherbandbreite, doppelte Genauigkeit oder NVLink entscheiden: interaktive Bereitstellung großer dichter Modelle, FP64-Simulation und Training über mehrere GPUs. In der PCIe-Version sind beide Rechenzentrumskarten für Standardserver, sie wurden aber für unterschiedliche Aufgaben entwickelt, und das zeigt sich in fast jeder Zeile der Datenblätter.

Unsere Auswertung der Produktseiten von NVIDIA zur H100 und zur RTX PRO 6000 Server Edition sowie des MIG User Guide (Stand 13. Oktober 2026), alle gelesen am 24. Oktober 2026; Einzelheiten in den folgenden Abschnitten.

Ein Paar H100 NVL ist NVIDIAs PCIe-Lösung für Modelle, die mehr als eine Karte brauchen, verbunden über eine Brücke mit 600 GB/s. Die H100 SXM ist ein Modul, das NVIDIA für HGX-H100-Systeme mit vier oder acht GPUs und für das DGX H100 führt, mit bis zu 700 W je GPU. Die RTX PRO 6000 Server Edition ist eine passiv gekühlte PCIe-Karte mit zwei Slots, die NVIDIAs Product Brief ohne NVLink führt; mehrere Karten in einem Server tauschen Daten über PCIe 5.0 aus.

Technische Daten nebeneinander

NVIDIA-Produktseite H100 (Stand 1. Juli 2026) und Produktseite RTX PRO 6000 Blackwell Server Edition (Stand 10. März 2026), gelesen am 24. Oktober 2026. Die H100-Seite kennzeichnet ihre Tensor-Werte „with sparsity“; die FP8- und FP4-Werte der Server Edition druckt NVIDIA ohne Angabe zur Sparsity. FP64 der Server Edition ist unsere Rechnung, 1/64 des FP32-Werts laut NVIDIAs Whitepaper zur RTX-Blackwell-PRO-Architektur. CC ist die CUDA Compute Capability.

Zwei Zeilen verlangen Sorgfalt. Die Tensor-Werte der H100 gelten mit struktureller Sparsity, die dichte FP8-Rate ist also halb so hoch: 1.671 TFLOPS bei der NVL und 1.979 bei der SXM. Für die Server Edition nennt NVIDIA 2 PFLOPS in FP8, ohne zu sagen, ob das ein Sparsity-Wert ist; die Datenblätter klären daher nicht, welche Karte in FP8 schneller rechnet. Eine veröffentlichte Messung klärt es, siehe unten. Die FP32-Zeile läuft umgekehrt: Die Blackwell-Karte führt 120 TFLOPS gegenüber 60 und 67, was für Rendering und für Programme in einfacher Genauigkeit zählt.

Mit demselben Benchmark gemessen: Kempner Institute

Das Kempner Institute in Harvard hat auf den GPUs seines Clusters dieselben Einzel-GPU-Tests ausgeführt und die Mittelwerte aus drei Läufen veröffentlicht. Das Handbuch nennt weder die Bauform der H100 noch die Edition der RTX PRO 6000; die H100-Zeile ist daher als Hopper-Karte mit 80 GB zu lesen, nicht als Ergebnis einer bestimmten NVL oder SXM.

Kempner Institute Computing Handbook, „Choosing a GPU partition“, Stand 15. Juli 2026, gelesen am 24. Oktober 2026. PyTorch 2.8.0, CUDA 12.8; Matrixprodukte 16384 × 16384, mit CUDA Events gemessen; Kopie von 4 GiB im GPU-Speicher; ein Trainingsschritt eines GPT-artigen Modells mit 16 Schichten, Hidden Size 2048, Sequenzlänge 1024, Batch 12, rund 0,94 Mrd. Parameter, in BF16.

Nach unserer Division dieser Ergebnisse erreichte die RTX PRO 6000 54 Prozent der BF16-Rate der H100, 52 Prozent ihrer FP8-Rate, 48 Prozent ihrer Kopierbandbreite und 56 Prozent ihres Trainingsdurchsatzes. In jeder Spalte lag sie vor der A100. Das Handbuch hat für die RTX PRO 6000 außerdem 749 TFLOPS in NVFP4 über torchao gemessen und vermerkt, dass dieser Wert nicht direkt mit den reinen Matrixwerten vergleichbar ist; für die H100 gibt es gar keine FP4-Spalte.

Die Empfehlungen des Handbuchs folgen den Zahlen: H100 oder H200 für FP8-Training im großen Maßstab und für ein Modell, das über viele GPUs verteilt wird, die RTX PRO 6000 als „a strong general-purpose choice“ für Training, Fine-Tuning und Inferenz auf einer GPU sowie für FP4- und RT-Core-Arbeit.

LLM-Inferenz: Speicher, FP4 und die Decode-Grenze

Beim Betrieb von Modellen entscheiden drei Dinge: ob das Modell mit Platz für seinen KV-Cache passt, in welchen Zahlenformaten die Karte rechnet und wie schnell sie ihre Gewichte für jedes erzeugte Token liest. Wir rechnen mit unserer Regel für Nutzer je Karte: 90 Prozent des vom Treiber gemeldeten Speichers, abzüglich 3 GiB je Karte, abzüglich der Gewichte, wie unser Leitfaden Wie viele Nutzer schafft eine RTX PRO 6000? herleitet. Für die RTX PRO 6000 meldet der Treiber 95,6 GiB. Für beide H100 liegt uns kein vom Treiber gemeldeter Wert vor; die H100-Zeilen beginnen daher bei den angegebenen 80 und 94 GB und sind eine Obergrenze.

Unsere Schätzung. Gespräche mit 8.192 Token und FP8-KV-Cache, je 1,25 GiB; NVIDIAs FP8- und NVFP4-Checkpoints von Llama 3.3 70B (72,7 und 42,7 GB). Grenze für einen Nutzer: Bandbreite ÷ je Token gelesene Bytes, 70,6 GB in FP8 und 40,6 GB in NVFP4. Obergrenzen, keine Messungen.

Für die H100 SXM ergibt 0,9 × 74,5 − 3 rund 64,1 GiB, weniger als die 67,7 GiB FP8-Gewichte; nach unserer Regel braucht das Modell dort zwei Karten. Die H100 NVL nimmt es mit höchstens 8,1 GiB Rest auf, sechs Gespräche; für Modelle bis 70 Mrd. Parameter nennt NVIDIAs H100-Seite ein Paar NVL-Karten mit NVLink-Brücke, zusammen 188 GB. Eine RTX PRO 6000 nimmt es in FP8 mit zwölf Gesprächen auf, in NVFP4 mit 34, mit dem Genauigkeitsverlust, den NVIDIAs Model Card angibt (MMLU 81,1 gegenüber 83,3 in BF16, wie unser Vergleich RTX PRO 6000 vs. H200 NVL zeigt). Für Hopper führt die Support-Matrix von TensorRT-LLM FP8 sowie INT4-Gewichte über AWQ oder GPTQ mit 16-Bit- oder FP8-Aktivierungen, aber kein Rechnen in FP4.

Für einen einzelnen Nutzer erzeugt die H100 bei gleicher Genauigkeit etwa doppelt so viele Token pro Sekunde, weil beim Decode jedes Gewicht je Token einmal gelesen wird und die H100 ihren Speicher 2,1- bis 2,4-mal so schnell liest. NVFP4 verkleinert den Abstand: Die Blackwell-Karte liest je Token 40,6 statt 70,6 GB, ihre Grenze steigt von rund 23 auf rund 39 Token pro Sekunde. Mit vielen gebündelten Nutzern wird der Decode stärker rechengebunden, und dann erreicht die H100 nach den Matrixmessungen von Kempner etwa die doppelte FP8-Rate. Für ein Mixture-of-Experts-Modell wie gpt-oss-120b, das je Token rund 5 GB liest, liegen die Grenzen bei rund 320 Token pro Sekunde auf der Server Edition, 670 auf der H100 SXM und 780 auf der H100 NVL, nach unserer Schätzung eine Obergrenze, weil gebündelte Token unterschiedliche Experten treffen.

Wir liefern die RTX PRO 6000 Server Edition und bauen Server mit zwei bis acht dieser Karten; nennen Sie uns Modelle, Genauigkeit und Spitzenlast, die heute auf H100 laufen, und unser Team antwortet mit der passenden Konfiguration und ihren Kennzahlen.

Fine-Tuning und Training

Auf einer GPU erreicht die RTX PRO 6000 im Trainingslauf von Kempner 56 Prozent des Durchsatzes der H100. Ein LoRA- oder QLoRA-Job, der auf eine Karte passt, dauert also etwa doppelt so lange, hat aber 16 GB mehr Speicher als auf einer H100 SXM: Ein 70B-QLoRA-Job mit rund 42,8 GB lässt auf 96 GB rund 53 GB frei, auf 80 GB rund 37 GB und auf 94 GB rund 51 GB, nach unserer Rechnung aus der angegebenen Kapazität. Unser Leitfaden für Fine-Tuning-Server dimensioniert diese Jobs je Kartenzahl.

Über mehrere GPUs entscheidet die Verbindung. Die H100 SXM läuft auf HGX-Boards mit vier oder acht GPUs und je 900 GB/s NVLink, die H100 NVL verbindet zwei Karten mit 600 GB/s. Acht RTX PRO 6000 Server Edition tauschen Gradienten und Aktivierungen über PCIe Gen5 x16 mit 128 GB/s je Karte aus, beide Richtungen gezählt. Beim datenparallelen Training eines Modells, das auf eine Karte passt, kostet das einen All-Reduce der Gradienten je Schritt; bei Tensor-Parallelität oder vollständig verteiltem Training (Sharding) eines großen Modells ist es der größte Kostenfaktor. Das Training eines Modells, das nicht auf eine Karte passt, gehört auf NVLink-Hardware; unter den Karten, die wir liefern, ist das die H200 NVL in Domänen mit 4-Wege-Brücke, wie unser Vergleich H200 NVL und RTX PRO 6000 für Fine-Tuning erklärt.

FP64, Grafik und Video

Bei doppelter Genauigkeit liegen die beiden Karten am weitesten auseinander. NVIDIA gibt die H100 NVL mit 30 TFLOPS FP64 und 60 auf den Tensor Cores an, die SXM mit 34 und 67. NVIDIAs Whitepaper zu RTX Blackwell PRO setzt FP64 auf 1/64 der FP32-Rate, bei der Server Edition nach unserer Rechnung rund 1,9 TFLOPS: genug, damit Code korrekt läuft, zu wenig für einen FP64-Löser. Wer CFD, Molekulardynamik oder VASP auf H100 rechnet, sollte sich die H200 NVL ansehen, wie unser Leitfaden zu FP64-GPU-Servern zeigt.

Umgekehrt hat die H100 keine RT Cores und keine Video-Encoder. NVIDIAs Systemanforderungen für Isaac Sim, Stand 14. Oktober 2026, halten fest: „GPUs without RT Cores (A100, H100) are not supported“, und führen die RTX PRO 6000 Blackwell in der höchsten Stufe. Die Server Edition hat 188 RT Cores, je vier NVENC- und NVDEC-Einheiten und MIG-Profile mit Grafikunterstützung, und sie ist die Edition der RTX PRO 6000 auf NVIDIAs vGPU-Liste, ab Release 19.0, mit Profilen für virtuelle Workstations. Unsere Artikel zum GPU-Server für Robotik und Isaac Sim und zu den vGPU-Profilen behandeln diese Einsätze.

MIG teilt beide Karten, aber unterschiedlich. Die H100 SXM teilt sich in bis zu sieben Instanzen zu 10 GB, die NVL in sieben zu 12 GB, nur für Compute. Die RTX PRO 6000 teilt sich in vier Instanzen zu 24 GB, zwei zu 48 GB oder eine zu 96 GB, mit +gfx-Varianten für Grafik-APIs; unsere MIG-Profile der RTX PRO 6000 listen sie auf.

Strom, Kühlung und die passenden Server

Die H100 NVL ist die sparsamere Karte: 350 bis 400 W, einstellbar, PCIe mit zwei Slots. Die RTX PRO 6000 Server Edition nimmt bis zu 600 W auf, laut NVIDIAs Product Brief SP-12355-001 bis auf 300 W einstellbar, mit einem 450-W-Modus, den Serverhersteller nutzen, um vier Karten in 2U unterzubringen. Die H100 SXM nimmt bis zu 700 W auf, aber nur auf einem HGX-Board, das als komplettes System mit vier oder acht GPUs kommt und nicht als Karte für einen vorhandenen Server.

Leistungsaufnahme der Karten aus NVIDIAs Produktseiten und Brief; GPU-Leistung ist unsere Multiplikation. Ganzer Server mit Server Edition: unsere Schätzung mit zwei AMD EPYC 9555 und 15 Prozent für den Rest, wie in unserem Leitfaden zum Server mit acht Server-Edition-Karten; Dell nennt rund 8 kW als Richtwert für das Maximum eines Knotens mit acht Karten, und Anschlüsse werden nach der Herstellerangabe geplant.

Auch bei der Luft bewerten Serverhersteller die beiden Karten unterschiedlich. Dells Technical Guide zum PowerEdge XE7745 (Revision A09, September 2026) nennt in seiner Temperaturtabelle für die Konfiguration mit acht E3.S-Laufwerken eine maximale Zulufttemperatur von 35 °C für die H100 NVL und 30 °C für die RTX PRO 6000 Server Edition. Ein Server mit acht Server-Edition-Karten und rund 6,3 kW braucht einen Drehstromanschluss, wie unser Leitfaden zu 16 A, 32 A und Drehstrom erklärt.

Lizenzen, Lebenszyklus und was wir liefern

Die H100 NVL enthält ein Abonnement für NVIDIA AI Enterprise über fünf Jahre; bei der SXM führt NVIDIA es als Zusatzoption. Die RTX PRO 6000 Server Edition wird separat je GPU lizenziert, wo eine Installation NVIDIA AI Enterprise braucht; MIG auf Bare Metal braucht keine Lizenz. Zur Hardware nannte die End-of-Life-Mitteilung eines Händlers den 1. November 2025 als letzten Bestelltermin für die H100 NVL. NVIDIAs Seite zum vGPU-Lebenszyklus, Stand 2. Oktober 2026, führt die H100 PCIe und die RTX PRO 6000 Server Edition weiterhin unter den GPUs, die das Ende der vollen Unterstützung nicht erreicht haben.

Wir liefern die H100 in keiner Form. Wo eine H100-Umgebung einen PCIe-Nachfolger mit derselben Hopper-Software, HBM und NVLink braucht, ist das die H200 NVL, wie unser Vergleich H200 NVL vs. H100 NVL darlegt; für A100-Server siehe A100-Karten ersetzen.

Empfehlung nach Einsatzzweck

• Inferenz von Modellen bis etwa 70B für viele Nutzer, Batch oder Chat: die RTX PRO 6000 Server Edition, in NVFP4, wo Ihre Evaluierung es zulässt, als eine Kopie je Karte.
• Interaktiver Betrieb mit Latenz je Token im Service Level: HBM. Unter den Karten, die wir liefern, ist das die H200 NVL, die ihren Speicher mit 4,8 TB/s liest.
• FP64-Simulation: die H200 NVL mit 30 TFLOPS FP64, nicht die RTX PRO 6000.
• Training oder Fine-Tuning über acht GPUs mit Tensor-Parallelismus oder vollem Sharding: NVLink-Hardware, also die H200 NVL in 4-Wege-Domänen oder ein DGX B300 je Projekt.
• Rendering, Isaac Sim, Video-Pipelines und virtuelle Workstations neben KI: die RTX PRO 6000 Server Edition; die H100 kann das nicht.

Sie können dieses System bei uns kaufen: Unser Team dimensioniert die Konfiguration nach Ihrer Arbeitslast und Ihrem Budget und antwortet innerhalb eines Werktages. Wir bauen KI-Server nach Auftrag mit zwei, vier oder acht RTX PRO 6000 Server Edition, vor der Lieferung montiert und getestet, mit einem EU-Vertrag und einer Rechnung und Herstellergarantie auf jede Komponente. Beschreiben Sie, welche Aufgaben Ihre H100-Server heute erledigen, und wir sagen, welche davon auf die RTX PRO 6000 Server Edition wechseln und welche auf eine H200 NVL gehören.

FAQ