H200 NVL vs. H100 NVL: wann sich das Upgrade lohnt

Die Rechenwerte sind identisch

H200 NVL und H100 NVL haben dieselben Rechenwerte; sie unterscheiden sich beim Speicher (141 GB HBM3e gegen 94 GB HBM3), bei der Bandbreite (4,8 gegen 3,9 TB/s), bei der Leistungsgrenze (bis 600 W gegen 400 W) und bei NVLink, das bis zu vier H200 NVL verbindet, aber nur zwei H100 NVL. Nebeneinandergelegt stimmen die Rechensektionen der beiden Datenblätter bis zur letzten Ziffer überein. Wir liefern die H200 NVL und die NVLink-Brücken, die sie braucht; schreiben Sie uns Ihr Modell und die Kontextlänge, und unser Team hilft Ihnen bei der Einschätzung, ob sich das Upgrade lohnt.

Tensor-Werte mit Structured Sparsity, gemäß NVIDIAs eigenen Fußnoten

Bei einer rechenlimitierten Aufgabe arbeiten beide Karten auf dem Papier daher gleich. Unter Dauerlast kann die ältere Karte allerdings früher heruntertakten, weil die H100 NVL ab Werk auf 400 W begrenzt ist und die H200 NVL auf 600 W. Die identischen Spitzenwerte stammen aus den Datenblättern, eine Messung der Dauertakte beider Karten haben wir nicht gefunden. Dennoch schreibt NVIDIA in seinem technischen Blog zu den Ergebnissen von MLPerf® Inference v4.0 vom März 2024, dass Llama 2 70B auf der H200 nach den TensorRT-LLM-Optimierungen durch Rechenleistung begrenzt ist, nicht durch Speicherbandbreite.

Speicher: 141 GB HBM3e gegen 94 GB HBM3

Beide NVL-Karten fahren einen breiteren Bus als die H100 SXM: sechs HBM-Stacks statt fünf. Darum liefert selbst die ältere H100 NVL 3,9 TB/s gegen 3,35 der SXM. Eine Erklärung von NVIDIA, warum die Kapazität 94 GB beträgt und nicht runde 96, haben wir nicht gefunden.

Veröffentlichte Leistungsgewinne je Arbeitslast

Der Gewinn reicht von null bis 3,4×, je nachdem, wie speicherlimitiert die Aufgabe ist.

Baseten hat SXM-Karten gemessen (8×H200 vs. 8×H100, 700 W); die NVL-Karten laufen mit 600 W gegen 400 W, die Verhältnisse sind daher als Richtwerte zu verstehen.

NVIDIA hat aus seinen eigenen Einreichungen zu MLPerf® Inference v4.0 vom März 2024 einen gesonderten Wert veröffentlicht: Bei gleichen 700 W lieferte die H200 SXM bis zu 28 Prozent mehr Durchsatz bei Llama 2 70B als die H100 SXM (nicht verifiziert). Das ist NVIDIAs Angabe für die SXM-Karten und lässt sich mit den Messungen von Baseten nicht vergleichen. Keine der beiden Runden von 2026, MLPerf® Inference v6.0 oder v6.1, enthält Ergebnisse für beide NVL-Karten im selben Benchmark; einen direkten Vergleich liefert daher keine von beiden. Ergebnis nicht von der MLCommons Association verifiziert. The MLPerf name and logo are registered and unregistered trademarks of MLCommons Association in the United States and other countries. All rights reserved. Unauthorized use strictly prohibited. See www.mlcommons.org for more information.

Baseten kommt zu dem Schluss, dass die H200 außerhalb dieser Situationen einen minimalen Gewinn gegenüber der H100 bringt und dass viele Inferenz-Workloads auf der H100 wirtschaftlicher sind. Für das NVL-Paar nennt NVIDIA bis 1,7× bei Sprachmodellen und 1,3× bei HPC; veröffentlichte Testbedingungen zu diesen Zahlen haben wir nicht gefunden.

NVIDIAs beworbene Zahlen und ihre Fußnoten

Die größte Zahl im H200-Material ist „110× bei HPC“. Laut Fußnote vergleicht sie vier GPUs mit zwei Sapphire-Rapids-8480-CPUs; verglichen wird also mit Prozessoren, nicht mit der H100.

Die zweite Zahl ist 1,9× bei Llama 2 70B. NVIDIAs Fußnote nennt die Bedingungen: Die H100 lief mit Batch 8 und die H200 mit Batch 32. Der größere Batch ist wegen des zusätzlichen Speichers möglich (siehe die KV-Cache-Arithmetik), und das ist der Sinn der H200. Das heißt nicht, dass dieselbe Last doppelt so schnell läuft: Passt Ihr Modell mit dem nötigen Batch schon in 94 GB, erscheint dieser Gewinn nicht.

NVLink: der größte Generationsunterschied

Die Brücken der beiden Generationen sind nicht austauschbar

Die genannten 900 GB/s zählen beide Richtungen: 18 Links mit 25 GB/s pro Richtung, also 450 GB/s in eine Richtung. Ein Nutzerbericht über ein Zwei-Karten-Setup mit H200 NVL in einem HPE DL385 Gen11 zeigt alle 18 Links aktiv, von nvidia-smi mit einer rohen Rate von 26,6 GB/s pro Link gemeldet. Karten außerhalb einer NVLink-Brücke reden über PCIe Gen5 mit 128 GB/s, etwa siebenmal langsamer.

Leistungsaufnahme, Temperatur, Treiber und Lizenz

Für die Planung zählen die ersten beiden Zeilen. Die voreingestellte Leistungsgrenze der neueren Karte liegt 200 W höher, und ihr zulässiger Bereich der Umgebungs­temperatur ist an beiden Enden enger. Die engere Grenze setzt allerdings der Server, denn die für die H200 NVL zertifizierten Server begrenzen die Raumtemperatur auf 30 oder 35 °C, wie unsere Checkliste für vorhandene Server zeigt. Bei Volllast das ganze Jahr über ergeben die zusätzlichen 200 W 1.752 kWh pro Karte, und das Strombudget des Racks wird früher zur Grenze als die Energiekosten. Die Treiberzeile nennt nur die Versionen, ab denen die Karten unterstützt werden: R535 hat im Juni 2026 das Ende seines Lebenszyklus erreicht, daher gehören beide Karten auf einen aktuellen Zweig, R580 mit Langzeitsupport bis Juni 2028 oder R595 bis März 2027.

Wann sich das Upgrade rechnet und wann eine vorhandene H100 NVL reicht

Ein Upgrade lohnt, wenn der Gewinn auf Ihrem Lastprofil den Unterschied bei den Kosten je nutzbarem Token überwiegt; die Kostenseite lässt sich nur aus einem Angebot für Ihre Konfiguration berechnen. In den Tests von Baseten auf SXM-Systemen gewann ein Chat-Workload mit kurzen Prompts in FP8 etwa 11 Prozent, Eingaben mit 32K Token dagegen 3,4×.

Noch wichtiger ist es, ganze Konfigurationen statt einzelner Karten zu vergleichen, wie es die Tabelle unten tut.

Laut der End-of-Life-Mitteilung eines Händlers war der letzte Bestelltermin (Last Time Buy) für die H100 NVL der 1. November 2025. Der folgende Vergleich gilt für Server, in denen bereits H100-NVL-Karten laufen.

Führt die Tabelle zur H200 NVL, liefern wir sie mit der NVLink-Brücke für zwei oder vier Karten. Nennen Sie uns den Maschinentyp Ihrer vorhandenen Server, und wir prüfen vor Ihrer Bestellung deren Stromversorgung und Luftstrom.

Bei einmaligen Lastspitzen ist die Cloud die bessere Wahl. Beide NVL-Karten kommen allerdings mit fünfjähriger NVIDIA-AI-Enterprise-Subscription (bei SXM-Boards außerhalb von NVIDIAs DGX-Systemen ein Zukauf), und auf Ihren eigenen Servern bleiben Ihre Daten in Ihrem Netz. In Projekten aus Medizin, Finanzwesen und öffentlicher Verwaltung ist das oft eine Voraussetzung, die vor der Kostenfrage geklärt wird.

Was wir liefern

Für ein Upgrade von der H100 NVL liefern wir die NVIDIA H200 NVL (141 GB HBM3e, PCIe) mit den neuen NVLink-Brücken, die sie braucht, unter einem EU-Vertrag und auf einer Rechnung, mit Herstellergarantie. Wo 96 GB GDDR7 pro Karte reichen und kein Bestand an H100 NVL zu ergänzen ist, liefern wir die RTX PRO 6000 Blackwell Server Edition und bauen damit Server nach Auftrag, darunter den Inferenzknoten mit vier Karten und 384 GB aus unseren KI-Server-Konfigurationen; er hat kein NVLink, ein über seine Karten verteiltes Modell kommuniziert daher über PCIe. Die H100 NVL liefern wir nicht.

FAQ