H200 NVL vs. H100 NVL: wann sich der Aufpreis lohnt

Zuerst der Fakt, der die meisten Vergleiche hinfällig macht

Legen Sie die beiden Datenblätter nebeneinander, und Sie sehen etwas, das Reviews selten erwähnen: Die Rechensektionen stimmen bis zur letzten Ziffer überein. Nicht ungefähr – exakt.

Tensor-Werte mit Structured Sparsity, gemäß NVIDIAs eigenen Fußnoten

Die Konsequenz ist einfach: Ist Ihre Aufgabe rechenlimitiert, arbeiten beide Karten auf dem Papier gleich. Ein Vorbehalt, den ein Ingenieur anbringen wird: Die H100 NVL hat ab Werk ein 400-W-Limit, die H200 NVL 600 W – unter Dauerlast kann die ältere Karte also früher heruntertakten; identische Spitzenwerte sind eine Datenblatt-Aussage, keine gemessene. Dennoch: NVIDIAs eigener MLPerf-Bericht schreibt, dass Llama 2 70B auf der H200 nach den TensorRT-LLM-Optimierungen durch Rechenleistung begrenzt ist, nicht durch Speicherbandbreite.

Der ganze Unterschied liegt im Speicher

Beide NVL-Karten fahren einen breiteren Bus als die H100 SXM – sechs HBM-Stacks statt fünf – darum liefert selbst die ältere H100 NVL 3,9 TB/s gegen 3,35 der SXM. Warum die Kapazität 94 GB beträgt und nicht runde 96, erklärt NVIDIA nirgends.

Was es bei konkreten Aufgaben bringt

Eine einzelne Zahl gibt es nicht. Die Spanne reicht von null bis 3,4×, je nachdem, wie speicherlimitiert die Aufgabe ist.

Baseten und MLPerf haben SXM-Karten gemessen (8×H200 vs. 8×H100, 700 W); die NVL-Karten laufen mit 600 W gegen 400 W – die Verhältnisse sind daher als Richtwerte zu verstehen

Basetens Fazit ist schärfer als jeder Slogan: Außerhalb dieser Situationen bringt die H200 minimalen Gewinn gegenüber der H100, und viele Inferenz-Workloads sind auf der H100 wirtschaftlicher. Für das NVL-Paar verspricht NVIDIA selbst bis 1,7× bei Sprachmodellen und 1,3× bei HPC – ohne die Testbedingungen zu veröffentlichen.

Wie man die Präsentationszahlen liest

Die lauteste Zahl im H200-Material ist „110× bei HPC“. Die Fußnote verrät die Basis: vier GPUs gegen ein Paar Sapphire-Rapids-8480-CPUs. Es ist ein Vergleich mit Prozessoren, nicht mit der H100.

Die zweite Zahl ist 1,9× bei Llama 2 70B. NVIDIAs Fußnote zeigt die Bedingungen: H100 lief mit Batch 8, H200 mit Batch 32. Das ist kein Betrug – der größere Batch ist genau wegen des größeren Speichers möglich – die KV-Cache-Arithmetik – und das ist der Sinn des Produkts. Aber es heißt nicht, dass dieselbe Last doppelt so schnell läuft. Passt Ihr Modell mit dem nötigen Batch schon in 94 GB, erscheint dieser Gewinn nicht.

NVLink: der größte Generationsunterschied

Die Brücken der beiden Generationen sind nicht austauschbar

Die genannten 900 GB/s zählen beide Richtungen: 18 Links mit 25 GB/s pro Richtung, also 450 GB/s in eine Richtung. Ein dokumentiertes Zwei-Karten-Setup mit H200 NVL in einem HPE DL385 Gen11 zeigt alle 18 Links aktiv, von nvidia-smi mit der rohen Lane-Rate von je 26,6 GB/s gemeldet. Karten außerhalb einer Brückengruppe reden über PCIe Gen5 mit 128 GB/s – etwa siebenmal langsamer.

Was sich außer dem Tempo ändert

Beachten Sie die zweite Zeile: Die neuere Karte zieht 200 W mehr und toleriert ein engeres Temperaturfenster an beiden Enden. Im Maschinensaal ein Detail; im Büro-Serverraum, der sich im Sommer auf über 45 °C aufheizt, ein Grund, nicht zu kaufen. Und der Strom: 200 W Unterschied rund um die Uhr sind 1.752 kWh pro Karte und Jahr – die Rack-Arithmetik spürt das vor der Stromrechnung.

Wann der Aufpreis sich rechnet – und wann die H100 NVL reicht

Die Regel ist eine Zeile: Der Aufpreis lohnt, wenn der Gewinn auf Ihrem Lastprofil in Prozent die Preisdifferenz in Prozent übersteigt. Ein Chat-Dienst mit kurzen Prompts und 11% Gewinn auf einer 40% teureren Karte macht jedes Token teurer. Batch-Verarbeitung von 30K-Token-Dokumenten mit 3,4× Gewinn zahlt den Aufpreis in Monaten zurück.

Die zweite Rechnung ist wichtiger, und fast niemand macht sie: Konfigurationen vergleichen, nicht Karten.

Zu Kauf oder Miete: Die Cloud gewinnt bei einmaligen Lastspitzen. Aber beide NVL-Karten kommen mit fünfjähriger NVIDIA-AI-Enterprise-Lizenz (bei SXM separat zu kaufen), die Daten bleiben im eigenen Perimeter – für Medizin-, Finanz- und öffentliche Projekte eine Zulassungs-, keine Geldfrage – und Hopper läuft aus: Manche Serverplattformen mit diesen GPUs haben die Bestellannahme bereits geschlossen.

Was wir liefern

Eurokommerz liefert die NVIDIA H200 NVL (141 GB HBM3e, PCIe) und die H100 NVL – beide auf Bestellung verfügbar, dazu die RTX PRO 6000 Blackwell Server Edition, wenn 96 GB GDDR7 reichen und HBM Overkill wäre – EU-weit, mit Herstellergarantie und EU-Rechnung.

FAQ