H200 NVL vs. H200 SXM im HGX H200: NVLink-Reichweite, Strom, TP=8 und die richtige Wahl

Dieselbe Hopper-GPU in zwei Bauformen

H200 NVL und H200 SXM tragen dieselbe GPU mit 141 GB HBM3e und 4,8 TB/s und unterscheiden sich vor allem darin, wie sie in einen Server eingebaut werden. Für ein Modell, das in vier Karten passt, bietet die NVL dieselbe Kapazität in einem Standardserver; eine NVLink-Domäne mit acht GPUs braucht die SXM-Plattform.

Die H200 NVL ist eine luftgekühlte PCIe-Karte mit zwei Slots und bis zu 600 W, die NVLink-Brücken zu zweit oder zu viert verbinden. Die H200 SXM ist ein Modul mit bis zu 700 W auf einem HGX-H200-Baseboard, auf dem NVSwitch alle acht GPUs mit je 900 GB/s verbindet.

NVIDIAs H200-Seite (Spezifikationen von NVIDIA als vorläufig markiert, Tensor-Werte mit Sparsity); NVIDIA HGX AI Factory Reference Architecture, Components (aktualisiert am 31. August 2026); NVIDIA AI Enterprise Licensing Guide (aktualisiert am 2. September 2026); gelesen am 24. Oktober 2026.

Meist hängt die Entscheidung davon ab, ob ein Modell oder ein Training Tensor-Parallelität über mehr als vier GPUs mit NVLink-Geschwindigkeit braucht. Wenn nicht, passt die NVL in einen luftgekühlten Standard-Rack-Server mit zwei, vier oder acht Karten. Wenn ja, ist ein SXM-System mit seiner NVLink-Domäne aus acht GPUs die richtige Plattform, und für diesen Fall liefern wir den DGX B300 je Projekt, da wir HGX H200 nicht liefern.

Rechenleistung und Strom: 600 W gegen 700 W

NVIDIAs H200-Seite nennt für das SXM 3.958 TFLOPS in FP8 und für die NVL 3.341, beide mit Sparsity; die dichten Werte sind halb so hoch. Nach unserer Rechnung ist das SXM auf dem Papier rund 18 Prozent schneller und zieht bis zu rund 17 Prozent mehr Strom, je Watt Nennleistung liegen beide also weniger als 2 Prozent auseinander: 5,57 TFLOPS FP8 (sparse) je Watt für die NVL und 5,65 für das SXM. BF16 zeigt dasselbe Verhältnis, 1.671 gegen 1.979 TFLOPS; FP64 liegt bei 30 gegen 34 TFLOPS. Lenovos Produktleitfaden LP1944 nennt dieselbe Aufteilung, 600 W für die PCIe-Karte H200 NVL und 700 W für die H200 SXM.

Speicher und Bandbreite sind gleich, und die Token-Erzeugung für eine mäßige Zahl von Nutzern wartet vor allem auf die Speicherbandbreite. Nach unserer Schätzung sieht ein einzelner Nutzer von Llama 3.3 70B in FP8 auf beiden GPUs dieselbe Obergrenze von rund 68 Token pro Sekunde, denn beide lesen je Token 70,6 GB Gewichte mit 4,8 TB/s. Die höhere Nennleistung des SXM zeigt sich bei rechenintensiver Arbeit: Prefill langer Prompts, große Batches und Training.

Beide sind einstellbar. NVIDIAs Product Brief für die NVL, PB-12128-001, nennt 600 W als voreingestelltes Maximum und 200 W als Minimum; Server wie Dells PowerEdge R770 begrenzen sie auf 450 W, was unser Artikel zur H200 NVL mit 450 W behandelt.

Reichweite von NVLink: Brücken bis vier, NVSwitch für acht

Der wichtigste Unterschied ist die Reichweite von NVLink. NVIDIAs Product Brief schreibt: „the NVIDIA H200 NVL uses a single wide NVLink bridge per card“, entweder eine 2-Slot-Brücke für zwei Karten oder eine 4-Slot-Brücke für vier. Acht Karten bilden daher zwei Domänen. Dells Technical Guide zum PowerEdge XE7740 (Rev. A04, April 2026) verlangt für acht H200 NVL „two bridges“, Ciscos Spec Sheet zum UCS C845A M8 erlaubt zwei 4-Wege- oder vier 2-Wege-Brücken, und OVHclouds Leitfaden für seine Instanzen mit acht H200 NVL beschreibt NVLink nur innerhalb jedes Vierersatzes und PCIe dazwischen.

Auf der SXM-Seite schreibt NVIDIAs HGX AI Factory Reference Architecture, aktualisiert am 31. August 2026: „HGX H100 and H200 8-GPU Baseboards use a combination of third generation NVSwitch and fourth generation NVLink“, mit 900 GB/s von GPU zu GPU und insgesamt 7,2 TB/s, und „H200 variant has up to 1128 GB of GPU memory“. Jede GPU auf dem Baseboard erreicht jede andere mit der vollen NVLink-Rate.

NVIDIAs H200-Seite; NVIDIA H200 NVL Product Brief PB-12128-001_v01; NVIDIA HGX AI Factory Reference Architecture, Components (31. August 2026); NVIDIA AI Enterprise Reference Architecture, Compute Node; Dell XE7740 Technical Guide A04; Cisco C845A M8 Spec Sheet A.11; OVHcloud-Leitfaden vom 1. Oktober 2026; gelesen am 24. Oktober 2026.

Beide Systeme haben dieselben 1.128 GB, jedes Modell, das auf das eine passt, passt also auch auf das andere. Die Topologie ändert, wie schnell ein Modell läuft, das über alle acht GPUs verteilt ist, und wie das Cluster-Netz dimensioniert wird: NVIDIAs Referenzdesigns sehen je Paar H200-NVL-Karten eine 400G-SuperNIC vor und je SXM-GPU eine SuperNIC. Unser Artikel zur H200 NVL NVLink-Brücke, 2-Wege oder 4-Wege behandelt die Mechanik der Brücken.

Was die Topologie für TP=8 bedeutet

Tensor-Parallelität teilt jede Schicht auf mehrere GPUs auf und führt die Teilergebnisse nach jeder Schicht mit einem All-Reduce zusammen. Innerhalb einer NVLink-Domäne läuft dieser Austausch mit 900 GB/s je GPU; in einem Server mit acht NVL-Karten und TP=8 überquert ein Teil jedes Austauschs die PCIe-Verbindung zwischen den beiden Domänen mit 128 GB/s. OVHclouds Leitfaden für acht H200 NVL rät: „avoid using --tensor-parallel-size 8“, und betreibt ein großes Modell stattdessen als zwei Pipeline-Stufen, --pipeline-parallel-size 2 mit --tensor-parallel-size 4, sodass jede Stufe innerhalb einer NVLink-Domäne bleibt und nur die Aktivierungen zwischen den Stufen einmal je Schritt über PCIe gehen. Standardmäßig ist vLLMs eigener schneller All-Reduce-Pfad bei mehr als zwei GPUs nur aktiv, wenn alle über NVLink vollständig verbunden sind, was acht NVL-Karten nicht sind; vLLM 0.30.0 (Release Notes vom 22. September 2026, #53576) hat für Systeme ohne NVLink ein optionales All-Reduce von FlashInfer über PCIe-IPC ergänzt.

Die praktischen Folgen je Arbeitslast:

• Ein 70B-Modell für viele Nutzer läuft auf acht NVL-Karten am besten als zwei Kopien mit TP=4, eine je Domäne: nach unserer Regel für Nutzer je Karte 680 gleichzeitige Gespräche mit 8K und FP8-Cache, wie unser Server mit 8× H200 NVL zeigt. NVSwitch im HGX bringt hier wenig, da keine Kopie ihre Domäne verlässt.
• Ein dichtes Modell mit 500 bis 900 GB muss beide Domänen überspannen. Auf der NVL läuft es als TP=4 × PP=2. Auf einem HGX H200 kann es mit TP=8 laufen und nutzt dann bei jedem Token alle acht GPUs statt jeweils nur einer Stufe.
• Große MoE-Modelle mit Expert-Parallelität schicken in jeder Schicht Token zu Experten auf anderen GPUs. Im NVL-Server geht ein Teil dieses All-to-All-Verkehrs über PCIe, im HGX bleibt er auf NVSwitch. vLLMs Rezept für DeepSeek-V3.2 empfiehlt, wie unser DeepSeek-Hardware-Leitfaden berichtet, auf acht GPUs Daten-Parallelität mit Expert-Parallelität, und das Modell passt nach unserer Regel mit rund 88 Gesprächen zu je 32K auf acht NVL-Karten.
• Training über acht GPUs, etwa ein volles Fine-Tuning mit FSDP, tauscht in jedem Schritt Gradienten und Shards zwischen allen GPUs aus. Auf zwei NVL-Domänen geht dieser Verkehr über PCIe; hier lohnt sich eine NVLink-Domäne mit acht GPUs am meisten.

Keine veröffentlichte Messung vergleicht TP=4 × PP=2 auf acht NVL-Karten mit TP=8 auf einem HGX H200 für dasselbe Modell, daher nennen wir kein Geschwindigkeitsverhältnis. Passt Ihr Modell in vier Karten, kostet die NVL-Topologie nichts. Wir liefern Server mit zwei, vier oder acht H200 NVL; senden Sie uns das Modell, seine Genauigkeit und die geplante Aufteilung, und unser Team prüft, ob es innerhalb einer NVLink-Domäne bleibt.

Veröffentlichte MLPerf®-Ergebnisse

Das Ergebnis der H200 NVL mit mehreren Karten stammt aus MLPerf® Inference: Datacenter v6.0, Closed Division, Llama 2 70B (llama2-70b-99): Dells PowerEdge XE7740 mit acht H200 NVL erreichte im Offline-Szenario 32.004,0 Token pro Sekunde und im Server-Szenario 29.084,9, Eintrag 6.0-0021, abgerufen von mlcommons.org am 24. September 2026, Ergebnis verifiziert durch die MLCommons Association. Das sind offline rund 4.000 Token pro Sekunde je Karte, unsere Division des Systemergebnisses, keine MLPerf-Kennzahl. Die Runde v6.1 vom 16. September 2026 enthält keinen Eintrag der H200 NVL. The MLPerf name and logo are registered and unregistered trademarks of MLCommons Association in the United States and other countries. All rights reserved. Unauthorized use strictly prohibited. See www.mlcommons.org for more information.

Ein Ergebnis eines HGX H200 stellen wir nicht daneben, denn eine Eintrags-ID eines HGX H200 konnten wir am 24. Oktober 2026 in den Ergebnistabellen von MLCommons nicht verifizieren, und wir veröffentlichen MLPerf®-Werte nur mit verifizierter Eintrags-ID. Llama 2 70B in FP8 passt auf eine GPU beider Bauformen, dieser Benchmark spiegelt also vor allem Rechenleistung und Speicher je GPU, wo der Abstand auf dem Papier die genannten 18 Prozent beträgt, und sagt wenig über den Unterschied bei NVLink. Unsere H200 NVL Benchmarks ordnen das Ergebnis je Nutzer ein.

Server, Kühlung und Rackleistung

Die NVL ist ein Standard-PCIe-Bauteil. NVIDIA nennt sie für „MGX H200 NVL partner and NVIDIA-Certified Systems with up to 8 GPUs“, und die Herstellerdokumente führen sie in 2U-Servern mit zwei Karten, etwa Lenovos SR650a V4, und in 4U-Servern mit bis zu acht, etwa Dells XE7740, HPEs DL380a Gen12 und Ciscos C845A M8, wie unsere Liste der H200-NVL-kompatiblen Server zeigt. Ein Unternehmen kann mit zwei Karten beginnen und im selben Gehäuse erweitern. Das SXM kommt auf HGX-Baseboards mit vier oder acht GPUs, in Systemen, die um das Baseboard gebaut sind, und Lenovos Leitfaden vermerkt: „SXM5 GPUs are either air-cooled or water-cooled, depending on the server“.

Leistung der Karten laut NVIDIAs H200-Seite; Schätzung für das NVL-System aus unserem Leitfaden zum Server mit 8× H200 NVL (zwei AMD EPYC 9555 zu je 360 W plus 15 Prozent); Maximum des DGX H200 aus NVIDIAs DGX H100/H200 User Guide, wie in unserem H200-Kaufleitfaden festgehalten; Lenovo Press LP1944 (7. November 2025).

NVIDIAs Ankündigung der H200 NVL vom November 2024 setzte rund 70 Prozent der Unternehmensracks bei 20 kW oder weniger mit Luftkühlung an. Ein solches Rack nimmt nach unserer Schätzung zwei Server mit acht NVL-Karten auf, während ein DGX H200 mit seinen maximal 10,2 kW allein die Hälfte belegt. Dell nennt für acht H200 NVL im XE7740 eine Grenze von 30 °C Zulufttemperatur, der Raum zählt also auch bei der NVL. Unser Leitfaden zu Strom und Kühlung im GPU-Rack rechnet die Anschlüsse durch.

NVIDIA AI Enterprise: bei der NVL enthalten

NVIDIAs Licensing Guide, aktualisiert am 2. September 2026, schreibt: „Each NVIDIA H200 NVL Tensor Core GPU includes a five-year NVIDIA AI Enterprise subscription.“ Die Laufzeit beginnt 90 Tage nach dem Versanddatum der Karte an den Serverhersteller, lässt sich nicht ändern und wird mit der Seriennummer der GPU aktiviert. NVIDIAs H200-Seite, gelesen am 24. Oktober 2026, führt NVIDIA AI Enterprise für die H200 NVL als „Included“ und für die H200 SXM als „Add-on“. Ein Server mit acht NVL-Karten bringt also acht Abonnements mit, während ein HGX-H200-System separat gekaufte Lizenzen braucht, wie unser Artikel zum Aktivieren von NVIDIA AI Enterprise erklärt. Open-Source-Engines wie vLLM laufen auf beiden Plattformen ohne Abonnement.

Wo Blackwell passt: DGX B300 für eine Domäne mit acht GPUs

Für eine Arbeitslast, die eine NVLink-Domäne mit acht GPUs braucht, verweisen wir auf Blackwell statt auf HGX H200, das wir nicht liefern. Der NVIDIA DGX B300 hat acht Blackwell-Ultra-SXM-GPUs mit 2,1 TB HBM3e, und zwei NVLink-Switches mit 14,4 TB/s Gesamtbandbreite verbinden alle acht, laut NVIDIAs Blackwell-Ultra-Blog 1,8 TB/s je GPU. Er rechnet FP4, hält fast doppelt so viel Speicher wie ein H200-System mit acht GPUs und zieht laut NVIDIAs Produktseite rund 14 kW, wie unsere technischen Daten des DGX B300 im Einzelnen zeigen. Den DGX B300 liefern wir je Projekt: Die Distribution fragt nach Unternehmen, Projekt und Verwendungszweck, und wir erstellen das Angebot je Projekt, wie unser Leitfaden zum Kauf eines DGX B300 in der EU beschreibt.

Die B300 hat eine Grenze, die für manche H200-Käufer zählt. NVIDIAs HGX-Seite nennt für ein HGX B300 mit acht GPUs 10 TFLOPS FP64, gegenüber 30 TFLOPS für eine einzelne H200 NVL laut NVIDIAs H200-Seite; Codes mit doppelter Genauigkeit bleiben daher auf Hopper, wie unser Leitfaden zur GPU für CFD-Simulation zeigt.

Welche Plattform für welche Arbeitslast

Unsere Empfehlungen aus den Werten dieser Seite und unseren Leitfäden zu Servern mit 4× und 8× H200 NVL.

Für FP4-Modelle rechnet die NVIDIA RTX PRO 6000 Blackwell Server Edition NVFP4 in einem PCIe-Server, wie unser Vergleich RTX PRO 6000 vs. H200 NVL erklärt. Wir legen die Wahl je Modell und Rack aus; beschreiben Sie das Modell, die Nutzer und die Leistung am Rackplatz, und wir antworten mit der Plattform und der Konfiguration, die passen.

Was wir liefern

Sie können dieses System bei uns kaufen: Unser Team legt die Konfiguration nach Ihrer Arbeitslast und Ihrem Budget aus und antwortet innerhalb eines Werktages. Wir liefern die H200 NVL als Karten mit ihren 2-Wege- und 4-Wege-NVLink-Brücken für Server, die Sie schon betreiben, und bauen KI-Server auf Bestellung mit zwei, vier oder acht Karten, vor der Lieferung montiert und getestet, mit einem EU-Vertrag und einer EU-Rechnung und mit Herstellergarantie auf jede Komponente. Den DGX B300 liefern wir je Projekt. Unser Leitfaden zum Kauf der H200 NVL in der EU beschreibt den Bezugsweg.

FAQ