H200 NVL NVLink Bridge, 2-Wege oder 4-Wege: NVLink-Domänen, Topologie und was sich für LLMs ändert

H200 NVL NVLink Bridge: 2-Wege und 4-Wege im Überblick

Jede Karte der H200 NVL nimmt eine NVLink-Brücke auf, bei NVIDIA NVLink Bridge genannt. Eine 2-Wege-Brücke verbindet zwei benachbarte Karten und eine 4-Wege-Brücke vier, und NVIDIAs H200-Seite nennt für beide 900 GB/s je GPU, gegenüber 128 GB/s bei PCIe Gen5. Die verbundenen Karten bilden eine NVLink-Domäne aus zwei oder vier Karten mit zusammen 282 oder 564 GB HBM3e. Da eine Brücke bei vier Karten endet, enthält ein Server mit acht Karten zwei 4-Wege-Domänen oder vier 2-Wege-Domänen, und der Verkehr zwischen den Domänen läuft über PCIe. Die Brücken sind eigene Teile, und der Serverhersteller muss den Brückentyp für das genaue Servermodell führen.

Für ein Sprachmodell legt die Domäne fest, wie weit Tensor-Parallelismus mit NVLink-Geschwindigkeit reicht und wie viel Speicher eine Kopie eines Modells nutzen kann, ohne über PCIe zu gehen. Den Verkehr jedes Verfahrens zur Parallelisierung beschreibt unser Artikel zu einem Modell auf mehreren GPUs über PCIe und NVLink, die Kartenzahl je Modell unser Leitfaden zur H200 NVL für Modelle mit 235B bis 671B.

NVLink-Bandbreite je GPU gegenüber PCIe Gen5

NVIDIAs H200-Seite führt die Verbindung der H200 NVL als „2- oder 4-Wege-NVIDIA-NVLink-Bridge: 900 GB/s pro GPU“ und „PCIe Gen5: 128 GB/s“, in einer Spezifikationstabelle, die NVIDIA als vorläufig kennzeichnet. Beide Werte zählen die beiden Richtungen zusammen, eine Karte sendet also in jeder Richtung höchstens 450 GB/s über die Brücke und 64 GB/s über einen Steckplatz mit Gen5 x16. NVIDIAs Product Brief (PB-12128-001_v01, April 2025) erlaubt eine NVLink-Brücke je Karte mit 18 NVLink-Links und nennt als „Total maximum NVLink bandwidth“ 900 GB/s je Karte.

NVIDIAs Entwicklerblog vom 11. Dezember 2024 nennt die 2-Wege-Brücke „7-mal schneller als PCIe Gen5“, Summe gegen Summe, während das „14ד des Product Brief 900 GB/s einer Richtung von PCIe Gen5 x16 gegenüberstellt. Brief und Blog nennen für die 4-Wege-Brücke außerdem 1,8 TB/s, während die H200-Seite für beide Brücken bei 900 GB/s je GPU bleibt. Da der Brief jede Karte auf 900 GB/s begrenzt, planen Sie für beide Brücken mit diesem Wert je GPU. Unsere Checkliste für eine H200 NVL in einem vorhandenen Server behandelt, wo NVIDIAs Tabellen voneinander abweichen, und die Regeln zum Freiraum für die Brücke.

Ein NVIDIA-Dokument, das angibt, wie sich die 18 Links einer Karte bei einer 4-Wege-Brücke auf ihre drei Partnerkarten verteilen, haben wir nicht gefunden. ServeTheHome berichtete im November 2024, dass die Brücke keinen NVLink-Switch nutzt; nach unserer Lesart teilt also jede Karte ihre Links unter ihren Partnern auf, und eine Kopie zwischen zwei Karten eines 4-Wege-Satzes nutzt weniger Links als innerhalb eines 2-Wege-Paares. Auf einem gelieferten Server zeigt die Matrix von nvidia-smi topo -m die Zahl je Kartenpaar.

NVLink-Domänen in Servern mit zwei, vier und acht Karten

Speicher: 141 GB je Karte; Spannweiten der Brücken laut NVIDIAs H200 NVL Product Brief PB-12128-001_v01, Tabelle 4-2. Der typische Einsatz ist unsere Lesart der Kartenzahlen in unserem Leitfaden zur Dimensionierung der H200 NVL und in unserem Fine-Tuning-Vergleich, allein nach den Gewichten, vor dem KV-Cache.

Der Treiber meldet 140,4 GiB je Karte, eine 2-Wege-Domäne bietet also 280,8 GiB und eine 4-Wege-Domäne 561,6 GiB für Gewichte, KV-Cache und Laufzeitumgebung. Abschnitt 4.5 von NVIDIAs Product Brief legt die Anordnungen fest. Er hält fest, dass „verbundene NVIDIA-H200-NVL-Karten innerhalb derselben CPU-Domäne liegen sollten“. Seine empfohlene Topologie verbindet GPUs „unter derselben CPU oder demselben PCIe-Switch“, setzt „dieselbe (gerade) Zahl von GPUs unter jeden CPU-Sockel“ und sieht „identische Bridge-Slot-Spannweiten für alle CPU-Domänen“ vor. Die Verbindung von GPUs unter verschiedenen CPUs führt der Brief als zulässig, aber nicht empfohlen.

In einem Server mit zwei Sockeln und acht Karten ergeben diese Regeln unter jedem Prozessor einen 4-Wege-Satz oder zwei 2-Wege-Paare. In einem Server mit zwei Sockeln und vier Karten, zwei unter jedem Prozessor, ergeben sie zwei 2-Wege-Paare. Eine 4-Wege-Brücke über diese vier Karten würde beide Sockel überspannen, was der Brief „für viele Workloads weniger optimal“ nennt, aber erlaubt, „wenn eine ausgewogene Topologie gewahrt bleibt“. NVIDIAs Enterprise-Referenzarchitektur für die H200 NVL nutzt einen Server vom Typ „PCIe Optimized 2-8-5“: zwei CPUs, acht GPUs und fünf Netzwerkadapter. Da der Brief eine Brücke je Karte über höchstens vier Karten erlaubt, tauschen die beiden Sätze eines Servers mit acht Karten Daten über PCIe aus.

Teilenummern der Brücken und Freigabe für den Server

Die Brücken werden als eigene Teile bestellt. NVIDIAs Product Brief führt die 2-Wege-Brücke als 900-23945-xx00-xxx und die 4-Wege-Brücke als 900-23946-xx00-xxx, mit 49 g und 128 g. Als Serveroptionen für die Karte nennt NVIDIA „NVIDIA MGX H200 NVL Partner- und NVIDIA-Certified Systems mit bis zu 8 GPUs“, und welche Brücke ein bestimmtes Modell aufnimmt, entscheidet die eigene Liste des Serverherstellers.

Die QuickSpecs von HPE für NVIDIA-Beschleuniger (Version 83, 8. September 2026) führen die Karte und ihre Brücken als getrennte Optionen. Sie nennen die H200 NVL für den ProLiant DL380a Gen12, den DL380 Gen12 und den DL385 Gen11. Die 2-Wege-Brücke, S4A90C, ist für den DL380a Gen12 und den DL385 Gen11 gelistet, die 4-Wege-Brücke, S4A91C, nur für den DL380a Gen12. Ein Server, der für die Karte gelistet ist, ist also nicht zwingend auch für eine Brücke gelistet. Die QuickSpecs von HPE zum DL380a Gen12 ergänzen, dass die Brücken „nur mit H200-NVL-GPUs unterstützt werden können“ und dass die „10DW-Konfiguration keine GPU-NVL-Bridges unterstützt“. Ein späterer Wechsel von 2-Wege-Paaren zu einem 4-Wege-Satz braucht vier benachbarte Karten, die Belegung der Steckplätze richtet sich also nach dem Brückentyp. Bestellen Sie die Brücken mit den Karten; unser Leitfaden zum Kauf der H200 NVL in der EU behandelt die übrigen Entscheidungen vor der Bestellung.

Wir liefern die H200 NVL mit ihren 2-Wege- und 4-Wege-Brücken, als Karten oder in KI-Servern, die auf Bestellung gebaut werden. Nennen Sie uns das Servermodell und wie viele Karten jede Brücke verbinden soll, und wir prüfen Rack, Strom und Luftstrom, bevor wir ein Angebot erstellen.

Was eine Domäne für die LLM-Inferenz ändert

Innerhalb einer Domäne können die Karten Tensor-Parallelismus über NVLink betreiben: eine Tensor-Parallel-Größe von 2 auf einem 2-Wege-Paar und von 4 auf einem 4-Wege-Satz. Tensor-Parallelismus führt in jedem Forward-Pass zweimal je Transformer-Schicht ein All-Reduce der Aktivierungen aus. Für Llama 3.3 70B beziffert unser Artikel zu PCIe und NVLink das mit 2,5 MiB je Token und GPU bei einer Größe von 2 und mit 3,75 MiB bei einer Größe von 4. Ein Prompt mit 2.000 Token bewegt dann etwa 4,9 und 7,3 GiB je GPU, rund 82 und 123 ms bei den 64 GB/s, die PCIe Gen5 x16 je Richtung überträgt. Über die Brücke, mit 450 GB/s je Richtung, dauern dieselben Übertragungen nach unserer Rechnung mindestens etwa 12 und 17 ms.

Ein 4-Wege-Satz bewegt je Karte mehr Daten als ein 2-Wege-Paar. Die Dokumentation von NVIDIAs nccl-tests berechnet die Busbandbreite eines All-Reduce mit dem Faktor 2 × (n − 1) / n, der für zwei GPUs 1 und für vier 1,5 beträgt. Im Gegenzug teilen sich vier Karten das Lesen der Gewichte für jedes Token, und eine Kopie des Modells erhält 561,6 GiB. Für ein Modell, das in 280,8 GiB passt, fällt die Wahl zwischen zwei 2-Wege-Paaren, die jeweils eine eigene Kopie bedienen, und einem 4-Wege-Satz, dessen eine Kopie den Speicher zweier weiterer Karten dem KV-Cache überlässt.

Zwischen den beiden Domänen eines Servers mit acht Karten würde Tensor-Parallelismus PCIe in jede Schicht bringen. Die Dokumentation von vLLM zeigt --tensor-parallel-size 4 mit --pipeline-parallel-size 2 für acht GPUs und rät zu Pipeline-Parallelismus, wenn GPUs „keine NVLINK-Verbindung haben“. Auf zwei verbundene Sätze angewandt, hält das nach unserer Lesart den Tensor-Parallelismus innerhalb jedes Satzes und schickt nur die Aktivierungen an den Stufengrenzen über PCIe. Die andere Möglichkeit sind zwei Kopien, eine je Domäne, die nichts austauschen; Pipeline-Parallelismus über beide braucht es nur, wenn eine Kopie nicht in 564 GB passt, wie bei DeepSeek-V3 in FP8.

Wir dimensionieren H200-NVL-Server nach dem Modell und seinen Nutzern, als Replikate oder verbundene Sätze. Schicken Sie uns das Modell, seine Präzision und die Spitzenzahl der Nutzer; Konfiguration und Angebot mit der Anordnung der Brücken folgen innerhalb eines Werktages.

Fine-Tuning über verbundene Karten

Beim datenparallelen Fine-Tuning hält jede Karte eine vollständige Kopie, und bei jedem Schritt werden nur die Gradienten der trainierten Gewichte per All-Reduce zusammengeführt, was bei einem LoRA-Adapter wenig Verkehr ist. Anders ist es bei Läufen mit Sharding, denn FSDP führt die verteilten Gewichte vor dem Vorwärts- und vor dem Rückwärtsdurchlauf zusammen. Unser Fine-Tuning-Vergleich von H200 NVL und RTX PRO 6000 setzt für ein 70B-LoRA mit Sharding auf zwei Karten etwa 141 GB an, die jede Karte für jeden Vorwärts- und Rückwärtsdurchlauf empfängt, bei nominalen Raten mindestens 2,2 Sekunden über PCIe Gen5 und 0,3 Sekunden über eine 2-Wege-Brücke.

Auf vier Karten empfängt jede Karte im selben Beispiel etwa 212 GB je Durchlauf, nach unserer Rechnung mindestens etwa 0,47 Sekunden bei 450 GB/s je Richtung; FSDP verbirgt einen Teil dieser Übertragungen hinter der Berechnung. Halten Sie einen Lauf mit Sharding innerhalb einer Domäne, soweit sein Speicher es erlaubt, denn kollektive Operationen über zwei Domänen laufen über PCIe. Ein Server mit acht Karten und zwei 4-Wege-Sätzen kann zwei Jobs mit Sharding nebeneinander betreiben, einen je Domäne.

So prüfen Sie die NVLink-Topologie auf einem gelieferten Server

Führen Sie diese Prüfungen aus, bevor die Frameworks installiert werden, und bewahren Sie die Ausgabe auf.

Befehle und Begriffe der Ausgabe aus NVIDIAs Dokumentation zu nvidia-smi sowie README und PERFORMANCE.md von nccl-tests; die erwarteten Ergebnisse sind unsere Lesart davon und von NVIDIAs Regeln für die Brücken.

Die Legende von nvidia-smi definiert NV# als „Connection traversing a bonded set of # NVLinks“ und SYS als Pfad über „the SMP interconnect between NUMA nodes“. Auf einem 4-Wege-Satz zeigt die Zahl nach NV, wie viele Links jedes Kartenpaar hat. Die Matrix von -mp lässt NVLink weg und zeigt deshalb, ob die Karten eines Satzes unter demselben Prozessor sitzen, wie NVIDIAs Brief es empfiehlt.

Sprechen Sie die Karten eines Satzes über die PCI-Bus-ID oder die UUID an, wie die Dokumentation von nvidia-smi empfiehlt, denn die Reihenfolge der Aufzählung kann sich zwischen Neustarts ändern. CUDA nummeriert die GPUs nach einer Heuristik von der schnellsten zur langsamsten, sofern nicht CUDA_DEVICE_ORDER=PCI_BUS_ID gesetzt ist, das sie nach PCI-Bus-ID aufzählt; setzen Sie es, bevor Sie die Karten eines Satzes mit CUDA_VISIBLE_DEVICES auswählen. Beschränken Sie nccl-tests mit dieser Variablen auf die Karten eines Satzes, führen Sie den Test je Satz aus und dann über alle acht. Die Dokumentation von nccl-tests hält fest, dass sich ihre Busbandbreite „mit der Spitzenbandbreite der Hardware vergleichen lässt, unabhängig von der Zahl der verwendeten Ranks“. Sie ergänzt, dass die Busbandbreite „die Geschwindigkeit des Hardware-Engpasses widerspiegeln sollte“; nach unserer Lesart bedeutet ein Ergebnis für einen Satz bei oder unter den 64 GB/s von PCIe also, dass der Verkehr die Brücke nicht nutzt.

Was wir liefern

Wir liefern die NVIDIA H200 NVL mit ihren 2-Wege- und 4-Wege-NVLink-Brücken und ihrem fünfjährigen Abonnement von NVIDIA AI Enterprise, als Karten für einen Server, dessen Hersteller sie führt, oder in auf Bestellung gebauten KI-Servern mit 2, 4 oder 8 Karten. Die Brücken stehen im selben Angebot wie die Karten. Ein neuer Server wird mit der Belegung der Steckplätze geplant, die der Brückentyp braucht, montiert und vor dem Versand unter Last getestet, mit Herstellergarantie auf jede Komponente. Für einen Server, den Sie bereits betreiben, prüfen wir Plattform, Stromversorgung und Kühlung, bevor Sie bestellen. Betriebssystem, Treiber, CUDA und eine Container-Runtime installieren wir auf Wunsch, und Karten aus unserem Angebot an professionellen GPUs kommen unter demselben EU-Vertrag und auf dieselbe Rechnung, wo eine Plattform sie kombiniert.

FAQ