XID 74 NVLink-Fehler bei NVIDIA-H200-NVL-Brücken: auswerten, prüfen, neu stecken, tauschen

Was XID 74 auf einem H200-NVL-Server bedeutet

XID 74 ist die Meldung des NVIDIA-Treibers über einen NVLink-Fehler: Die GPU hat ein Problem auf einer Verbindung zu einer anderen GPU festgestellt. Auf einem H200-NVL-Server ist diese Verbindung die NVLink-Brücke; der Fehler liegt also in der Brücke, ihrem Sitz, der Link-Elektronik der Karte oder in der Karte am anderen Ende. Laut NVIDIAs XID-Katalog braucht es zum Löschen einen GPU-Reset oder einen Neustart des Knotens, und NVIDIAs GPU Debug Guidelines ordnen die Fehlerdaten einem wahrscheinlichen Hardwareproblem, einem grenzwertigen Signal oder einem mechanischen Problem zu, das ein Neustecken verlangt.

Der Katalog, Stand 9. September 2026, fügt den Punkt hinzu, der XID 74 knifflig macht: Das Ereignis „may indicate a hardware failure with the link itself, or may indicate a problem with the device at the remote end of the link“. Sein Beispiel ist eine ausgefallene GPU, nach der „another GPU connected to it over NVLink may report an Xid 74 simply because the link went down“. Die GPU, die 74 meldet, ist also nicht unbedingt die defekte, und der erste Schritt ist der Blick auf alle GPUs an derselben Brücke.

NVIDIA XID Catalog, „Analyzing Xid Errors with the Xid Catalog“, Stand 9. September 2026, gelesen am 24. Oktober 2026. Die H200 NVL ist wie die H100 eine Hopper-GPU.

Die Spalten zur Anwendbarkeit erklären, warum dieser Artikel nur eine Karte behandelt. Blackwell-Rechenzentrums-GPUs mit NVLink der fünften Generation melden Link-Fehler unter einer eigenen Reihe von NVLink-Codes mit der Maßnahme WORKFLOW_NVLINK5_ERR; der Katalog markiert zum Beispiel 146 bis 150 für B100 und GB200, nicht für A100 oder H100. Von den Karten, die wir liefern, hat nur die H200 NVL überhaupt NVLink; keine Edition der RTX PRO 6000 hat es, ebenso wenig L40S und L4. Auf einem Server nur mit diesen Karten ist XID 74 nicht zu erwarten; prüfen Sie dann zuerst, ob das Log von diesem Server stammt. Die übrigen Codes finden Sie in unserer Übersicht der NVIDIA-XID-Fehlercodes.

Der NVLink-Aufbau einer H200 NVL mit Brücke

NVIDIAs Produktbeschreibung der H200 NVL (PB-12128-001_v01, April 2025) nennt 18 NVLink-Links je Karte und eine Brücke je Karte, entweder eine 2-Wege-Brücke (900-23945-xx00-xxx) über zwei Karten oder eine 4-Wege-Brücke (900-23946-xx00-xxx) über vier. Verbundene Karten „should be within the same CPU domain“. Ein Server mit acht Karten hat deshalb zwei 4-Wege-Sätze oder vier 2-Wege-Paare, und der Verkehr zwischen ihnen läuft über PCIe, wie unser Leitfaden zur NVLink-Brücke der H200 NVL, 2-Wege oder 4-Wege erklärt. Eine Karte ohne Brücke behält die abnehmbare Kappe, die ihre NVLink-Schnittstelle schützt.

Für die Fehlersuche grenzt dieser Aufbau den Suchbereich ein. Ein Link-Fehler betrifft nur die Karten einer Brücke, zwei oder vier GPUs, und die übrigen Sätze im Server arbeiten weiter. Er liefert auch die Referenz für den Vergleich: die NVLink-Topologie, die bei der Abnahme des Servers aufgezeichnet wurde. Fehlt diese Aufzeichnung, nehmen Sie sie von einem gesunden Satz desselben Servers auf.

Die XID-74-Zeile lesen: das erste Datenwort

NVIDIAs GPU Debug Guidelines (GPU Node Triage, Stand 4. Oktober 2026) geben das Vorgehen vor: „Extract the hex strings from the XID error message“, dann das erste DWORD, also das erste 32-Bit-Wort, betrachten und prüfen, welche Bits gesetzt sind, gezählt ab dem niedrigstwertigen Bit.

NVIDIA GPU Debug Guidelines, GPU Node Triage, Tabelle 1, Zeile Xid 74, gelesen am 24. Oktober 2026. Andere Bits beschreiben die Guidelines nicht.

Ein Rechenbeispiel nach unserer Lesart: Ein erstes Wort 0x00000010 hat nur Bit 4 gesetzt (hex 10 ist binär 1 0000), zählt also zur Schwelle für ECC oder Parität; ein Wort 0x00200000 hat Bit 21 gesetzt, ein grenzwertiges Signal. Tragen Sie die ausgewerteten Bits mit der Link-Nummer aus nvidia-smi in den Vorfallbericht ein, denn die Meldeschwelle für Bit 4 und 5 zählt je Link.

Die Links mit nvidia-smi prüfen

Das nvidia-smi-Handbuch dokumentiert den Unterbefehl nvlink. Führen Sie ihn auf jeder GPU der betroffenen Brücke aus, vor und nach jedem Reset.

NVIDIA nvidia-smi-Dokumentation, gelesen am 24. Oktober 2026. Die letzte Spalte beschreibt unsere Verwendung der Befehle.

Für NVLink der vierten Generation, wie bei der H200 NVL, nennt das Handbuch drei Fehlerzähler: „Replay Errors“, die „count the number of replay 'events' that occurred“, „Recovery Errors“ für „link recovery events“ und „CRC Errors“ in empfangenen Paketen. Steigen Replay- oder CRC-Zähler auf einem Link einer Karte und passend dazu an der Gegenseite, die -R über die PCI-Bus-ID benennt, zeigt das auf dieses Paar und die Brücke dazwischen. Fehler auf allen Links einer Karte zeigen auf diese Karte.

Für die laufende Überwachung führt die Standard-Felddatei von dcgm-exporter eigene „NVLink data-link error counters for Hopper GPUs“: DCGM_FI_DEV_NVLINK_CRC_ERROR_TOTAL, DCGM_FI_DEV_NVLINK_RECOVERY_TOTAL und DCGM_FI_DEV_NVLINK_REPLAY_TOTAL, alle drei auskommentiert. Die Zähler für ältere GPUs und für Blackwell heißen anders; aktivieren Sie daher auf Hosts mit H200 NVL den Hopper-Satz. Unser Leitfaden zum Monitoring von GPU-Servern mit DCGM behandelt die Alarmregeln.

Wir bauen H200-NVL-Server mit 2-Wege- oder 4-Wege-Brücken, vor der Lieferung montiert und getestet; senden Sie uns die Ausgabe von nvidia-smi nvlink und die XID-Zeile, und unser Team hilft beim Auswerten.

Was ein Link-Fehler mit einem Tensor-Parallel-Job macht

Innerhalb eines verbundenen Satzes läuft ein Modell mit Tensor-Parallelismus über NVLink: TP=2 auf einem Paar, TP=4 auf einem 4-Wege-Satz. Da XID 74 nur durch einen GPU-Reset oder einen Neustart des Knotens gelöscht wird, stoppt der Job auf diesem Satz für den Reset, gleich, wie er selbst auf den Fehler reagiert hätte. Planen Sie einen Neustart dieses Jobs ein.

Der Reset selbst ist enger gefasst als ein Neustart. Das nvidia-smi-Handbuch sagt: „Starting with the NVIDIA Ampere architecture, GPUs with NVLink connections can be individually reset“, und NVIDIAs GPU Debug Guidelines bestätigen für Ampere und neuer mit direkter NVLink-Verbindung auf Bare Metal: „A GPU can be reset individually“. Der Reset braucht Root-Rechte und keine Anwendungen auf der GPU, und das Handbuch nennt ihn „not recommended for production environments at this time“. In einer virtuellen Maschine lautet die Antwort der Guidelines: „GPU reset not supported in VMs. Restart the VM.“

Auf einem Server mit acht Karten in zwei 4-Wege-Sätzen arbeitet der gesunde Satz weiter. Nach unserer Lesart gibt es drei Möglichkeiten, solange ein Satz ausfällt:

• den Job auf den gesunden Satz verlegen, der dieselben 564 GB HBM3e hat;
• auf den gesunden Karten des betroffenen Satzes eine kleinere Kopie oder eine Kopie je Karte betreiben, nach unserer Auslegungsregel (0,9 × die 140,4 GiB laut Treiber, minus 3 GiB) mit 123,4 GiB je Karte;
• auf den Reset und die Prüfungen unten warten, wenn der Job alle acht Karten braucht.

Ein Modell, das mit Pipeline-Parallelismus über beide Sätze verteilt ist, muss warten. Unser Artikel zu einem Modell auf mehreren GPUs über PCIe und NVLink erklärt, warum Tensor-Parallelismus über eine PCIe-Strecke langsam ist.

Brücke neu stecken oder Karte tauschen

NVIDIAs Maßnahmen und die Zähler führen zu einer Entscheidung. Die Tabelle ist unsere Lesart davon; was als Defekt gilt, entscheidet der Garantiegeber.

NVIDIA GPU Debug Guidelines (GPU Node Triage) und XID Catalog, gelesen am 24. Oktober 2026; Ursache und Schritt verbinden NVIDIAs Text mit unserer Lesart.

Eine Brücke neu zu stecken heißt, den Server zu öffnen, und den Ablauf legt der Serverhersteller fest. Dells technischer Leitfaden zum PowerEdge XE7740 (Rev. A04, April 2026) setzt die 4-Wege-Brücke „on the connectors on the top of the H200 GPU PCIe cards“ und schreibt: „To prevent damage to the NVLink interface, NVL Bridges must be removed using the NVL Bridge removal tool.“ Dazu kommen „Improper removal without this tool can cause damage“ und „Each NVLink bridge requires two removal tools“, gleichzeitig eingesetzt, eines auf jeder Seite. Andere Hersteller beschreiben für ihre Gehäuse andere Werkzeuge und Schritte; nutzen Sie daher das Servicehandbuch Ihres Servermodells und die Werkzeuge, die es nennt.

Prüfen Sie nach dem Neustecken jeden Link mit nvidia-smi nvlink -s, sichern Sie die Zähler und setzen Sie sie mit -re zurück, legen Sie Last auf den Satz und lesen Sie -e erneut. Unser Leitfaden zum Abnahmetest und der Brückenleitfaden beschreiben den All-Reduce-Test je Satz. Steigen die Zähler auf demselben Link wieder, trennt eine Ersatzbrücke mit derselben Teilenummer Brücke und Karte: Fehler, die mit der Brücke wandern, gehören zu ihr, Fehler, die auf den Links einer Karte bleiben, zu dieser Karte. Unser Artikel zum Finden der defekten GPU über Bus-ID, Slot und Seriennummer ordnet die Bus-IDs den physischen Karten zu.

Was ein Supportfall zu XID 74 enthalten sollte

NVIDIAs GPU Debug Guidelines nennen den allgemeinen Bericht: Angaben zu Betriebssystem und Treiber, die wichtigen Log-Zeilen und das ganze Log, die bisherigen Schritte, die Ausgabe von nvidia-bug-report.sh und die DCGM-Diagnoseprotokolle, eingereicht beim Systemhersteller. Für NVLink kommt hinzu, womit der Hersteller den Link findet:

• die XID-74-Zeilen aller GPUs an der Brücke, mit den ausgewerteten Bits des ersten Worts;
• die Ausgabe von nvidia-smi nvlink -s, -e und -R von jeder GPU des Satzes, gesichert vor jedem Zurücksetzen der Zähler;
• die Link-Nummer, die PCI-Bus-ID der Gegenseite und die Seriennummern beider Karten;
• Brückentyp und Teilenummer, 2-Wege 900-23945 oder 4-Wege 900-23946, und ob sie neu gesteckt wurde;
• Servermodell sowie die Versionen von BIOS, BMC und VBIOS.

Die Guidelines nennen NVIDIAs Felddiagnose „the authoritative and comprehensive NVIDIA tool for determining the health of GPUs“ und schreiben, sie sei „usually required before an RMA can be started“; wann sie läuft, sagt der Systemhersteller. Für H200-NVL-Karten und Brücken, die Sie bei uns kaufen, wird die Herstellergarantie über uns abgewickelt; beschreiben Sie den Server und den betroffenen Link, wir antworten innerhalb eines Werktages.

Vor der nächsten Bestellung: Brücken, Steckplätze und Ersatzteile

Ein großer Teil des Risikos entscheidet sich beim Bau des Servers. Die Brücken sind eigene Teile, die der Serverhersteller je Modell freigibt; HPEs QuickSpecs vom 8. September 2026, wie in unserem Brückenleitfaden zitiert, nennen die 4-Wege-Brücke nur für den ProLiant DL380a Gen12, und unser Leitfaden zu kompatiblen Servern für die H200 NVL listet, welche Server welche Brücke aufnehmen. Ein Server für 4-Wege-Sätze wird am besten mit vier benachbarten Karten unter einem Prozessor aufgebaut, wie NVIDIAs Produktbeschreibung empfiehlt, und die Ausbauwerkzeuge gehören zur Serverdokumentation. Für eine Flotte mit Brücken verkürzt eine Ersatzbrücke je verwendetem Typ den Eingrenzungsschritt oben. Unsere Seite zum Server mit acht H200 NVL beschreibt den Trainingsknoten, den wir mit zwei verbundenen Sätzen bauen.

FAQ