XID 94, 95, 48 und 63: GPU-Speicherfehler, Row Remapping und der Garantiefall

Was XID 94, 95, 48 und 63 Ihnen sagen

XID 48 bedeutet, dass die GPU einen nicht korrigierbaren ECC-Fehler in ihrem Speicher gefunden hat. Auf einer GPU mit Error Containment, etwa der H200 NVL, folgt XID 94, wenn der Fehler bei einer Anwendung blieb, die dann neu starten muss, und XID 95, wenn er mehrere erreichte, die erst nach einem GPU-Reset neu starten können; XID 63 zeichnet danach ein Row Remap auf, das beim nächsten Reset wirksam wird. Eine solche Abfolge ist die normale Behandlung eines Speicherfehlers; als RMA-Fall behandelt NVIDIA eine Karte, wenn das Fehler-Flag des Row Remappers gesetzt ist und seine Felddiagnose es bestätigt.

XID 64 bedeutet, dass sich das Remap nicht aufzeichnen ließ. Die Codes stehen in unserer Übersicht der NVIDIA-XID-Fehlercodes, Alarmregeln dafür in unserem Leitfaden zum Monitoring von GPU-Servern mit DCGM. Dieser Artikel verfolgt einen Speicherfehler von der Logzeile bis zum Reset und, wenn es dazu kommt, bis zum Garantiefall.

NVIDIA XID Catalog, letzte Aktualisierung 9. September 2026 (Release 615), und NVIDIAs Dokument zur Behandlung von GPU-Speicherfehlern, „User Visible Statistics“, aktualisiert am 9. September 2026, beide gelesen am 24. Oktober 2026. Der Katalog führt alle sechs als zutreffend für A100, H100, B100 und GB200.

Zwei neuere Codes liefern Details. NVIDIAs Dokument zu Speicherfehlern schreibt „XID 171 indicates if it is DRAM and XID 172 indicates if it is SRAM“, und der Katalog führt beide als Ergänzung zu XID 48. Maßnahmen nennt er für 171 und 172 nicht, es gilt also die Maßnahme für 48.

Die Abfolge auf der Karte: 48, dann 94 oder 95, dann 63

NVIDIAs Dokument zu Speicherfehlern, zuletzt aktualisiert am 9. September 2026, beschreibt die Behandlung, über die die Codes berichten. Error Containment, eingeführt mit Ampere, soll „limit the impact of uncorrectable ECC errors on GPU applications“. Greift es, gilt: „the affected application is terminated“ und „Unaffected applications will continue to run“, und Dynamic Page Offlining „marks the page containing the faulty memory as unusable“, sodass neue Arbeit auf der GPU starten kann, „without requiring a GPU reset“. In seltenen Fällen, so das Dokument, sind nicht korrigierbare Fehler „still uncontained and might impact all the workloads being processed in the GPU“.

NVIDIAs Beispiele der beiden Logzeilen zeigen den Unterschied. Die eingegrenzte, auf einer GPU mit MIG, lautet 94, pid=7194, Contained: CE User Channel und endet mit „RST: No, D-RST: No“; die nicht eingegrenzte lautet 95, pid=7062, Uncontained: LTC TAG und endet mit „RST: Yes“. Das Feld RST passt zum Katalog: kein Reset nach 94, ein Reset nach 95. Die für diesen Artikel gelesenen Dokumente definieren D-RST nicht. Beide Einträge im Katalog ergänzen „Xid 45 will be seen in relation to this error“, der Abbau der Anwendung erscheint also als XID 45 daneben.

Dann greift der Row Remapper. Jede DRAM-Bank hat Reservezeilen, und der Remapper „replaces degrading memory cells with spare ones to avoid offlining regions of memory in software“. Die Statistikseite des Dokuments beschreibt XID 63 als „successful recording of a row-remapping entry to the InfoROM“ und XID 64 als „a failure in recording a row-remapping entry to the InfoROM“. Row Remapping erlaubt bis zu 512 Remaps, gegenüber 64 Page Retirements bei älteren GPUs, und es „requires a GPU reset to take effect“.

Der Ablauf des Katalogs für 48 verbindet die Schritte. Seine Sofortmaßnahme lautet „Solo: RESET_GPU w/ 63 or 64: DRAIN_AND_RESET“, seine Maßnahme zur Untersuchung „Solo: RUN_FIELDDIAG“, mit dem Hinweis, bei Fehlern im Framebuffer „follow Xid63/64 guidance“ und bei allen anderen SRAM „check SRAM Error Threshold flag“. NVIDIAs GPU Debug Guidelines, aktualisiert am 4. Oktober 2026, sagen dasselbe in Prosa: Folgt 63 oder 64 auf einen 48, gilt „Drain/cordon the node, wait for all work to complete, and reset GPU(s) reporting the XID“; folgt keiner, läuft die Felddiagnose.

Welche Karte was unterstützt: H200 NVL, L40S, L4 und RTX PRO

NVIDIA führt die Speicherfunktionen je Chip auf, und der Chip entscheidet, welche Codes Sie sehen können.

NVIDIA, Behandlung von GPU-Speicherfehlern, „Supported GPUs“ (GA100, GA10x, Ada AD10x, GH100, GB10x), aktualisiert am 9. September 2026, gelesen am 24. Oktober 2026; Speichergrößen von NVIDIAs Produktseiten. GB10x, der Blackwell-Chip für Rechenzentren, hat zusätzlich RAS-Reparatur des GPU-Speichers, die NVIDIA nicht für jede Blackwell-GPU zusagt.

Auf einer H200 NVL können alle oben genannten Codes auftreten, und ein eingegrenzter Fehler kostet einen Job. L40S und L4 haben laut NVIDIAs Tabelle kein Error Containment, XID 94 und 95 sind auf ihnen also nicht zu erwarten; ein nicht korrigierbarer Fehler läuft dort über den Ablauf für 48, mit Reset oder Neustart zur Behebung.

Die RTX-PRO-Blackwell-Karten fehlen in der Tabelle. Das nvidia-smi-Handbuch beschreibt den Row Remapper als „available on Ampere+“, und NVIDIAs vPC Sizing Guide hält fest, dass GDDR7-ECC auf RTX-PRO-Blackwell-Karten immer aktiv ist. Die Spalten des Katalogs nennen B100 und GB200, Blackwell-Bausteine für Rechenzentren, nicht den GB202 der RTX PRO 6000. Lassen Sie daher nvidia-smi -q -d ROW_REMAPPER auf der gelieferten Karte laufen und notieren Sie die Ausgabe: Eine Karte, die den Abschnitt zum Row Remapper zeigt, kann 63 und 64 melden, und ihre Zähler gehören in Ihr Abnahmeprotokoll. Unser Leitfaden zum Abnahmetest nimmt diese Abfrage in die Prüfungen bei Lieferung auf.

Wir bauen Server mit H200 NVL, L40S, L4 und RTX PRO 6000 Server Edition und legen die Aufteilung so an, dass eine Karte den Betrieb verlassen kann, ohne den Rest anzuhalten; schicken Sie uns Ihre Modelle und die nötige Redundanz, und unser Team antwortet mit einer Konfiguration.

Den Row Remapper in nvidia-smi lesen

nvidia-smi -q -d ROW_REMAPPER gibt je GPU fünf Werte aus, nvidia-smi -q -d ECC die Fehlerzähler dahinter.

NVIDIA, nvidia-smi-Handbuch, gelesen am 24. Oktober 2026; die rechte Spalte ist unsere Lesart von NVIDIAs Dokument zu Speicherfehlern.

Zwei Details zählen beim Lesen der Zahlen. Die Zähler der Remaps sind nach NVIDIA „the number of entries recorded in the InfoROM, not the ones remapped in hardware“, ein ausstehendes Remap ist also schon gezählt. Bei ECC gilt: „Volatile error counters track the number of errors detected since the last driver load“, während „Aggregate error counts persist indefinitely and thus act as a lifetime counter“, aufgeteilt in SRAM und DRAM, korrigierbar und nicht korrigierbar. Für Skripte bietet nvidia-smi --query-remapped-rows; --help-query-remapped-rows listet die Felder. Dieselben Werte erreichen das Monitoring über DCGM, wie unser Leitfaden zum Monitoring zeigt.

Das Remap anwenden: leeren, zurücksetzen, prüfen

Das Pending-Flag „indicates that row-remapping will happen at the next GPU reset“. Bis dahin laufen laut NVIDIA nicht betroffene Anwendungen weiter, und neue Lasten können starten; vor einer Live-Migration einer VM auf diese GPU empfiehlt NVIDIA einen Reset. Meldet der Treiber die Recovery Action Drain and Reset, die laut nvidia-smi-Handbuch „Asserted only for UCE row remaps“ ist, läuft die GPU mit verringerter Kapazität, etwa weil ein Teil ihres Speichers offline genommen ist: Planen Sie keine neue Arbeit ein, lassen Sie laufende Arbeit enden und „reset the GPU to regain its full capacity“.

Der Reset selbst braucht Root-Rechte und keine Anwendung auf der GPU, und in einer VM sagen die GPU Debug Guidelines „GPU reset not supported in VMs. Restart the VM.“ Die Schritte, die Grenzen von nvidia-smi -r und das Leeren eines Slurm- oder Kubernetes-Knotens stehen in unserem Artikel zu XID 154 und 62, GPU-Reset oder Server-Neustart.

Für XID 95 unterscheiden die Guidelines zwei Fälle, in einer Zeile, die sie der A100 zuordnen. Mit aktiviertem MIG gilt „drain any work on the other GPU instances, wait for all work to complete“ und danach ein Reset der GPU. Ohne MIG „the node should be rebooted immediately“, weil der Fehler nicht korrigierbar und nicht eingegrenzt ist. Für XID 64 nennt der Katalog einen GPU-Reset und einen Supportfall; die Zeile der Guidelines für die A100 lautet „The node should be rebooted immediately since there is a recording failure.“

Ein Beispiel: Ein Server mit vier H200 NVL bedient zwei Modelle, je ein TP=2-Paar. Um 14:10 meldet GPU 3 XID 48, dann 94 mit der PID eines vLLM-Workers, einen 45 und einen 63. Das Paar auf GPU 2 und 3 verliert seinen Worker-Prozess und startet ihn neu; das Paar auf GPU 0 und 1 ist nicht betroffen. nvidia-smi -q -d ROW_REMAPPER zeigt für GPU 3 Pending: Yes. Am Abend nimmt der Betreiber das Paar auf GPU 2 und 3 aus dem Load Balancer, wartet, bis offene Anfragen beendet sind, setzt GPU 3 zurück und prüft Pending: No und Remapping Failure Occurred: No, bevor er das Paar zurückgibt. Hätte die Zeile 95 gelautet, hätte die ganze GPU vor jedem Neustart den Reset gebraucht.

Wann ein Speicherfehler die Karte zum RMA-Fall macht

NVIDIAs RMA-Richtlinie für Row Remapping lautet: „the RMA criteria is met when the row-remapping failure flag is set and validated by the field diagnostic“. Das Flag wird in drei Fällen gesetzt:

1. Ein Remap für einen nicht korrigierbaren Fehler ist auf einer Bank nötig, die schon acht ersetzte Zeilen hat.
2. Ein Remap für einen nicht korrigierbaren Fehler trifft eine Zeile, die schon ersetzt wurde, auch wenn ihre Bank weniger als acht hat.
3. Die GPU erreicht 512 Remaps für nicht korrigierbare Fehler.

Für Blackwell-GPUs ergänzt die Richtlinie, dass ein dritter Remap-Versuch für einen nicht korrigierbaren Fehler auf einer Bank eine HBM-Kanalreparatur auslöst, wenn ein Reservekanal frei ist. Gelingt sie, ist die GPU wieder einsatzbereit; andernfalls geht das Remapping weiter, bis das Fehler-Flag gesetzt ist. SRAM-Fehler haben eine eigene Schwelle: NVIDIA setzt ein Flag „SRAM Threshold Exceeded“ nach mehr als vier eindeutigen nicht korrigierbaren Ereignissen in einer Adressbank eines paritätsgeschützten SRAM oder mehr als zwei in einem SECDED-geschützten, und seine Felddiagnose „will determine whether a GPU qualifies for RMA“. Für XID 92, eine hohe Rate korrigierter Single-Bit-Fehler, verweisen die Debug Guidelines ebenfalls auf die Felddiagnose. Die Release Notes von Treiber 595.112.07 (22. Oktober 2026) nennen eine gesenkte XID-92-Schwelle für korrigierbare DRAM-Fehler: Damit erkennt der Treiber eine Häufung solcher Fehler und schaltet den DRAM-CE-Interrupt bis zum nächsten Laden des Treibers ab, um den Leistungsverlust durch diese Fehler zu vermeiden.

NVIDIA XID Catalog (9. September 2026), GPU Debug Guidelines (4. Oktober 2026) und Behandlung von GPU-Speicherfehlern, „RMA Policy Thresholds for Row-Remapping“ (9. September 2026); die Einteilung stammt von uns.

Ein Garantiefall braucht, was NVIDIAs Guidelines unter „Reporting a GPU Issue“ aufführen: Betriebssystem und Treiberversion, die wichtigsten Logzeilen, die unternommenen Schritte, die Ausgabe von nvidia-bug-report.sh und das Log der DCGM-Diagnose. Für Speicherfehler kommen die Ausgaben von ROW_REMAPPER und ECC vor und nach dem Reset hinzu, die Seriennummer und die Zeitpunkte der Zeilen mit 48, 94 oder 95 und 63 oder 64. Die Felddiagnose ist „usually required before an RMA can be started“, und wann und wie sie läuft, sagt der Systemhersteller.

Für Karten, die Sie bei uns gekauft haben, wird die Herstellergarantie über uns abgewickelt. Schreiben Sie uns mit der Ausgabe von nvidia-smi und den XID-Zeilen, und wir antworten innerhalb eines Werktages, wie der Fall für diese Karte weiterläuft.

Was wir liefern

Wir bauen KI-Server nach Auftrag mit H200 NVL, L40S, L4 und RTX PRO 6000 Server Edition, vor der Lieferung montiert und getestet, mit Herstellergarantie auf jede Komponente, Ersatz bei DOA und der Montage durch uns abgedeckt, auf einem EU-Vertrag und einer Rechnung. Anwendungsfehler wie XID 13 und 31 behandelt unser Artikel zu XID 13, 31, 43 und 45, MIG-Aufteilungen, bei denen eine Instanz allein ausfallen kann, unsere MIG-Profile der H200 NVL.

FAQ