GPU-Server im Produktivbetrieb überwachen: DCGM-Metriken, Clock Event Reasons, Speicherfehler und XIDs

Was DCGM abdeckt und auf welchen Karten

NVIDIAs Data Center GPU Manager, DCGM, ist „eine Sammlung von Werkzeugen zur Verwaltung und Überwachung von NVIDIA-Rechenzentrums-GPUs in Cluster-Umgebungen“, und dcgm-exporter macht aus seinen Feldern Prometheus-Metriken. DCGM unterstützt Rechenzentrums-GPUs ab Kepler und andere GPUs ab Maxwell, Letztere mit „eingeschränkter DCGM-Funktionalität“. Seine Funktionstabelle nutzt noch NVIDIAs alte Markennamen: Tesla, die Rechenzentrumslinie, bekommt alles; Quadro-, Titan- und GeForce-Karten bekommen Metriken, Konfiguration und Health Checks, aber keine Policy-Benachrichtigungen und nur die erste Diagnosestufe. Keine RTX-PRO-Blackwell-Karte wird genannt. Stattdessen nehmen die Release Notes sie einzeln auf, die RTX PRO 6000 Max-Q in DCGM 4.5.3 und eine Variante der RTX PRO 5000 in 4.6.0; 4.7.0 war die neueste gelistete Version, als wir sie im Oktober 2026 lasen, und laut den Release Notes des Treibers 580.196.07 (R580) arbeitet dieser nur mit DCGM 4.3 oder neuer. Halten Sie DCGM aktuell und testen Sie, was es auf Workstation-Editionen meldet; die Treiberseite behandelt unser Leitfaden zu Treibern und CUDA.

In NVIDIAs Quick-Start-Anleitung läuft dcgm-exporter als Container mit --cap-add SYS_ADMIN, und DCGM weist darauf hin, dass Profiling-Zähler Administratorrechte brauchen. Die Metriken erscheinen auf Port 9400, wo curl localhost:9400/metrics sie anzeigt. Die Feldliste stammt aus /etc/dcgm-exporter/default-counters.csv, und -f verweist auf eine eigene. Halten Sie Port 9400 im Verwaltungsnetz und den Exporter aktuell. NVIDIA bewertet CVE-2026-47483, veröffentlicht am 28. Juli 2026, mit 8,2 (hoch); die Lücke betrifft die Endpunkte /debug/pprof von dcgm-exporter bis Version 4.8.2, und der CVE-Eintrag führt auch DCGM selbst bis 4.5.2 als betroffen. Unser Leitfaden zum Absichern eines GPU-Servers behandelt das BMC-Netz, Treiberkorrekturen und CVEs des Container Toolkit. Unsere KI-Server, darunter ein Inferenzknoten mit vier Karten der RTX PRO 6000 Server Edition, kommen auf Wunsch mit installiertem Betriebssystem, NVIDIA-Treiber und Container-Runtime. Nennen Sie uns Ihre Karten und womit Sie sie überwachen, und unser Team hilft Ihnen weiter.

Warum die GPU-Auslastung täuscht

nvidia-smi definiert die GPU-Auslastung als „Prozentsatz der Zeit im vergangenen Abtastzeitraum, in der ein oder mehrere Kernel auf der GPU ausgeführt wurden“, mit einem Abtastzeitraum von 1 bis 1/6 Sekunde je nach Produkt. Wie viel der GPU die Kernel nutzen, bleibt dabei unberücksichtigt. In NVIDIAs DCGM-Beispiel ergibt auf einer GPU mit N Streaming-Multiprozessoren (SMs) ein Kernel mit N/5 Blöcken, der über das ganze Intervall läuft, eine SM-Aktivität von 0,2, während nach der obigen Definition 100 Prozent Auslastung angezeigt werden. Auf einer RTX PRO 6000 mit 188 Multiprozessoren ergibt ein beschäftigter Multiprozessor nach unserer Rechnung etwa 0,005. Zur SM-Aktivität schreibt NVIDIA: „Ein Wert von 0,8 oder mehr ist notwendig, aber nicht hinreichend für eine effektive Nutzung der GPU. Ein Wert unter 0,5 deutet wahrscheinlich auf eine ineffektive GPU-Nutzung hin.“ Mit Treibern vor 580.196.07 und 595.112.07 konnte eine GPU außerdem 100 Prozent Auslastung melden, nachdem ein CUDA-Job mit Strg+C beendet wurde; in diesen Releases vom 21. und 22. Oktober 2026 führt NVIDIA „GPU utilization reported 100% following SIGINT-terminated CUDA workloads“ als behoben.

NVIDIAs DCGM Feature Overview und die Release Notes zu 4.6.0, die die klassischen Namen als veraltete Aliasse behalten; GPU-Auslastung wie in der Dokumentation von nvidia-smi definiert.

Lesen Sie bei Sprachmodellen die letzten beiden Zeilen zusammen: Die Token-Erzeugung ist bei kleinen Batchgrößen durch die Speicherbandbreite begrenzt und die Prompt-Verarbeitung durch die Rechenleistung; erwarten Sie also bei einem Server, der für wenige Nutzer gleichzeitig generiert, hohe Speicheraktivität und mäßige Tensor-Aktivität. Die Standarddatei des Exporters aktiviert Grafik-Engine-, Tensor- und Speicheraktivität, lässt SM-Aktivität und Occupancy auskommentiert und nutzt noch die klassischen Namen. Prüfen Sie beim Wechsel auf die neuen Namen auch die Einheit: Seit DCGM 4.7.0 ist DCGM_FI_DEV_GPU_UTIL_RATIO ein eigenes Feld, ID 1613, mit Werten von 0,0 bis 1,0, während das veraltete DCGM_FI_DEV_GPU_UTIL, ID 203, ein ganzzahliger Prozentwert bleibt; aus einer Alarmschwelle von 90 wird also 0,9.

Leistung, Temperatur und Clock Event Reasons

Leistungsaufnahme und Temperatur kommen aus DCGM_FI_DEV_POWER_USAGE und DCGM_FI_DEV_GPU_TEMP, in Version 4.6 umbenannt in DCGM_FI_DEV_BOARD_POWER_WATTS und DCGM_FI_DEV_GPU_TEMP_CELSIUS. Übernehmen Sie die Schwellwerte von der Karte: nvidia-smi meldet für jede GPU die Slowdown Temp, „die Temperatur, bei der die GPU-Hardware beginnt, die Takte wegen thermischer Bedingungen zu optimieren“, ihre Max Operating Temp und ihre Shutdown Temp, und DCGM hat Felder für alle drei.

Der Block Clocks Event Reasons von nvidia-smi -q, der heutige Name für das, was ältere Werkzeuge Throttle Reasons nannten, gibt an, warum die Takte sinken; DCGM hat DCGM_FI_DEV_CLOCK_THROTTLE_REASONS zugunsten von DCGM_FI_DEV_CLOCKS_EVENT_REASONS als veraltet markiert. SW Power Cap hält die Takte niedrig, „weil die GPU zu viel Leistung aufnimmt“. Unter Volllast heißt das, dass die Karte an ihrer Leistungsgrenze arbeitet; lesen Sie also das Enforced Power Limit daneben. Begrenzt sich eine RTX PRO 6000 Server Edition auf 450 W statt 600 W und wurde sie nicht als Option mit Leistungsbegrenzung auf 450 W bestellt, ist meist das Stromkabel die Ursache, wie unser Leitfaden zur Stromversorgung im Rack erklärt. HW Slowdown senkt „die Kerntakte um den Faktor 2 oder mehr“, sobald HW Thermal Slowdown oder HW Power Brake aktiv ist, wobei die Bremse ein externes Signal ist, „z. B. durch das Netzteil des Systems“. SW Thermal Slowdown bedeutet, dass die GPU über ihrer Max Operating Temp liegt. Passive Karten erreichen diesen Punkt, wenn der Luftstrom im Gehäuse nicht ausreicht, die Grenze, die unser Leitfaden zu GPUs pro Server durchrechnet. Für Trends nutzen Sie die Zeitzähler: die Clock Event Reasons Counters von nvidia-smi und DCGMs DCGM_FI_DEV_POWER_VIOLATION und DCGM_FI_DEV_THERMAL_VIOLATION, die in der Standard-Feldliste des Exporters auskommentiert sind.

ECC und Row Remapping

nvidia-smi unterteilt ECC-Fehler in korrigierbare und nicht korrigierbare, in SRAM und DRAM sowie in flüchtige Zählerstände seit dem letzten Laden des Treibers und aggregierte Zählerstände, die „unbegrenzt erhalten bleiben“. Die passenden Felder des Exporters, DCGM_FI_DEV_ECC_DBE_VOL_TOTAL und die verwandten Felder, sind standardmäßig auskommentiert.

Row Remapping ersetzt eine fehlerhafte Speicherzeile durch eine der Reservezeilen, die jede DRAM-Bank mitbringt, bis zu 512 je GPU; das Remapping „erfordert einen GPU-Reset, um wirksam zu werden“, und gilt danach für die gesamte Lebensdauer der GPU. nvidia-smi -q -d ROW_REMAPPER zeigt korrigierbare und nicht korrigierbare Remappings, Pending (ein Reset ist nötig), Remapping Failure Occurred und ein Histogramm der Reservezeilen, die jeder Bank noch bleiben. NVIDIAs RMA-Richtlinie markiert einen Row-Remapping-Fehlschlag in drei Fällen: Ein Remapping für einen nicht korrigierbaren Fehler trifft auf eine Bank, die bereits acht nicht korrigierbare Remappings hat, es trifft auf eine bereits ersetzte Zeile, oder es erfolgt nach 512 nicht korrigierbaren Remappings. Die GPU kommt für eine RMA infrage, wenn diese Markierung gesetzt ist und NVIDIAs Felddiagnose sie bestätigt.

NVIDIAs Dokument zu Speicherfehlern führt Row Remapping für die Chips GA100, GA10x, Ada AD10x, GH100 und GB10x, Error Containment und Dynamic Page Offlining dagegen nur für GA100, GH100 und GB10x. Von den Karten, die wir liefern, bekommt die H200 NVL, ein GH100, alle drei; die L40S und die L4, beide Ada, bekommen Row Remapping. Das Dokument nennt Chips statt Speichertypen; für diese Karten heißt das HBM3e auf der H200 NVL und GDDR6 auf der L40S und L4. Für die Chips der RTX PRO Blackwell hat die Tabelle, aktualisiert am 9. September 2026, keinen Eintrag, obwohl das Handbuch von nvidia-smi den Row Remapper als „auf Ampere+ verfügbar“ beschreibt; prüfen Sie also, was nvidia-smi -q -d ECC,ROW_REMAPPER auf der gelieferten Karte meldet, bevor Sie Alarme dafür einrichten. Der Exporter enthält standardmäßig die Zählerstände der ersetzten Zeilen und das Fehler-Flag; DCGM_FI_DEV_ROW_REMAP_PENDING muss ergänzt werden. Was XID 94, 95, 48 und 63 für jede Karte bedeuten, steht in unserem Artikel zu ECC-Fehlern und Row Remapping.

NVLink auf einer H200 NVL mit Brücke

Hopper nutzt NVLink der vierten Generation mit bis zu 18 Links je GPU, und der Product Brief der H200 NVL nennt 18. nvidia-smi nvlink -s zeigt den Zustand jedes Links und nvidia-smi nvlink -e seine Fehlerzähler, bei NVLink 4 Replay-, Recovery- und CRC-Fehler. Die Standarddatei des Exporters führt ihre Zähler für Flit-CRC-, Data-CRC-, Replay- und Recovery-Fehler als Felder für GPUs vor Hopper und nennt für Hopper eigene Zähler: DCGM_FI_DEV_NVLINK_CRC_ERROR_TOTAL, DCGM_FI_DEV_NVLINK_REPLAY_TOTAL und DCGM_FI_DEV_NVLINK_RECOVERY_TOTAL. Alle sind auskommentiert; aktivieren Sie also auf Hosts mit H200 NVL und Brücke die Hopper-Zähler und halten Sie den Link-Zustand nach der Installation fest. Ein ausfallender Link löst außerdem Xid 74 aus. Die Karten RTX PRO, L40S und L4 haben kein NVLink.

Häufige XID-Fehler und NVIDIAs empfohlene Maßnahmen

Ein Xid ist „ein Fehlerbericht des NVIDIA-Treibers, der in das Kernel-Log des Betriebssystems ausgegeben wird“, unter Linux eine Zeile, die NVRM: Xid enthält. Die Ursachen reichen von Hardware- und Treiberfehlern bis zu „einem Problem der Benutzeranwendung“. NVIDIAs Katalog deckt GPUs ab Ampere ab, PCIe-Karten eingeschlossen, und nennt für jeden Xid eine Sofortmaßnahme und eine Maßnahme zur Untersuchung. Die Tabelle unten nennt häufige Codes; weitere Codes, beide Maßnahmen je Code und die Suche im Kernel-Log stehen in unserer Referenz der NVIDIA-XID-Fehlercodes.

NVIDIAs Xid-Katalog (Sofortmaßnahmen, Auslösebedingungen), aktualisiert am 4. November 2026, und GPU Debug Guidelines, aktualisiert am 4. Oktober 2026. Bei Xid 94, dem eingedämmten Gegenstück zu 95, muss die betroffene Anwendung neu gestartet werden, andere Anwendungen laufen weiter, und NVIDIA empfiehlt einen GPU-Reset bei passender Gelegenheit.

DCGM_FI_DEV_XID_ERRORS im Exporter enthält nur den „Value of the last XID error encountered“; aktivieren Sie den auskommentierten Zähler DCGM_EXP_XID_ERRORS_TOTAL oder sammeln Sie zusätzlich das Kernel-Log. Die Treiber 580.196.07 und 595.112.07 vom 21. und 22. Oktober 2026 beheben seltene „GPU fallen off bus errors“, ausgelöst durch NVML-Aufrufe in Pfaden wie nvidia-smi -q und damit eine treiberseitige Ursache von Xid 79; aktualisieren Sie deshalb den Treiber, bevor Sie eine Karte als defekt melden, und rufen Sie nvidia-smi -q auf älteren Treibern nicht in kurzen Abständen auf. Bevor Sie einen Supportfall eröffnen, führen Sie, wie im Triage-Leitfaden aufgeführt, nvidia-bug-report.sh als root und dcgmi diag -r 3 aus. DCGMs Funktionstabelle gibt Karten außerhalb der Rechenzentrumslinie nur Stufe 1, und seit DCGM 4.6.0 können die Stufen 3 und 4 mit -p "generic_mode=True" als Stabilitätsprüfung auf GPUs ohne SKU-spezifische Kalibrierung laufen.

Bei GPUs, die Sie bei uns kaufen, läuft die Herstellergarantie über uns, und der Support kommt vom Serviceteam unseres Engineering-Partners. Schreiben Sie uns, welche Karte welchen XID-Fehler meldet; wir antworten innerhalb eines Werktages.

nvidia-smi dmon, pmon und Persistence Mode

nvidia-smi dmon überwacht bis zu 16 GPUs, standardmäßig Leistung, Temperatur, Takte und Auslastung, und -s wählt andere Metriksätze aus, darunter v für Verletzungen der Leistungs- und Temperaturgrenzen und e für ECC- und PCIe-Replay-Fehler. nvidia-smi pmon zeigt die Auslastung je Prozess. Beide eignen sich für einen Blick auf einen Knoten; Trends gehören in DCGM.

Der Persistence Mode beeinflusst, was die Zähler anzeigen. Ohne Client deinitialisiert der Treiber die GPU, was laut NVIDIA „zu langen Ladezeiten für jeden CUDA-Job führt, in der Größenordnung von Sekunden“, und löscht den Compute-Modus, die Application Clocks, eine Software-Leistungsgrenze und die flüchtigen ECC-Zählerstände. NVIDIA bezeichnet den alten Persistence Mode als „kurz vor dem End-of-Life“; nvidia-persistenced kommt mit dem Treiber, aber NVIDIA „kann nicht garantieren“, dass er standardmäßig läuft. Prüfen Sie also, ob er beim Booten startet.

Wofür Sie Alarme einrichten sollten: Beispiele

Diese Regeln sind unsere Beispiele, nicht die von NVIDIA; die rechte Spalte nennt die Aussage von NVIDIA, auf der jede beruht. Xid-Codes erreichen sie nur In-Band, über das Kernel-Log oder DCGM. Was der BMC des Servers Out-of-Band meldet und welche Werte er bei einem hängenden Host weiter liefert, steht in unserem Artikel zum Out-of-Band-Monitoring von GPUs über BMC und Redfish.

Die Dauer von einer Minute, die Reserve von 5 °C und die Schwelle von 0,5 sind unsere Beispielwerte; testen Sie sie zuerst an Ihren eigenen Monitoring-Daten, ausgehend von der Basislinie aus Abnahmetest und Burn-in.

Was wir liefern

Wir liefern Workstation-Karten der Reihe RTX PRO Blackwell von der RTX PRO 2000 bis zur RTX PRO 6000, die RTX PRO 6000 Server Edition für Rack-Server, die L4, die L40S und die H200 NVL. Wir liefern sie EU-weit mit Herstellergarantie. KI-Server, die wir auf Bestellung bauen, werden vor der Lieferung montiert und getestet und kommen auf Wunsch mit installiertem Betriebssystem, Treibern und Container-Runtime.

FAQ