Eine H200 NVL in einen Server einbauen, den Sie schon haben: die Prüfungen vor der Bestellung

Hürde 1: der Steckplatz, und wie viele Sie wirklich haben

Die Karte sind 141 GB HBM3e mit 4,8 TB/s auf einer PCIe-Karte in voller Bauhöhe und voller Länge, zwei Slots breit, zehneinhalb Zoll lang, mit bis zu 600 W über einen einzigen 16-poligen Zusatzstecker. Jedes dieser Worte ist eine Hürde, und eine Nachrüstung muss sieben davon der Reihe nach nehmen. Ein freier Steckplatz ist die leichteste der sieben.

NVIDIA H200 NVL Product Brief PB-12128-001_v01, April 2025, und HPE QuickSpecs NVIDIA Accelerators for HPE, c04123180 v73, Juli 2025, die dieselbe Karte vermessen haben. Der Enhanced Extender ist eine Option, nicht die Standardmontage.

Zählen Sie die Steckplätze dann so, wie der Hersteller sie zählt. Dell erlaubt zwei H200 NVL in einem PowerEdge R770 und benennt die Riser, die dafür vorhanden sein müssen, RC 6-2 und RC 11-2; Lenovo erlaubt zwei in einem ThinkSystem SR650a V4 und nur in den Steckplätzen 21 und 23; HPE bietet doppelt breite GPUs in einem DL380a Gen12 in Anzahlen von zwei, vier oder acht an. Die nutzbare Zahl ist eine Eigenschaft des Riser- und Kabelsatzes und nicht des leeren Raums an der Rückseite des Gehäuses.

Der Host ist die letzte mechanische Prüfung. NVIDIAs Referenzarchitektur will eine Gen5-x16-Anbindung je GPU, duldet eine je zwei GPUs und setzt für den Rest der Maschine eine Untergrenze: zwei Sockel, 2,0 GHz, sieben physische Kerne je GPU und 128 GB Systemspeicher je GPU. Ein Server mit 256 GB RAM sitzt mit zwei Karten auf dieser Grenze und mit drei darunter.

Hürde 2: die Leistung und der Pin, der über den Start entscheidet

Diese Hürde trägt den konkretesten Fehlerfall aus allen Dokumenten. Die Karte nimmt bis zu 600 W aus dem 16-poligen Zusatzstecker; der Steckplatz selbst steuert wenig bei, und Dell setzt die Slotleistung ohne Zusatzkabel auf bis zu 75 W an. Dieses Kabel führt Sense-Pins, die melden, was die Versorgungsseite liefern wird, und NVIDIAs Formulierung ist eindeutig: Liegt der von Sense0 und Sense1 gemeldete Leistungspegel unter der voreingestellten Leistungsgrenze der Karte, startet die Karte nicht.

Product Brief PB-12128-001_v01, Sense-Pin-Tabelle, gekennzeichnet als PCIe CEM 5.1. Nur die höchste Beschaltung ist unterstützt: Eine Verkabelung mit geringerer Leistung gibt es für diese Karte nicht.

Ein Kabel, das für eine niedrigere Klasse beschaltet ist, passt mechanisch einwandfrei, und das Ergebnis ist keine gedrosselte Karte. Es ist eine Karte, die überhaupt nicht hochkommt, in einem Server, der normal startet. Das Kabel ist außerdem gehäuse- und steckplatzspezifisch: Dell benennt DCNHT für Steckplatz 2 und K8FW0 für Steckplatz 7 desselben R770, und Lenovo nennt ein 320-mm-Kabel für den SR650a V4 und ein 235-mm-Kabel für den SR675 V3. Bestellen Sie es nach Server und Steckplatz, über die Teilenummer.

Der konfigurierbare Bereich sind 600 W als Voreinstellung, mit einer Compliance-Grenze von 350 W und einem Minimum von 200 W in derselben Tabelle. Die 350 W sind eine Compliance-Grenze innerhalb der 600-W-Zeile und keine bestellbare Variante. Eine mit nvidia-smi im Betrieb gesetzte Grenze geht beim nächsten Laden des Treibers verloren; nur die Einstellung über SMBPBI außerhalb des Betriebssystems überlebt einen Neustart.

Rechnen Sie dann vor dem Elektroteam. Zwei Karten an Dells Grenze von 450 W sind 900 W; zwei an Lenovos 600 W sind 1.200 W. Vier zu 600 W sind 2.400 W, die gesamte Leistung eines 2.400-W-Netzteils, bevor Prozessoren, Speicher, Laufwerke und Lüfter irgendetwas gezogen haben, und acht sind 4.800 W. HPEs QuickSpecs zum DL380a Gen12 verlangen entsprechend Netzteile mit 2.400 W oder 3.200 W, sobald die Karte konfiguriert ist, fünf Netzteile für einen Knoten mit zwei oder vier GPUs, zwei für die Systemplatine und drei für die GPUs, und acht für einen Knoten mit acht oder zehn GPUs. Sobald die GPU-Aufnahme die Leistung eines Netzteils übersteigt, heißt N+N nicht mehr zwei Netzteile. Dells Anweisung für den R770 lautet, den Verbrauch mit dem eigenen Planungswerkzeug zu prüfen statt mit einer Faustregel, und auf Rack-Ebene geht die Zuleitung lange vor dem Höhenraum aus, was die Rechnung in unserem Leitfaden zu Strom und Kühlung im Rack ist.

Hürde 3: die Kühlung, zu der kein Hersteller eine Zahl veröffentlicht

Die ehrliche Antwort auf die Frage, welchen Luftstrom diese Karte braucht, lautet, dass niemand einen veröffentlicht. Der Kühlkörper ist passiv und die Karte trägt keinen Lüfter, und doch hat NVIDIAs Product Brief ein Kapitel mit der Überschrift System Airflow Requirements, dessen gesamter technischer Inhalt darin besteht, dass der Kühlkörper Luft von links nach rechts oder von rechts nach links annimmt, dazu eine Abbildung. Keine Angabe in Fuß pro Minute, keine in Kubikfuß pro Minute, weder dort noch im entsprechenden Kapitel des Product Brief zur H100 PCIe. Lenovos Produktleitfaden, HPEs QuickSpecs, Dells Technical Guide samt Thermomatrizen und Supermicros Papier zur Systemauslegung nennen ebenfalls keine.

Damit ist „unsere Racks haben guten Luftstrom“ keine Antwort: Es gibt keine veröffentlichte Zahl, an der man das prüfen könnte, und eine LFM-Angabe aus einem Forum oder von einer Händlerseite hat keine Primärquelle hinter sich. NVIDIA veröffentlicht auch keine maximale Chiptemperatur und keine Drosselschwelle. Was die OEM stattdessen veröffentlichen, ist eine Liste von Teilen und Grenzen, und diese Liste ist die thermische Spezifikation.

Dells Thermomatrizen zu R770 und R7725 und der R770 Technical Guide; Lenovos Thermoregeln zum SR650a V4; Product Brief PB-12128-001_v01, Tabelle 2-4. Keines davon nennt eine Luftmenge.

Lesen Sie die letzte Zeile gegen die anderen. Die Karte läuft in Umgebungsluft bis 45 °C; die Server, die für sie zertifiziert sind, tun das nicht und deckeln den Raum bei 30 oder 35 °C. Bindend ist die Zahl des Servers, und achten Sie darauf, in welche Richtung die Einschränkung auf den Dell-Plattformen läuft: Die Kühlung begrenzt die Karte, nicht umgekehrt.

Hürde 4: steht der Server auf irgendeiner Supportliste

Vier Primärdokumente klären das, und sie gehören benannt: Lenovo Press LP1944, der ThinkSystem NVIDIA H200 141GB GPUs Product Guide; die HPE QuickSpecs NVIDIA Accelerators for HPE, c04123180 v73 vom Juli 2025; der Dell PowerEdge R770 Technical Guide, Teilenummer E111S, Rev. A08 vom Mai 2026; und die Dell PowerEdge Server GPU Matrix. Dahinter stehen die QuickSpecs zum HPE ProLiant Compute DL380a Gen12 und Supermicros System Guidance for GH200 and H200.

Die Listen sind kürzer, als die meisten erwarten. Dell führt die Karte nur auf Systemen der siebzehnten Generation, höchstens zwei im R770 und im R7725 und drei im R7715; in den Tabellen der fünfzehnten und der sechzehnten Generation fehlt sie, ein R750 oder R760, der schon im Rack steht, steht also nicht auf Dells Liste. HPE führt den ProLiant DL380a Gen12 und den ProLiant Compute DL385 Gen11; Lenovo führt den SR650a V4 mit zwei und den SR675 V3 mit acht. NVIDIA fasst die Kategorie als MGX-H200-NVL-Partnersysteme und NVIDIA-Certified Systems mit bis zu acht GPUs.

Lenovos Leitfaden trägt die Falle, die zeigt, wie feinkörnig das ist: unterstützt auf dem SR650a V4, Maschinentyp 7DGDCTO2WW, und ausdrücklich nicht unterstützt auf dem SR650 V4, Maschinentyp 7DGDCTO1WW. Wer nach dem Familiennamen statt nach dem Maschinentyp bestellt, wirft eine Münze.

Zur Montage im Feld gegenüber dem Einbau ab Werk sind die Dokumente weniger dramatisch als die Legende. Keines schreibt, die PCIe-Karte dürfe nur ab Werk eingebaut werden, und keines nennt eine Garantiefolge für den Einbau im Feld, wir behaupten also weder das eine noch das andere. Lenovo kennzeichnet die HGX-H200-Baseboards als reine Configure-to-Order-Position, während der PCIe-Adapter eine normal bestellbare Option auf ServerProven ist. Was die Dokumente sehr wohl sagen: Der Support bezieht sich auf eine Konfiguration und nicht auf einen Server, also auf einen Maschinentyp, einen Steckplatz, einen Riser, ein Lüftermodul, einen Luftkanal, ein Kabel je Steckplatz und eine Laufwerks-Backplane von der Supportliste. HPE fasst den Unterschied in Qualifizierungsbegriffen und schreibt, Beschleuniger, die für NVIDIA-Certified HPE-Server verkauft werden, durchliefen eine Qualifizierung für Thermik, Mechanik, Leistung und Signalintegrität.

Ein Hersteller macht den Punkt besonders scharf. Dell begrenzt die H200 NVL auf zwei eigenen Plattformen, dem R770 und dem R7725, auf 450 W statt auf die nominellen 600 W, und die Thermomatrix des R770 führt die Karte mit ganzen Klassen von Laufwerks-Backplanes als nicht unterstützt: 24 × 2,5-Zoll-SAS/SATA, EDSFF E3.S NVMe mit 16, 32 und 40 Plätzen sowie E3.S hinten. Die Backplane setzt den Luftwiderstand vor der Karte, die vor zwei Jahren gewählten Platten können die GPU heute also verhindern. Dell setzt für den R770 außerdem eine Untergrenze beim Betriebssystem, Ubuntu 24.04.02 mit Kernel 6.11 oder neuer, und die allgemeinen Regeln gelten weiter: alle GPUs vom selben Typ und Modell, Hochleistungslüfter und GPU-Luftkanal eingebaut.

Hürde 5: die NVLink-Brücke, wenn die Last sie braucht

Die meisten Nachrüstungen brauchen keine Brücke: Hält jede Karte ihre eigene Kopie des Modells, reden die Karten nie miteinander. Die Brücke verdient ihren Platz, wenn ein Modell in jeder Schicht über GPUs verteilt ist, denn Tensor-Parallelismus fügt je Schicht ein All-Reduce ein, und PCIe Gen5 mit 128 GB/s ist dann der Engpass.

Die Topologieregeln sind streng. Jede H200 NVL trägt genau einen Brückenanschluss; die 2-fach-Brücke verbindet zwei Karten, die 4-fach-Brücke vier, und in beiden Fällen müssen die Karten physisch benachbart sein und in derselben CPU-Domäne liegen. NVIDIAs Referenzarchitektur wiederholt, dass die Paarung unter einem Sockel am besten ist und über Sockel hinweg zwar zulässig, aber nicht empfohlen. In einem Server, dessen Riser vier GPUs zwei und zwei auf die Sockel aufteilen, lässt sich die 4-fach-Brücke nicht wie vorgesehen einbauen. Das Gehäuse muss außerdem mindestens 2,5 mm Freiraum über der Oberkante der Karte und 2,67 mm dahinter lassen.

Product Brief PB-12128-001_v01, Tabellen 4-1 und 4-2, und der H100 NVL Product Brief PB-11773-001_v01. NVIDIA bezeichnet die Teile als „2-slot“ und „4-slot“ und beschreibt sie zugleich als Brücken über zwei und vier Karten; da die Karte selbst zwei Slots breit ist, lesen Sie die Bezeichnungen als Kartenzahl und leiten Sie daraus kein Raster ab.

Halten Sie die beiden Bandbreitenangaben auseinander, denn NVIDIAs eigenes Material vermischt sie. Die NVLink-Bandbreite je GPU sind 900 GB/s, und sie ist auf beiden Brücken gleich: 18 Links zu 50 GB/s je Richtung. Die 1.800 GB/s, die neben dem 4-fach-Teil stehen, sind die Summe über vier Karten, und 4 × 141 GB ergeben die 564 GB gepoolten Speicher, die NVIDIA für einen Vierer-Verbund nennt. NVIDIAs Web-Datenblatt schreibt die Zeile als 900 GB/s je GPU, während die PDF-Fassung die Worte „je GPU“ weglässt, und dort beginnt die Verwirrung.

Diese Hürde ändert sich am stärksten für alle, die von einer H100 NVL aufrüsten, und dabei gehört eine Zahl korrigiert. NVIDIAs Unternehmensblog nennt die H200 NVL eine Steigerung des Speichers um das 1,5-Fache und der Bandbreite um das 1,2-Fache gegenüber der H100 NVL; das Entwicklerblog schreibt drei Wochen später das 1,4-Fache bei der Bandbreite. Die Datenblätter entscheiden es: 4,8 TB/s geteilt durch 3,9 TB/s sind etwa 1,22, der Zuwachs ist also das 1,2-Fache und die 1,4 ein Fehler. Der Zuwachs bei der Verbindung ist der größere, 900 gegen 600 GB/s, also das 1,5-Fache. Die alte Karte nutzte zudem drei Brücken je Paar, wo diese eine einzige nutzt, und HPE schreibt, H200-NVL-Brücken funktionierten nur mit H200-NVL-GPUs, ein vorhandener Satz lässt sich also nicht übernehmen. Ein verbundenes H100-NVL-Paar sind 2 × 94 GB, also 188 GB, woher die alte Angabe „188 GB H100 NVL“ stammt; das entsprechende H200-NVL-Paar sind 282 GB, wie unser Vergleich der beiden Karten durchrechnet. Eine letzte Warnung: „bis zu acht GPUs“ ist eine Aussage über die Plattform und keine über die Brücke, denn die NVLink-Domäne endet bei vier Karten.

Hürden 6 und 7: Firmware, BIOS und die Software danach

Zwei Firmware-Untergrenzen sind dokumentiert, und beide übersieht man an einer Maschine, die zwei Jahre gelaufen ist, leicht. Für Secure Boot nennt NVIDIA CEC-Firmware 2.0185 oder neuer und NVFlash 5.842 oder neuer; für die Plattform NVIDIA-Certified Systems 2.8 oder neuer.

Die BIOS-Einstellung, die darüber entscheidet, ob die Karte initialisiert, ist Above 4G Decoding, und NVIDIAs Knowledge Base warnt, dass die Hersteller sie unterschiedlich benennen: 64-bit MMIO, Memory Hole for PCI MMIO, Above 4G Decoding. Steht sie falsch, sind die Symptome ein Fehlschlag beim Initialisieren von NVML mit unbekanntem Fehler oder eine Meldung, die dem Gerät zugewiesene PCI-I/O-Region sei ungültig. Auf manchen Supermicro-Boards ist die Option global aktiviert und je Steckplatz ausgenommen, eine als aktiviert gemeldete Einstellung kann also genau für den Steckplatz aus sein, in dem die GPU sitzt. Auf Dell-Systemen der sechzehnten und späterer Generationen ist der Regler für die MMIO-Basis verschwunden und die Voreinstellung liegt bei 2.048 TB; bei Lenovo heißt der Regler MM Config Base, und die dokumentierte Lösung bei unzureichenden PCI-Ressourcen ist es, ihn wider Erwarten zu senken.

Jetzt die Korrektur, denn hier gehen Nachrüst-Checklisten schief. Resizable BAR wird breit als Anforderung der H200 NVL wiederholt und ist keine. Kein Dokument von NVIDIA oder einem OEM nennt es als Voraussetzung für diese Karte, und keines veröffentlicht die BAR1-Größe der Karte, es gibt also nichts zu prüfen und nichts einzuschalten. Die Einstellung, nach der Ingenieure greifen, ist die serverseitige von oben: 64-Bit-MMIO-Decoding und genug MMIO-Raum.

Wird die Karte virtualisiert, kommen zwei Einstellungen als Anforderung dazu. NVIDIAs vGPU-Dokumentation schreibt, VT-d beziehungsweise IOMMU müsse aktiviert und SR-IOV in den erweiterten Optionen eingeschaltet sein; die Karte braucht für SR-IOV die Mitwirkung des SBIOS und zeigt 32 virtuelle Funktionen. Beim Passthrough sprengen 141 GB Framebuffer die MMIO-Voreinstellungen, die für Karten mit 24 und 48 GB funktioniert haben. Broadcoms Regel lautet, pciPassthru.use64bitMMIO auf true zu setzen, den Framebuffer aller an die VM angehängten GPUs zu addieren, auf die nächste Zweierpotenz aufzurunden und dann noch einmal aufzurunden. Eine Karte mit 141 GB liegt zwischen 128 und 256, die Regel ergibt also 256 und dann 512; zwei Karten sind 282 GB, was 512 und dann 1.024 ergibt.

Ein Konflikt lässt sich nicht wegkonfigurieren. NVIDIAs NCCL-Leitfaden zur Fehlersuche schreibt, IO-Virtualisierung könne Peer-to-Peer-PCI-Verkehr über den Root-Complex der CPU umleiten und dabei erheblichen Leistungsverlust oder ein Hängen verursachen, und die Lösung auf Bare Metal sei, sie abzuschalten; prüfen lässt sich das mit lspci -vvv | grep ACSCtl auf SrcValid+. Dieselbe Seite schreibt, virtuelle Maschinen bräuchten ACS, um zu funktionieren, ein Host gibt Ihnen also VM-Isolation oder uneingeschränktes Peer-to-Peer auf Bare Metal, nicht beides.

Die Software-Untergrenzen sind kurz: Treiber R565 TRD1 oder neuer, CUDA 12.7 oder neuer und vGPU 18.1 oder neuer in der Edition Virtual Compute Server. NVIDIA benennt für diese Karte in den Release Notes keinen aktuellen Branch, behandeln Sie den Branch also als Lebenszyklusentscheidung: Von den im Dokument zum Rechenzentrumstreiber vom September 2026 gelisteten hat R580 LTS die längste veröffentlichte Laufzeit, bis Juni 2028, gegenüber März 2027 für R595 Production und August 2026 für R610.

Zuletzt der Anspruch, und der geht schief, nachdem alles andere gut gegangen ist. Jede H200 NVL bringt ein fünfjähriges Abonnement von NVIDIA AI Enterprise mit, und das ist der Lizenzunterschied zur SXM-Version, bei der dieselbe Software ein Zukauf ist. Lizenziert wird pro GPU und nicht pro Server, aktiviert wird über die Registrierung der GPU-Seriennummern bei NGC. Es passiert nichts, bis das jemand tut, und die Seriennummern stehen auf Karten, die gleich in einem Gehäuse im Rack verschwinden. Lesen Sie sie ab, bevor die Karten hineingehen.

Die Prüfungen, die am häufigsten scheitern

Drei der Hürden oben machen die meisten Fehlschläge aus, und sie scheitern an drei verschiedenen Stellen.

1. Das 16-polige Kabel ist für die falsche Leistungsklasse beschaltet. Die Karte startet nicht, in einem Server, der startet. Es scheitert beim ersten Einschalten, es sieht aus wie eine tote GPU, und es ist eine falsche Teilenummer statt eines Defekts.
2. Das Gehäuse steht für diese Karte nicht auf der Thermoliste des OEM. Das scheitert bei Bestellung und Validierung, nicht beim Start, und keine Lüfterabstimmung repariert es, weil die Liste die Spezifikation ist. Die Laufwerks-Backplane ist der Punkt, den man zu prüfen vergisst.
3. MMIO und Above 4G Decoding, besonders sobald ein Hypervisor im Spiel ist. Eine Karte mit 141 GB macht das viel wahrscheinlicher als die Karten mit 24 bis 48 GB, auf die die meisten Bestände ausgelegt wurden, und die Ausnahme je Steckplatz ist die Variante des Fehlers, die eine Prüfung der globalen Einstellung überlebt.

Eurokommerz liefert die NVIDIA H200 NVL und die Server, die für sie zertifiziert sind, EU-weit, und mit unserem Engineering-Partner Vixen.UNO fahren wir diese Checkliste gegen Ihre Maschine, bevor irgendetwas bestellt wird: Maschinentyp gegen die Herstellerliste, Backplane gegen die Thermomatrix, Riser- und Kabelteilenummern je Steckplatz, Zahl der Netzteile, Brückentopologie und die Einstellungen, die sich ändern müssen. Wo die Antwort lautet, dass der Server die Karte nicht aufnehmen kann, sagen wir es lieber vor der Bestellung als danach.

FAQ