Eine H200 NVL in einen Server einbauen, den Sie schon haben: die Prüfungen vor der Bestellung

Prüfung 1: Steckplätze, Riser und Anforderungen an den Host

Die H200 NVL ist eine PCIe-Karte in voller Bauhöhe und voller Länge mit 141 GB HBM3e und 4,8 TB/s; sie belegt zwei Slots, ist zehneinhalb Zoll lang und zieht bis zu 600 W über einen einzigen 16-poligen Zusatzstecker. Eine Nachrüstung muss sieben Prüfungen in dieser Reihenfolge bestehen, und ein freier Steckplatz ist die leichteste davon.

NVIDIA H200 NVL Product Brief PB-12128-001_v01, April 2025, und HPE QuickSpecs NVIDIA Accelerators for HPE, c04123180 v83, September 2026, die dieselben Maße nennen. Der Enhanced Extender ist eine Option, nicht die Standardmontage.

Zählen Sie die Steckplätze dann so, wie der Hersteller sie zählt. Dell erlaubt zwei H200 NVL in einem PowerEdge R770 und benennt die Riser, die dafür vorhanden sein müssen, RC 6-2 und RC 11-2; Lenovo erlaubt zwei in einem ThinkSystem SR650a V4 und nur in den Steckplätzen 21 und 23; HPE bietet doppelt breite GPUs in einem DL380a Gen12 in Anzahlen von zwei, vier oder acht an. Die nutzbare Zahl ist eine Eigenschaft des Riser- und Kabelsatzes und nicht des leeren Raums an der Rückseite des Gehäuses.

Der Host ist die letzte mechanische Prüfung. NVIDIAs Referenzarchitektur sieht eine Gen5-x16-Anbindung je GPU vor, akzeptiert eine je zwei GPUs und setzt Mindestwerte für den Rest der Maschine: zwei Sockel, 2,0 GHz, sieben physische Kerne je GPU und 128 GB Systemspeicher je GPU. Ein Server mit 256 GB RAM erfüllt dieses Minimum mit zwei Karten und liegt mit drei darunter.

Prüfung 2: Stromversorgung, das 16-polige Kabel und seine Sense-Pins

Bei der Stromversorgung ist der Fehlerfall so klar dokumentiert wie bei keiner anderen Prüfung. Die Karte bezieht bis zu 600 W über den 16-poligen Zusatzstecker; der Steckplatz selbst steuert wenig bei, und Dell setzt die Slotleistung ohne Zusatzkabel auf bis zu 75 W an. Dieses Kabel führt Sense-Pins, die melden, was die Versorgungsseite liefern wird, und laut NVIDIA startet die Karte nicht, wenn der von Sense0 und Sense1 gemeldete Leistungspegel unter ihrer voreingestellten Leistungsgrenze liegt.

Product Brief PB-12128-001_v01, Sense-Pin-Tabelle, gekennzeichnet als PCIe CEM 5.1. Nur die höchste Beschaltung ist unterstützt: Eine Verkabelung mit geringerer Leistung gibt es für diese Karte nicht.

Ein Kabel, das für eine niedrigere Klasse beschaltet ist, passt trotzdem in den Stecker. Die Karte startet dann überhaupt nicht, obwohl der Server normal hochfährt; auf eine niedrigere Leistungsgrenze fällt sie nicht zurück. Das Kabel ist außerdem gehäuse- und steckplatzspezifisch: Dell benennt DCNHT für Steckplatz 2 und K8FW0 für Steckplatz 7 desselben R770, und Lenovo nennt ein 320-mm-Kabel für den SR650a V4 und ein 235-mm-Kabel für den SR675 V3. Bestellen Sie es nach Server und Steckplatz, über die Teilenummer.

Der konfigurierbare Bereich sind 600 W als Voreinstellung, mit einer Compliance-Grenze von 350 W und einem Minimum von 200 W in derselben Tabelle. Die 350 W sind eine Compliance-Grenze innerhalb der 600-W-Zeile und keine bestellbare Variante. Eine mit nvidia-smi im Betrieb gesetzte Grenze geht beim nächsten Laden des Treibers verloren; nur die Einstellung über SMBPBI außerhalb des Betriebssystems überlebt einen Neustart.

Berechnen Sie als Nächstes gemeinsam mit Ihrer Haustechnik das Leistungsbudget; maßgeblich ist die Leistung, die die GPU-Konfigurationsmatrix des Serverherstellers für das genaue Modell und den Steckplatz erlaubt. Zwei Karten zu 600 W, wie im SR650a V4 von Lenovo, sind 1.200 W. Vier zu 600 W sind 2.400 W, die gesamte Leistung eines 2.400-W-Netzteils, bevor Prozessoren, Speicher, Laufwerke und Lüfter irgendetwas gezogen haben, und acht sind 4.800 W. HPEs QuickSpecs zum DL380a Gen12 verlangen entsprechend Netzteile mit 2.400 W oder 3.200 W, sobald die Karte konfiguriert ist, und zwar fünf Netzteile für einen Knoten mit zwei oder vier GPUs (zwei für die Systemplatine und drei für die GPUs) und acht für einen Knoten mit acht oder zehn GPUs. Sobald die Leistungsaufnahme der GPUs die Leistung eines Netzteils übersteigt, braucht eine N+N-Redundanz mehr als zwei Netzteile. Dells Anweisung für den R770 lautet, den Verbrauch mit dem eigenen Planungswerkzeug zu prüfen statt mit einer Faustregel. Auf Rack-Ebene ist die Stromzuleitung lange vor dem Platz im Rack ausgeschöpft, wie unser Leitfaden zu Strom und Kühlung im Rack zeigt.

Prüfung 3: Kühlung und Luftstrom

Eine veröffentlichte Luftstromangabe für diese Karte haben wir nicht gefunden. Der Kühlkörper ist passiv und die Karte hat keinen Lüfter, doch der einzige technische Inhalt des Kapitels System Airflow Requirements in NVIDIAs Product Brief ist, dass der Kühlkörper Luft von links nach rechts oder von rechts nach links annimmt, dazu eine Abbildung. Einen Wert in Fuß pro Minute oder in Kubikfuß pro Minute nennt das Kapitel nicht, und das entsprechende Kapitel des Product Brief zur H100 PCIe ebenso wenig. Auch in Lenovos Produktleitfaden, HPEs QuickSpecs, Dells Technical Guide samt Thermomatrizen und Supermicros Papier zur Systemauslegung haben wir keinen gefunden.

Die allgemeine Aussage, die Racks hätten guten Luftstrom, lässt sich deshalb nicht prüfen, weil es keine veröffentlichte Zahl gibt, mit der man sie vergleichen könnte, und eine LFM-Angabe aus einem Forum oder von einer Händlerseite stützt sich auf keine Primärquelle. NVIDIAs Brief nennt auch keine maximale Chiptemperatur und keine Drosselschwelle; die Karte meldet ihre eigenen Schwellen für Drosselung und Abschaltung in nvidia-smi. Stattdessen veröffentlichen die OEM eine Liste von Teilen und Grenzen, und diese Liste dient als thermische Spezifikation.

Dells Thermomatrizen zu R770 und R7725 und der R770 Technical Guide; Lenovos Thermoregeln zum SR650a V4; Product Brief PB-12128-001_v01, Tabelle 2-4. Keines dieser Dokumente nennt eine Luftmenge.

Vergleichen Sie die letzte Zeile mit den anderen. Die Karte selbst läuft in Umgebungsluft bis 45 °C, die für sie zertifizierten Server begrenzen die Raumtemperatur aber auf 30 oder 35 °C; planen Sie also mit der Grenze des Servers.

Prüfung 4: die Supportliste des Serverherstellers

Vier Primärdokumente klären das: Lenovo Press LP1944, der ThinkSystem NVIDIA H200 141GB GPUs Product Guide; die HPE QuickSpecs NVIDIA Accelerators for HPE, c04123180 v83 vom September 2026; der Dell PowerEdge R770 Technical Guide, Teilenummer E111S, Rev. A08 vom Mai 2026; und die Dell PowerEdge Server GPU Matrix. Dahinter stehen die QuickSpecs zum HPE ProLiant Compute DL380a Gen12 und Supermicros System Guidance for GH200 and H200.

Die Listen der Hersteller sind kurz. Dell führt die Karte nur auf Systemen der siebzehnten Generation, höchstens zwei im R770 und im R7725 und drei im R7715, und das Datenblatt des PowerEdge XE7740 nennt acht; in den Tabellen der fünfzehnten und der sechzehnten Generation fehlt sie, ein R750 oder R760, der schon im Rack steht, ist also nicht auf Dells Liste. HPE führt den ProLiant DL380a Gen12, den ProLiant DL380 Gen12 und den ProLiant DL385 Gen11; Lenovo führt den SR650a V4 mit zwei und den SR675 V3 mit acht, diesen nur mit AMD-EPYC-Prozessoren der 5. Generation. NVIDIA fasst die Kategorie als MGX-H200-NVL-Partnersysteme und NVIDIA-Certified Systems mit bis zu acht GPUs.

Lenovos Leitfaden zeigt, wie fein diese Unterscheidung ist: Die Karte ist auf dem SR650a V4, Modell 7DGDCTO2WW, unterstützt und auf dem SR650 V4, Modell 7DGDCTO1WW, ausdrücklich nicht unterstützt. Eine Bestellung nach dem Familiennamen statt nach der vollen Modellnummer kann deshalb zu einer nicht unterstützten Konfiguration führen. Bevor Sie bestellen, prüfen wir Plattform, Strom und Kühlung des Servers, den Sie bereits betreiben. Schicken Sie uns das genaue Servermodell, und unser Team hilft Ihnen weiter.

Zum nachträglichen Einbau der Karte statt der Montage ab Werk sagen die Dokumente wenig. Keines schreibt, die PCIe-Karte dürfe nur ab Werk eingebaut werden, und keines nennt eine Garantiefolge für den nachträglichen Einbau, wir behaupten also weder das eine noch das andere. Lenovo kennzeichnet die HGX-H200-Baseboards als reine Configure-to-Order-Position, während der PCIe-Adapter eine normal bestellbare Option auf ServerProven ist. Den Support beziehen die Dokumente allerdings auf eine Konfiguration und nicht auf einen Server: auf einen Maschinentyp, einen Steckplatz, einen Riser, ein Lüftermodul, einen Luftkanal, ein Kabel je Steckplatz und eine Laufwerks-Backplane von der Supportliste. HPE fasst den Unterschied in Qualifizierungsbegriffen und schreibt, Beschleuniger, die für NVIDIA-Certified HPE-Server verkauft werden, durchliefen eine Qualifizierung für Thermik, Mechanik, Leistung und Signalintegrität.

Die Thermomatrix des Dell R770 etwa führt die Karte mit ganzen Klassen von Laufwerks-Backplanes als nicht unterstützt: 24 × 2,5-Zoll-SAS/SATA, EDSFF E3.S NVMe mit 16, 32 und 40 Plätzen sowie E3.S hinten. Die Backplane bestimmt den Luftwiderstand vor der Karte, die beim Kauf des Servers gewählte Laufwerkskonfiguration kann die GPU also ausschließen. Auch die Leistung, die die Karte ziehen darf, hängt von Modell und Steckplatz ab; prüfen Sie also die GPU-Konfigurationsmatrix des Serverherstellers für das genaue Modell und den Steckplatz, statt von 600 W auszugehen. Dell nennt für den R770 außerdem ein Mindestbetriebssystem, Ubuntu 24.04.2 mit Kernel 6.11 oder neuer, begrenzt die H200 NVL in diesem Server auf 450 W und verlangt dazu Lüfter vom Typ HPR Platinum, wie das Installations- und Servicehandbuch angibt.

Prüfung 5: die NVLink-Brücke, wenn die Last sie braucht

Für das Serving brauchen die meisten Nachrüstungen keine Brücke: Hält jede Karte ihre eigene Kopie des Modells, kommunizieren die Karten nie miteinander. Topologie, Bandbreite und die Prüfungen am gelieferten Server behandelt unser Leitfaden zur NVLink-Brücke. Die Brücke lohnt sich, wenn ein Modell in jeder Schicht über GPUs verteilt ist, denn Tensor-Parallelismus fügt je Schicht im Vorwärtsdurchlauf zwei All-Reduce-Operationen ein, und PCIe Gen5 mit 128 GB/s ist dann der Engpass. Training, bei dem die Karten Gradienten austauschen, profitiert ebenfalls von der Brücke.

Die Topologieregeln sind streng. Jede H200 NVL trägt genau einen Brückenanschluss; die 2-fach-Brücke verbindet zwei Karten, die 4-fach-Brücke vier, und in beiden Fällen müssen die Karten physisch benachbart sein. NVIDIAs Product Brief schreibt, verbundene Karten sollten in derselben CPU-Domäne liegen, und führt die Verbindung über CPUs hinweg als zulässig, aber nicht empfohlen. In einem Server, dessen Riser vier GPUs zwei und zwei auf die Sockel aufteilen, würde eine 4-fach-Brücke beide Sockel überspannen, was NVIDIA nicht empfiehlt. Das Gehäuse muss außerdem mindestens 2,5 mm Freiraum über der Oberkante der Karte und 2,67 mm dahinter lassen.

Product Brief PB-12128-001_v01, Tabellen 4-1 und 4-2, und der H100 NVL Product Brief PB-11773-001_v01. NVIDIA bezeichnet die Teile als „2-slot“ und „4-slot“ und beschreibt sie zugleich als Brücken über zwei und vier Karten; da die Karte selbst zwei Slots breit ist, lesen Sie die Bezeichnungen als Kartenzahl und leiten Sie daraus kein Raster ab.

Halten Sie die beiden Bandbreitenangaben auseinander, denn NVIDIAs eigenes Material vermischt sie. Die NVLink-Bandbreite je GPU sind 900 GB/s, und sie ist auf beiden Brücken gleich: 18 Links zu 25 GB/s je Richtung, 900 GB/s insgesamt; NVIDIAs Product Brief nennt 50 GB/s pro Lane „in jeder Richtung“, was seiner eigenen Angabe „900 GBps bidirektional“ widerspricht. NVIDIAs Product Brief nennt die 900 und 1.800 GB/s in einer Spalte mit der Überschrift „Total NVLink BW“, während NVIDIAs H200-Seite für beide Brücken 900 GB/s je GPU angibt; für die Auslegung gelten 900 GB/s je GPU, und 4 × 141 GB ergeben die 564 GB gepoolten Speicher, die NVIDIA für einen Vierer-Verbund nennt. NVIDIAs Web-Datenblatt schreibt die Zeile als 900 GB/s je GPU, während die PDF-Fassung die Worte „je GPU“ weglässt, und dort beginnt die Verwirrung.

Bei dieser Prüfung ändert sich am meisten für alle, die von einer H100 NVL aufrüsten, und bei einer Zahl ist Vorsicht geboten. NVIDIAs Unternehmensblog nennt die H200 NVL eine Steigerung des Speichers um das 1,5-Fache und der Bandbreite um das 1,2-Fache gegenüber der H100 NVL; das Entwicklerblog schreibt drei Wochen später das 1,4-Fache bei der Bandbreite. Die Product Briefs nennen 4.813 GB/s und 3.938 GB/s, ein Verhältnis von etwa 1,22; gegenüber der H100 NVL ist der Zuwachs also das 1,2-Fache, und das 1,4-Fache entspricht der H200 gegenüber der H100 SXM, 4,8 gegen 3,35 TB/s. Der Zuwachs bei der Verbindung ist der größere, 900 gegen 600 GB/s, also das 1,5-Fache. Die alte Karte nutzte zudem drei Brücken je Paar, wo diese eine einzige nutzt, und laut HPEs QuickSpecs für den DL380a Gen12 werden die Brücken für die H200 NVL nur mit H200-NVL-GPUs unterstützt, die ältere Ampere-2-Wege-Brücke nur mit der H100 NVL, ein vorhandener Satz lässt sich also nicht übernehmen. Ein verbundenes H100-NVL-Paar kommt auf 2 × 94 GB, also 188 GB, woher die alte Angabe „188 GB H100 NVL“ stammt; das entsprechende H200-NVL-Paar kommt auf 282 GB, wie unser Vergleich der beiden Karten durchrechnet. Beachten Sie auch, dass „bis zu acht GPUs“ eine Aussage über die Plattform ist und keine über die Brücke, denn die NVLink-Domäne endet bei vier Karten.

Wir liefern die H200 NVL mit ihren 2-fach- und 4-fach-NVLink-Brücken; bei einer Aufrüstung von der H100 NVL kommen die neuen Brücken ins selbe Angebot wie die Karten. Nennen Sie uns, wie viele Karten Sie verbinden wollen und in welchem Server.

Prüfung 6: Firmware, BIOS und Virtualisierungs­einstellungen

Für die Firmware sind zwei Mindestversionen dokumentiert, und beide übersieht man an einer Maschine, die seit zwei Jahren läuft, leicht. Für Secure Boot nennt NVIDIA CEC-Firmware 2.0185 oder neuer und NVFlash 5.842 oder neuer; für die Plattform NVIDIA-Certified Systems 2.8 oder neuer.

Die BIOS-Einstellung, die darüber entscheidet, ob die Karte initialisiert wird, ist Above 4G Decoding, und NVIDIAs Knowledge Base warnt, dass die Hersteller sie unterschiedlich benennen: 64-bit MMIO, Memory Hole for PCI MMIO, Above 4G Decoding. Steht sie falsch, sind die Symptome ein Fehlschlag beim Initialisieren von NVML mit unbekanntem Fehler oder eine Meldung, die dem Gerät zugewiesene PCI-I/O-Region sei ungültig. Auf manchen Supermicro-Boards ist die Option global aktiviert und je Steckplatz ausgenommen, eine als aktiviert gemeldete Einstellung kann also genau für den Steckplatz aus sein, in dem die GPU sitzt. Auf Dell-Systemen der sechzehnten und späterer Generationen gibt es die Einstellung für die MMIO-Basis nicht mehr, und die Voreinstellung liegt bei 2.048 TB; bei Lenovo heißt die Einstellung MM Config Base, und die dokumentierte Lösung bei unzureichenden PCI-Ressourcen ist es, sie wider Erwarten zu senken.

Resizable BAR wird oft als Anforderung der H200 NVL aufgeführt, wir haben aber kein Dokument von NVIDIA oder einem OEM gefunden, das es als solche nennt. NVIDIAs Product Brief nennt die Größe des großen Speicherfensters der Karte, 256 GiB, die der Server oberhalb von 4 GB abbilden muss. Entscheidend ist deshalb die oben beschriebene serverseitige Einstellung: 64-Bit-MMIO-Decoding mit genug MMIO-Raum für ein 256-GiB-Fenster je Karte.

Wird die Karte virtualisiert, kommen zwei Einstellungen als Anforderung dazu. NVIDIAs vGPU-Dokumentation schreibt, VT-d beziehungsweise IOMMU müsse aktiviert und SR-IOV in den erweiterten Optionen eingeschaltet sein; die Karte braucht für SR-IOV die Mitwirkung des SBIOS und zeigt 32 virtuelle Funktionen. Beim Passthrough sprengen 141 GB Framebuffer die MMIO-Voreinstellungen, die für Karten mit 24 und 48 GB funktioniert haben. Laut Broadcoms Knowledge Base setzen Sie pciPassthru.use64bitMMIO auf true und geben die MMIO-Größe in pciPassthru.64bitMMIOSizeGB als Zweierpotenz in GB an. NVIDIAs vGPU-Dokumentation nennt für die H200 512 GB MMIO-Raum, und dieselben 512 ergeben sich für eine Karte im Passthrough: Ihr Speicherfenster von 256 GiB plus die kleineren Registerfenster ergibt knapp mehr als 256 GiB, die nächste Zweierpotenz ist also 512. Zwei Karten kommen auf knapp mehr als 512 GiB und brauchen nach unserer Rechnung also 1.024.

Ein Konflikt lässt sich durch Konfiguration nicht lösen. NVIDIAs NCCL-Leitfaden zur Fehlersuche schreibt, IO-Virtualisierung könne Peer-to-Peer-PCI-Verkehr über den Root-Complex der CPU umleiten und dabei erheblichen Leistungsverlust oder ein Hängen verursachen, und die Lösung auf Bare Metal sei, sie abzuschalten; prüfen lässt sich das mit sudo lspci -vvv | grep ACSCtl auf SrcValid+, wie es NVIDIAs NCCL-Leitfaden schreibt. Dieselbe Seite schreibt, virtuelle Maschinen bräuchten ACS, um zu funktionieren, ein Host gibt Ihnen also VM-Isolation oder uneingeschränktes Peer-to-Peer auf Bare Metal, nicht beides.

Prüfung 7: Treiber, vGPU und Lizenz

Bei der Software gelten als Mindestanforderungen Treiber R565 TRD1 oder neuer und vGPU 18.1 oder neuer in der Edition Virtual Compute Server. Die Dokumentation von NVIDIA AI Enterprise listet die vGPU-Typen der H200 NVL auf; die Unterstützung durch den Hypervisor lassen Sie sich für das Release, das Sie einsetzen, von NVIDIA bestätigen. NVIDIAs Brief schreibt außerdem „CUDA 12.7 oder neuer“, und das ist die CUDA-Version des Treibers R565: Ein Release des CUDA-Toolkits 12.7 haben wir nicht gefunden, und Anwendungen, die mit CUDA 11.8 oder einem neueren Toolkit gebaut sind, unterstützen Hopper. NVIDIA benennt für diese Karte in den Release Notes der Treiber keinen aktuellen Branch, behandeln Sie den Branch also als Lebenszyklusentscheidung: Von den Branches, die das Dokument zu den Rechenzentrumstreibern vom September 2026 listet, hat R580 LTS die längste veröffentlichte Laufzeit, bis Juni 2028, gegenüber März 2027 für R595 Production und dem bereits verstrichenen August 2026 für R610. Prüfen Sie auf einem Server, der schon Jahre läuft, auch die installierte Version: NVIDIAs Sicherheitsbulletin vom 30. September 2026 nennt 580.178.04 und 595.91.07 als korrigierte Versionen dieser Branches, und die neuesten Releases sind 580.196.07 vom 21. Oktober 2026 und 595.112.07 vom 22. Oktober 2026.

Der letzte Punkt ist der Lizenzanspruch. Jede H200 NVL bringt ein fünfjähriges Abonnement von NVIDIA AI Enterprise mit, während es für H200-SXM-Boards außerhalb von NVIDIAs DGX-Systemen ein Zukauf ist. Lizenziert wird pro GPU und nicht pro Server, aktiviert wird mit den GPU-Seriennummern; NVIDIA zählt die fünf Jahre aber ab der Auslieferung der Karte an den Serverhersteller plus 90 Tage, ob aktiviert oder nicht. Die Seriennummern stehen auf den Karten, an die man kaum noch herankommt, sobald sie in einem Server im Rack sitzen; lesen Sie sie deshalb ab, bevor die Karten eingebaut werden.

Drei Prüfungen, die man leicht übersieht

Jede der drei fällt in einer anderen Phase auf.

1. Das 16-polige Kabel ist für die falsche Leistungsklasse beschaltet. Die Karte startet nicht, obwohl der Server hochfährt. Das zeigt sich beim ersten Einschalten und sieht aus wie eine defekte GPU, die Ursache ist aber eine falsche Teilenummer des Kabels und kein Fehler der Karte.
2. Das Gehäuse steht für diese Karte nicht auf der Thermoliste des OEM. Das zeigt sich bei Bestellung und Validierung statt beim Start, und eine Anpassung der Lüfter behebt es nicht, weil die Liste die Spezifikation ist. Die Laufwerks-Backplane wird leicht übersehen.
3. MMIO und Above 4G Decoding, besonders sobald ein Hypervisor im Spiel ist. Eine Karte mit 141 GB macht das viel wahrscheinlicher als die Karten mit 24 bis 48 GB, für die die meisten vorhandenen Server ausgelegt wurden, und die Ausnahme je Steckplatz kann bestehen bleiben, auch nachdem die globale Einstellung geprüft wurde.

Was wir liefern

Wir liefern die NVIDIA H200 NVL mit ihren NVLink-Brücken und ihrem fünfjährigen Abonnement von NVIDIA AI Enterprise sowie auf Bestellung gebaute KI-Server um sie herum, unter einem EU-Vertrag und auf einer Rechnung, mit Herstellergarantie. Für einen Server, den Sie bereits betreiben, prüfen wir Plattform, Stromversorgung und Kühlung, bevor Sie bestellen, und sagen Ihnen vorab, wenn die Karte darin nicht unterstützt wird. Dieselben Prüfungen gelten für die RTX PRO 6000 Server Edition, die unser Überblick kompatibler Server behandelt. Auf Wunsch übernimmt unser Engineering-Partner Vixen.UNO die Inbetriebnahme unter demselben Vertrag.

FAQ