NVIDIA H200 NVL mit 450 W: Leistungsbereich, Server mit Grenze und was die Grenze kostet

Die H200 NVL mit 450 W in NVIDIAs Dokumenten

Die NVIDIA H200 NVL kann mit 450 W laufen, als Leistungsgrenze innerhalb des Bereichs von 200 bis 600 W, den NVIDIA für sie dokumentiert; ihr Stromkabel muss dabei weiterhin die volle 600-W-Klasse melden. Dells 2U-Server PowerEdge R770 begrenzt die Karte auf 450 W, und StorageReviews Messungen der Karte vom Oktober 2026 entstanden auf dieser Stufe. Wie viel Durchsatz die Grenze gegenüber 600 W kostet, ist für diese Karte bis Oktober 2026 nicht veröffentlicht; jede Planung mit 450 W sollte daher eine Messung mit dem eigenen Modell enthalten.

Die Werte stammen aus Tabelle 2-1 von NVIDIAs Product Brief PB-12128-001_v01 vom 11. April 2025, für eine Karte, deren 16-Pin-Kabel „strapped for 600 W power mode“ ist. Einen anderen Modus nennt der Brief nicht.

NVIDIA H200 NVL Product Brief PB-12128-001_v01 (11. April 2025), Tabellen 2-1, 2-4 und 4-3, gelesen am 24. Oktober 2026 in einer Kopie eines Dritten und nach Dokumentnummer zitiert.

NVIDIAs H200-Seite fasst es kürzer: „Up to 600W (configurable)“. Das erste Kapitel des Briefs schreibt, die Karte „operates unconstrained up to its maximum thermal design power (TDP) level of 600 W“. Er nennt einen Basistakt von 1.230 MHz und einen Boost-Takt von 1.785 MHz und sagt nichts zur Rechenleistung bei geringerer Leistungsaufnahme. Der Abschnitt zur programmierbaren Leistung nennt den Zweck einer Grenze: „for system power and thermal budget or performance-per-watt reasons“.

Warum ein 450-W-Kabel die Karte nicht startet

Der 16-Pin-Stecker hat zwei Sense-Pins, die der Karte melden, was das Kabel liefern kann. Tabelle 4-3 des Briefs ordnet sie Leistungsklassen zu, und nur die oberste Klasse wird unterstützt.

NVIDIA H200 NVL Product Brief PB-12128-001_v01, Tabelle 4-3, gelesen am 24. Oktober 2026.

Der Brief schreibt, dass „the card will not boot“, wenn die gemeldete Leistung unter der voreingestellten Grenze der Karte liegt, und dass die Karte „requires this sense pin logic to boot, even if using the programmable TGP feature to reduce TGP“. Eine Grenze von 450 W wird also an einer Karte gesetzt, die ein 600-W-Kabel sieht. Supermicros Support-FAQ vom 13. Februar 2026 beschreibt den Fehler. Ein Kunde ersetzte H100-Karten in einem SYS-521GE-TNRT durch H200 NVL, und die neuen Karten erschienen weder in nvidia-smi noch in lspci. Supermicros Antwort: „Power Cable SKU: CBL-PWEX-0962Y-30 only supports up to 450W“, „H200 NVL GPUs require 600W each“, und das Kabel CBL-PWEX-1364Y-30 unterstützt bis zu 600 W.

Die NVIDIA RTX PRO 6000 Blackwell Server Edition verhält sich anders: Ihr Brief nennt einen 450-W-Kabelmodus, in dem die Karte läuft, wie unser Artikel zur Leistung der Server Edition mit 600, 450 und 300 W zeigt. Ein Kabel, das für diese Karte in einem bestimmten Steckplatz passt, kann verhindern, dass eine H200 NVL startet. Unsere Checkliste für eine H200 NVL im vorhandenen Server nennt die Kabelnummern je Server.

Die Grenze setzen: nvidia-smi oder Management-Controller

Der Abschnitt des Briefs zur programmierbaren Leistung erlaubt dem Serverhersteller oder Betreiber, die Leistungsgrenze der Karte auf zwei Wegen zu setzen. In band über den Treiber mit nvidia-smi gilt: „power cap adjustment must be reestablished after each new driver load“. Out of band über SMBPBI, die Schnittstelle des Management-Controllers im Server, gilt: „power cap adjustment remains in force across driver loads and system boots“. Das Beispiel im Brief schaltet mit nvidia-smi -pm 1 den Persistence Mode ein und setzt mit nvidia-smi -pl 310 eine Grenze; der Standard kehrt mit nvidia-smi -pl 600 oder einem Neuladen des Treibers zurück.

Für 450 W lautet der Befehl nvidia-smi -pl 450, und nvidia-smi -q -d POWER zeigt die aktuelle, voreingestellte, minimale und maximale Grenze. Daraus folgen zwei praktische Punkte. Ein Anschluss, der für begrenzte Karten ausgelegt ist, hängt davon ab, dass die Grenze bei jedem Start und jedem Treiber-Update wieder gesetzt wird, durch eine systemd-Unit oder durch den Management-Controller. Und eine Grenze, die der Serverhersteller out of band setzt, wie beim R770 von Dell, gehört zur Plattform und lässt sich vom Betreiber nicht mit nvidia-smi aufheben. Unser Leitfaden zum Power Limit der RTX PRO 6000 mit nvidia-smi zeigt die Unit-Datei und DCGM für viele Server; die Befehle sind für die H200 NVL dieselben.

Welche Server die H200 NVL auf 450 W begrenzen

In den Herstellerdokumenten, die wir am 24. Oktober 2026 gelesen haben, begrenzt ein Server die Karte, die übrigen führen sie mit 600 W.

Technical Guide Dell PowerEdge R770 Rev. A09 (Juni 2026); Lenovo Press LP2128 (20. Oktober 2026) und LP1611 (8. Oktober 2026); Technical Guide Dell PowerEdge XE7740 Rev. A04 (April 2026); Data Sheet Cisco UCS C845A M8; gelesen am 24. Oktober 2026.

Dells Leitfaden zum R770, einem 2U-Server mit zwei Intel-Xeon-6-Prozessoren, schreibt: „The NVIDIA H200 NVL and NVIDIA RTX Pro 6000 are designed to support up to 600 W“, und „they are power capped to 450 W support on R770“. Er nennt höchstens zwei H200 NVL in den Riser-Positionen RC 6-2 und RC 11-2, und seine Übersichtstabelle lautet „Up to 2x double width 450 W and 6 x single width 75 W accelerators“. Die Konfiguration verlangt außerdem Hochleistungslüfter der Platinum-Klasse in allen Positionen, iDRAC-Firmware 1.20.60.55 oder neuer, ohne die ein Fehler wegen eines falschen Lüftertyps erscheint und die Lüfterdrehzahl bei 50 Prozent festgehalten wird, Ubuntu 24.04.02 mit Kernel 6.11 oder neuer sowie steckplatzspezifische Stromkabel, DCNHT für Steckplatz 2 und K8FW0 für Steckplatz 7. NVLink erwähnt der Leitfaden nicht, der R770 betreibt die zwei begrenzten Karten also als getrennte GPUs.

Ein Herstellerdokument mit einer 450-W-Option für vier oder acht H200 NVL, vergleichbar mit dem auf 450 W begrenzten Bauteil der Server Edition, das Lenovo anbietet, haben wir nicht gefunden. Für jeden anderen Server entscheidet die GPU-Konfigurationsmatrix des Herstellers für das genaue Modell und den Steckplatz; unsere Liste der H200-NVL-kompatiblen Server nennt die Dokumente je Hersteller. Wir liefern die Karten für solche Server und bauen eigene Server mit zwei bis acht davon; senden Sie uns das Servermodell und die geplanten Steckplätze, und wir prüfen Kabel, Strom und Kühlung vor der Bestellung.

Was über die Kosten von 450 W veröffentlicht ist

Drei veröffentlichte Quellen berühren die Frage, keine beantwortet sie für diese Karte direkt.

StorageReviews Rangliste der Enterprise-GPUs, veröffentlicht am 14. Oktober 2026 und geändert am 20. Oktober, testete eine H200 NVL mit 450 W, laut StorageReview „the most a Dell PowerEdge R770 GPU slot delivers“, mit NVIDIAs Container NGC vLLM 26.08 (vLLM 0.27.1, CUDA 13.4.1) und Treiber 595.71.05. Dort heißt es: „The card is rated to 600W, and we have not run it there, so its figures on this page are a floor.“

StorageReview, Best Enterprise GPUs (14. Oktober 2026, geändert am 20. Oktober 2026), eine H200 NVL mit 450 W, Ministral 3 14B in FP8 für die Chat-Zeilen, gelesen am 24. Oktober 2026.

Auch begrenzt lag die Karte bei 32 Streams auf drei FP8- und BF16-Modellen 50 bis 81 Prozent vor einer RTX PRO 6000 Workstation Edition mit 600 W und bei einem NVFP4-Modell hinter ihr, 467 gegen 616 Token pro Sekunde, weil Hopper keine FP4-Arithmetik hat. StorageReview stellte außerdem fest, dass sie als einzige Karte der Rangliste über 32 Streams hinaus weiter skalierte.

Das MLPerf®-Ergebnis der H200 NVL lief mit 600 W. Jede Systembeschreibung der Runde, die eine Leistungsaufnahme nennt, gibt 600 W an, wie unsere H200 NVL Benchmarks festhalten. In MLPerf® Inference: Datacenter v6.0, Closed Division, Llama 2 70B (llama2-70b-99), Offline-Szenario, erreichte Dells PowerEdge XE7740 mit acht H200 NVL 32.004,0 Token pro Sekunde, Eintrag 6.0-0021, abgerufen von mlcommons.org am 24. September 2026, Ergebnis verifiziert durch die MLCommons Association: rund 4.000 je Karte, unsere Division des Systemergebnisses, keine MLPerf-Kennzahl. Modell, Software und Last unterscheiden sich von StorageReviews Tests, aus beiden lassen sich die Kosten der Grenze daher nicht ableiten. The MLPerf name and logo are registered and unregistered trademarks of MLCommons Association in the United States and other countries. All rights reserved. Unauthorized use strictly prohibited. See www.mlcommons.org for more information.

Für die RTX PRO 6000 Workstation Edition hat StorageReview beide Stufen gemessen und mit 450 W einen Verlust von 2 bis 5 Prozent bei kurzem und 4 bis 9 Prozent bei langem Kontext gefunden. Diese Karte hat einen anderen Chip und GDDR7-Speicher, daher übertragen wir den Wert nicht auf die H200 NVL.

Die Quellen erlauben eine Einschätzung, wo die Grenze greifen kann. Eine Grenze wirkt nur, wenn die Karte mehr ziehen würde als die Grenze. In der Studie Watt Counts vom April 2026 zog, wie unser Leitfaden zum GPU-Energieverbrauch pro Token festhält, eine H200 NVL, die Modelle mit 20B bis 27B Parametern über vLLM bediente, bei niedriger Last im Mittel 131,5 W und bei hoher Last 336,7 W, also unter 450 W. Die Token-Erzeugung bei mäßiger Parallelität ist vor allem durch die Speicherbandbreite begrenzt, die eine Leistungsgrenze nicht ändert. Arbeit, die die Tensor-Cores auslastet, etwa Prefill langer Prompts, große Batches, Fine-Tuning und FP64-Solver, zieht am meisten Strom und verliert zuerst Takt. Messen Sie hier, bevor Sie entscheiden.

kW je Server mit 600 W und mit 450 W

Unsere Schätzung: Leistungsaufnahme der Karten aus NVIDIAs Product Brief; zwei AMD EPYC 9355 zu je 280 W für zwei und vier Karten, zwei EPYC 9555 zu je 360 W für acht; plus 15 Prozent für Arbeitsspeicher, Laufwerke, Netzwerkkarten, Lüfter und Wandlungsverluste.

Wir planen je Anschluss 80 Prozent des Nennwerts ein: 2,94 kW für 230 V mit 16 A, 5,89 kW für 32 A und 8,87 kW für Drehstrom mit 400 V und 16 A, wie in unserem Leitfaden zum Stromanschluss für GPU-Server mit 16 A, 32 A und Drehstrom. Nach unserer Schätzung kommen zwei Konfigurationen mit der Grenze an einem kleineren Anschluss aus. Ein Server mit vier Karten liegt bei 600 W mit rund 3,4 kW über einem 16-A-Anschluss, bei 450 W mit rund 2,7 kW darunter. Ein Server mit acht Karten braucht bei 600 W einen Rackplatz mit Drehstrom, bei 450 W passt er mit rund 5,0 kW an einen einphasigen 32-A-Anschluss. Ein Server mit zwei Karten passt in beiden Fällen an einen 16-A-Anschluss.

Die Netzteile folgen den Regeln des Herstellers für die Karte, die sich mit einer Grenze nicht ändern. HPE verlangt 2.400- oder 3.200-W-Netzteile, sobald die H200 NVL im DL380a Gen12 konfiguriert ist, und Dells 3.200-W-Netzteil für den XE7740 liefert bei 220,1 bis 240 V 3.200 W und bei 200 bis 220 V 2.900 W. Eine in band gesetzte Grenze entfällt außerdem nach einem Neuladen des Treibers, bis sie wieder gesetzt wird; wir legen den Anschluss daher nur dann auf den begrenzten Wert aus, wenn die Grenze out of band oder durch einen Dienst beim Start gesetzt wird, und eine Messung am gelieferten System bestätigt den Wert. Der Kühlbedarf sinkt mit der Grenze bei rund 160 CFM Luft je kW, nach unserem Leitfaden zu Strom und Kühlung im GPU-Rack.

Wann die H200 NVL mit 450 W laufen sollte

Betreiben Sie die Karte mit 600 W, wo Anschluss und Gehäuse es erlauben, besonders für Fine-Tuning, Prefill langer Kontexte, Inferenz mit großen Batches und FP64-Arbeit, wo die Karte am meisten zieht. Nutzen Sie 450 W, wo es über die Installation entscheidet: ein Server mit vier Karten an einem 16-A-Anschluss, ein Server mit acht Karten an einem einphasigen 32-A-Anschluss oder ein 2U-Server, dessen Hersteller die Karte begrenzt, wie der R770. Für Chat- und RAG-Dienste bei mäßiger Parallelität legt die veröffentlichte Leistungsaufnahme unter Last nahe, dass die Grenze oft nicht greift; den Ausschlag gibt aber nur ein Lauf Ihres eigenen Modells mit beiden Einstellungen, und eine Messung am gelieferten System bestätigt oder korrigiert unsere Leistungsschätzung. Wir legen Leistungsstufe, Anschluss und Gehäuse gemeinsam aus; nennen Sie uns den Anschluss je Rackplatz und die Arbeitslast, und unser Team antwortet mit einer Konfiguration und der Leistung je Anschluss. Die vollständige Auslegung je Kartenzahl steht in unseren Leitfäden zum Server mit 2× H200 NVL, zum Server mit 4× H200 NVL und zum Server mit 8× H200 NVL.

Was wir liefern

Sie können dieses System bei uns kaufen: Unser Team legt die Konfiguration nach Ihrer Arbeitslast und Ihrem Budget aus und antwortet innerhalb eines Werktages. Wir liefern die H200 NVL als Karten mit ihren NVLink-Brücken und den Stromkabeln, die der Serverhersteller nennt, und bauen KI-Server auf Bestellung mit zwei, vier oder acht Karten mit 600 W oder mit einer Grenze auf der Stufe, die Ihr Anschluss braucht, vor der Lieferung montiert und getestet, mit einem EU-Vertrag und einer EU-Rechnung und mit Herstellergarantie auf jede Komponente. Laut NVIDIAs Licensing Guide enthält jede Karte ein Abonnement für NVIDIA AI Enterprise über fünf Jahre.

FAQ