NVIDIA H200 NVL technische Daten: TFLOPS je Genauigkeit, 141 GB HBM3e, Strom, NVLink, MIG

Technische Daten der H200 NVL im Überblick

Die NVIDIA H200 NVL ist die PCIe-Version der H200: 141 GB HBM3e mit 4,8 TB/s auf einer Karte mit zwei Slots in voller Höhe und voller Länge, passiv gekühlt, mit bis zu 600 W Leistungsaufnahme. Bis zu vier Karten verbindet eine NVLink-Brücke mit 900 GB/s je GPU, und Server nehmen bis zu acht auf. NVIDIA nennt 3.341 TFLOPS FP8 und 1.671 BF16 mit Sparsity, 30 TFLOPS FP64 und keine FP4-Rate.

NVIDIA-Produktseite der H200 (aktualisiert am 27. August 2026, gekennzeichnet als „Preliminary specifications“), NVIDIA H200 NVL Product Brief PB-12128-001_v01 (11. April 2025) und NVIDIAs CUDA-GPU-Liste (16. Oktober 2026), gelesen am 24. Oktober 2026.

NVIDIAs H200-Seite zeigt die NVL- und die SXM-Version nebeneinander und kennzeichnet die ganze Tabelle als vorläufige Angaben, die sich ändern können. Der Product Brief, ein technisches Dokument für Serverhersteller, ergänzt Takte, Leistungsmodi sowie mechanische und thermische Daten. Diese Seite führt beides zusammen; Benchmarks der Karte stehen in unserem Artikel zu den Benchmarks der H200 NVL.

TFLOPS je Genauigkeit: mit und ohne Sparsity

Jeden Tensor-Core-Wert auf der H200-Seite versieht NVIDIA mit der Fußnote „With sparsity“. Diese Rate setzt Gewichte voraus, die auf ein 2:4-Muster ausgedünnt sind; gewöhnliche Modellgewichte laufen mit der dichten Rate, der Hälfte davon. Die Werte für FP64 und FP32 tragen diese Fußnote nicht.

NVIDIA-Produktseite der H200, Spalte H200 NVL, Fußnote 2 „With sparsity“, gelesen am 24. Oktober 2026; die dichten Werte sind die angegebenen Werte mit Sparsity halbiert.

Für die häufig gesuchte Genauigkeit BF16 heißt das: 1.671 TFLOPS mit Sparsity, 835,5 dicht. Die SXM-Version in derselben Tabelle nennt 1.979 und 3.958 TFLOPS für BF16 und FP8 bei bis zu 700 W, rund 18 Prozent mehr als die NVL, wie unser Vergleich H200 NVL gegen H200 SXM erklärt. Unser Vergleich der GPU-TFLOPS in FP4, FP8 und BF16 stellt diese Raten neben die RTX-PRO-Karten.

Bei FP64 hebt sich die H200 NVL von den RTX-PRO-Karten ab: 30 TFLOPS, auf den Tensor Cores 60, für Simulationscodes, die doppelte Genauigkeit brauchen. Welche Codes das sind, beschreibt unsere Seite zu FP64-GPU-Servern.

FP4 auf der H200 NVL

NVIDIAs Tabelle nennt für die H200 NVL keine FP4-Rate, und die Support-Matrix von NVIDIAs Transformer Engine 2.22 führt für Hopper (Compute Capability 9.0) BF16, FP8 mit Skalierung je Tensor und FP8 mit Blockskalierung, MXFP8 und NVFP4 dagegen als nicht unterstützt. Die H200 NVL rechnet also nicht in FP4; FP8 ist ihre niedrigste Tensor-Core-Genauigkeit. Ein FP4-Checkpoint läuft trotzdem: vLLM lädt ihn und rechnet in 16 Bit, was Speicher spart, aber keine Rechenleistung, wie unser Artikel zu FP4-Modellen auf H200 NVL und Ada-GPUs mit den Engines und ihren Grenzen erklärt.

Speicher: 141 GB HBM3e, 140,4 GiB in nvidia-smi

Der Product Brief nennt 141 GB HBM3e, einen Speichertakt von 3.201 MHz, eine Spitzenbandbreite von 4.813 GB/s und ECC als aktiviert. NVIDIAs Blog vom 18. November 2024 beziffert das auf das 1,5-Fache des Speichers und das 1,2-Fache der Bandbreite der H100 NVL. Die Produktseite rundet die Bandbreite auf 4,8 TB/s; wir planen mit diesem niedrigeren Wert. Der Treiber meldet 140,4 GiB.

Nach unserer Regel für Nutzer je Karte, 90 Prozent davon abzüglich 3 GiB, nehmen je Karte 123,4 GiB Gewichte und KV-Cache auf. Llama 3.3 70B in FP8 mit 67,7 GiB Gewichten lässt dann auf einer Karte Platz für 44 Gespräche mit 8K und FP8-KV-Cache. Die Bandbreite begrenzt das Tempo eines einzelnen Token-Stroms: Bei rund 70,6 GB, die dieses Modell je Token liest, ergeben sich nach unserer Rechnung etwa 68 Token pro Sekunde, eine Obergrenze, unter der echte Läufe bleiben. Unser Vergleich der GPU-Speicherbandbreite stellt HBM3e neben GDDR7.

Compute Capability, Takt und Zahl der SMs

NVIDIAs CUDA-GPU-Liste, Stand 16. Oktober 2026, gibt der H200 Compute Capability 9.0, in einer Zeile mit H100 und GH200 und ohne eigenen Eintrag für die NVL. Der Product Brief nennt 1.230 MHz Basistakt und 1.785 MHz Boost-Takt.

Eine SM-Zahl der H200 NVL steht weder auf der Produktseite noch im Product Brief. NVIDIAs MIG User Guide beschreibt die Profile der Karte in Siebteln ihrer Streaming-Multiprozessoren, eine Instanz 1g.18gb hat also ein Siebtel davon, nennt aber keine Gesamtzahl. Werte aus Datenbanken Dritter stammen nicht von NVIDIA, und wir lassen sie weg.

Strom: standardmäßig 600 W, 200 W Minimum

Der Product Brief nennt 600 W als maximale und standardmäßige Leistungsaufnahme und 200 W als Minimum. Die Karte hat einen 16-Pin-Anschluss, der für den 600-W-Modus verkabelt sein muss: Die Karte prüft die Sense-Pins und startet nicht an einem Kabel, das weniger als ihren Standardwert meldet, auch wenn eine niedrigere Grenze gesetzt ist. Ein niedrigeres Limit setzt man per Software oder über den Management-Controller des Servers, wie unser Artikel zur H200 NVL bei 450 W mit den Servern zeigt, die sie begrenzen.

NVIDIA Product Brief PB-12128-001_v01; Serverwerte nach unserer Schätzung wie in unserem Artikel zur H200 NVL bei 450 W: Karten plus zwei AMD EPYC 9355 (je 280 W) bei vier Karten oder zwei EPYC 9555 (je 360 W) bei acht, dazu 15 Prozent für den übrigen Server, durch eine Messung am gelieferten System zu bestätigen.

In seiner Ankündigung der H200 NVL zitiert NVIDIA eine Umfrage, nach der „roughly 70% of enterprise racks are 20kW and below and use air cooling“. Wir bauen H200-NVL-Server mit zwei, vier oder acht Karten; senden Sie uns Modelle, Nutzerzahl und den Stromanschluss am Rackplatz, und unser Team antwortet mit einer Konfiguration und ihrer Leistung je Anschluss.

NVLink-Brücken und PCIe

Jede H200 NVL hat 18 NVLink-Verbindungen und nimmt eine Brücke auf. Der Product Brief nennt zwei Brücken: eine 2-Slot-Brücke mit der Teilenummer 900-23945 für zwei Karten mit 900 GB/s und eine 4-Slot-Brücke, 900-23946, für vier Karten, angegeben mit 1.800 GB/s. NVIDIAs H200-Seite nennt für beide einen Wert, 900 GB/s je GPU, und der Brief sagt nicht, wie seine 1.800 GB/s für die Vierfachbrücke gezählt sind. Wir planen mit 900 GB/s je GPU, dem Wert, den beide Dokumente stützen. NVIDIAs Blog schreibt, NVLink sei „7x faster than fifth-generation PCIe“; mit 900 gegenüber 128 GB/s auf der H200-Seite ist das genau das Verhältnis.

NVIDIA-Produktseite der H200 und Product Brief PB-12128-001_v01, gelesen am 24. Oktober 2026.

Mit Vierfachbrücken hat ein Server mit acht Karten zwei NVLink-Domänen zu je vier, verbunden über PCIe. Welche Brückenaufteilung welcher Serverhersteller zulässt, steht in unserer Liste der mit der H200 NVL kompatiblen Server, und was die zwei Domänen für ein großes Modell bedeuten, in unserem Leitfaden zur NVLink-Brücke der H200 NVL, 2-Wege oder 4-Wege.

Thermische und mechanische Daten

Die Karte hat einen passiven Kühlkörper, der Luft in beiden Richtungen durch den Server aufnimmt, laut Product Brief einen Betriebsbereich der Umgebungs­temperatur von 10 bis 45 °C und 1.217 g Platinengewicht ohne Slotblech und Brücke. Sie ist 10,5 Zoll lang, hat volle Bauhöhe und belegt zwei Slots. Ein Serverhersteller kann für sein Gehäuse eine niedrigere Einlassgrenze festlegen als den Bereich der Karte; unsere Liste kompatibler Server hält die Grenzen fest, die die Hersteller veröffentlichen.

MIG, vGPU und NVIDIA AI Enterprise

NVIDIAs MIG User Guide, aktualisiert am 13. Oktober 2026, nennt für das Produkt H200 141 GB diese Profile. NVIDIAs Produktseite nennt bis zu sieben Instanzen „@ 16.5GB“; der Leitfaden nennt das kleinste Profil 1g.18gb, ein Achtel des Speichers. Wir planen mit den Profilen des Leitfadens, denn diese legt der Treiber an.

NVIDIA MIG User Guide, unterstützte MIG-Profile, Tabelle H200 141GB, aktualisiert am 13. Oktober 2026, gelesen am 24. Oktober 2026; 1g.18gb+me (eine Instanz) nicht aufgeführt.

Virtuelle Maschinen erhalten die Karte über Compute-vGPU (C-Serie) unter NVIDIA AI Enterprise. Die Liste der vGPU-Typen von NVIDIA AI Enterprise 8, aktualisiert am 2. September 2026, nennt die „NVIDIA H200 PCIe 141 GB (H200 NVL)“ mit MIG-basierten Typen von H200-7-141C bis zu sieben H200-1-18C je GPU und zeitgeteilten Typen bis zu 32 H200-4C je GPU. NVIDIAs Liste der von der vGPU-Software unterstützten GPUs, aktualisiert am 2. Oktober 2026, enthält keine Hopper-GPU; laut ihrer Anmerkung sind GPUs, die nur Typen der C-Serie unterstützen, dort ab vGPU 16.0 nicht mehr geführt und „continue to be supported with NVIDIA AI Enterprise“. Die Typenliste kennzeichnet zwei H200-Typen als unter ESXi ab vSphere 8.0 Update 3 unterstützt und nennt keinen anderen Hypervisor; wir prüfen Hypervisor und Version daher an der Support-Matrix von NVIDIA AI Enterprise, bevor wir vGPU einplanen. Unsere MIG-Profile der H200 NVL und der Leitfaden GPUs in vSphere: Passthrough oder vGPU beschreiben die Einrichtung.

Die Lizenz gehört zur Karte. NVIDIAs Licensing Guide, aktualisiert am 2. September 2026, schreibt: „Each NVIDIA H200 NVL Tensor Core GPU includes a five-year NVIDIA AI Enterprise subscription.“ Das Abonnement beginnt mit dem Versanddatum der Karte an den Serverhersteller plus 90 Tage; dieses Startdatum lässt sich laut Guide nicht ändern („cannot be modified, as it is tied to the specific card“). Aktiviert wird das Abonnement mit der Seriennummer der GPU, und es gilt für das NVIDIA-Certified System, in dem die Karte steckt. Unser Artikel zur Lizenzierung von NVIDIA AI Enterprise erklärt die Editionen.

H200 NVL und H200 SXM in NVIDIAs Tabelle

NVIDIA führt beide Versionen der H200 in einer Tabelle, und viele veröffentlichte Datenblätter vermischen ihre Spalten. Das SXM-Modul sitzt auf einer HGX-Platine mit NVLink-Switches, die NVL ist eine PCIe-Karte mit Brücken. Der Speicher ist gleich, Rechenleistung und Strom sind es nicht.

NVIDIA-Produktseite der H200, aktualisiert am 27. August 2026, „Preliminary specifications“, gelesen am 24. Oktober 2026.

Ein Wert von 3.958 TFLOPS, 700 W oder „4 oder 8 GPUs“ in einem Datenblatt gehört also zur SXM-Version. Für die NVL nennt NVIDIA Serveroptionen mit bis zu acht GPUs in MGX- und NVIDIA-Certified-Systemen, für die SXM-HGX-Platinen vier oder acht. Was die kürzere NVLink-Reichweite der Brücken für ein Modell über acht Karten bedeutet, behandelt unser Vergleich H200 NVL gegen H200 SXM.

Treiber, Sicherheit und Marktstart

NVIDIA Product Brief PB-12128-001_v01; NVIDIA-Blog „Hopper H200 NVL“, 18. November 2024; gelesen am 24. Oktober 2026.

NVIDIA kündigte die H200 NVL am 18. November 2024 an und schrieb, Plattformen damit „will be available from NVIDIA's global systems partners beginning in December“. Gegenüber der H100 NVL nennt NVIDIA bis zum 1,7-Fachen bei der LLM-Inferenz und das 1,3-Fache bei HPC; unser Vergleich H200 NVL gegen H100 NVL prüft diese Werte und ihre Bedingungen.

Was wir liefern

Sie können die H200 NVL bei uns kaufen: Unser Team legt die Konfiguration passend zu Ihrer Aufgabe und Ihrem Budget aus und antwortet innerhalb eines Werktages. Wir liefern die Karten in der ganzen EU, mit NVLink-Brücken, und bauen KI-Server nach Auftrag mit zwei, vier oder acht H200 NVL, vor der Lieferung montiert und getestet, mit einem EU-Vertrag und einer Rechnung und mit Herstellergarantie auf jede Komponente. Mengen und Lieferzeit werden mit dem Angebot schriftlich bestätigt; unser Leitfaden zum Kauf der H200 NVL in der EU erklärt die Schritte. Fordern Sie eine H200-NVL-Konfiguration an, mit Ihrem Servermodell oder Ihrer Aufgabe, und wir prüfen Brücken, Kabel und Einlassgrenzen vor dem Angebot.

FAQ