H200 NVL für große LLMs: wie viele Karten je Modell und wie sie verbunden werden

NVLink-Brücken verbinden bis zu vier H200-NVL-Karten

Die H200 NVL ist eine luftgekühlte PCIe-Karte im Dual-Slot-Format mit 141 GB HBM3e bei 4,8 TB/s und einer konfigurierbaren Leistungsgrenze von bis zu 600 W. Über ihre NVLink-Brücken lässt sich ein Modell auf bis zu vier Karten verteilen, schneller als über PCIe. Brücken für zwei oder vier Karten verbinden diese mit 900 GB/s je GPU, gegenüber 128 GB/s bei PCIe Gen5; NVIDIA fasst das als GPU-zu-GPU-Kommunikation zusammen, die „7-mal schneller als PCIe der fünften Generation“ ist. NVIDIAs Referenzarchitektur nennt die Größe dieser Domäne, „bis zu vier über NVIDIA NVLink verbundene GPUs“, und den Speicher, den sie bündelt: „der kombinierte H200-GPU-Speicher beträgt 564 GB“.

NVIDIA nennt Partnerserver mit bis zu acht Karten. Wie die Brücken angeordnet sind, dokumentieren die Serverhersteller. Dells Technical Guide zum PowerEdge XE7740 (Rev. A04, April 2026) sieht für vier Karten eine 4-Wege-Brücke vor und für acht Karten zwei. Ciscos Spec Sheet zum UCS C845A M8 (Rev. A.11, 11. Mai 2026) erlaubt acht Karten als zwei 4-Wege- oder vier 2-Wege-Brücken, jede voll bestückt. Acht Karten bilden also zwei Domänen zu je vier Karten, die untereinander über PCIe verbunden sind; unser Leitfaden dazu, was ein Server mit 8× H200 NVL ausführt, dimensioniert diese Anordnung Modell für Modell. Von dieser Anordnung geht dieser Artikel bei der Dimensionierung aus. Jede Karte wird außerdem mit einem fünfjährigen Abonnement von NVIDIA AI Enterprise ausgeliefert, das NIM-Microservices und den Support von NVIDIA umfasst; Open-Source-Laufzeitumgebungen wie TensorRT-LLM und vLLM laufen auch ohne dieses Abonnement, wie unser Artikel zur Lizenzierung erklärt.

H200 NVL und NVFP4: FP8 und INT4, keine FP4-Arithmetik

Hopper hat FP8 in die Tensor-Kerne gebracht; FP4 kam mit Blackwell. NVIDIAs Dokumentation zu TensorRT-LLM stellt ausdrücklich fest, dass „NVFP4 nur auf NVIDIA Blackwell unterstützt wird“, und ihre Quantisierungsmatrix führt für Hopper weder NVFP4 noch MXFP4. Hopper verarbeitet FP8 in mehreren Skalierungsverfahren sowie 4-Bit-Integer-Gewichte über AWQ und GPTQ, entweder mit 16-Bit-Aktivierungen (W4A16) oder mit FP8-Aktivierungen (W4A8).

Das ist für die Dimensionierung wichtig, denn hinter einer 4-Bit-Größe auf einer Model Card steckt oft NVFP4, das nur Blackwell nativ ausführt. Die NVFP4-Version von Qwen3-235B hat 134 GB, was eine einzige H200 NVL nahelegen würde, doch TensorRT-LLM unterstützt NVFP4 auf Hopper nicht, und vLLM führt es dort nur Weight-only aus (W4A16): Die Gewichte behalten im Speicher ihre 4-Bit-Größe, gerechnet wird aber mit 16 Bit, was laut der Dokumentation von vLLM den Durchsatz bei rechenintensiven Arbeitslasten verringern kann. Für das Serving auf Hopper dimensionieren Sie nach dem FP8-Checkpoint des Release -2507 mit 236 GB oder nach einer INT4-Version mit AWQ oder GPTQ, sofern es für das Modell eine gibt und ihre Genauigkeit akzeptabel ist. NVIDIAs eigenes Rezept für DeepSeek-R1 mit TensorRT-LLM nutzt auf Hopper den FP8-Checkpoint und behält den FP4-Checkpoint Blackwell vor. Welche FP4-Modelle auf Hopper und Ada laufen und wie, zeigt unser Leitfaden zu FP4-Modellen auf H200 NVL und Ada-GPUs.

Wie viele Karten jedes Modell für seine Gewichte braucht

Model Cards und Repository-Größen auf Hugging Face, September und Oktober 2026; der FP8-Wert für Llama 3.1 405B ist unsere Summe aus den Parametertypen des Checkpoints. „Karten“ ist die kleinste der Konfigurationen von NVIDIA mit einer, zwei, vier oder acht Karten, die die Gewichte nach unserer Regel für Nutzer pro Karte fasst: 0,9 × die 140,4 GiB, die der Treiber meldet, abzüglich 3 GiB je Karte, also 123,4, 246,7, 493,4 oder 986,9 GiB; der Rest bleibt für den KV-Cache. Kimi-K2.6 und DeepSeek-V3.2 nutzen Multi-Head Latent Attention; bei Tensor-Parallelität in vLLM hält daher jede Karte den vollständigen KV-Cache jeder Unterhaltung, und dieser Cache muss in die Reserve einer einzelnen Karte passen, sofern ihn nicht Decode Context Parallelism (-dcp) auf die Karten verteilt.

gpt-oss-120b ist die Ausnahme von der FP4-Regel, denn seine MXFP4-Gewichte laufen auch auf Hopper: OpenAI gibt an, dass es auf einer einzelnen GPU mit 80 GB wie der H100 läuft, und NVIDIAs Performance-Tabelle für TensorRT-LLM führt es auf einer H200 in FP8. Eine Karte genügt so oder so, und es bleibt Platz für seinen Cache.

KV-Cache und Kontext zusätzlich zu den Gewichten

Die Gewichte sind nur ein Teil des Speichers, den ein Modell braucht. Für jeden Nutzer in einem Gespräch liegt ein KV-Cache auf den Karten, und bei langen Kontexten wächst der Cache schnell über den freien Speicher hinaus. Zwei Modellanbieter beziffern das. Die Hardwaretabelle von GLM zu GLM-4.5 nennt vier H200 als Minimum in FP8 und acht für den vollen Kontext von 128K Token, unter ausdrücklich genannten Bedingungen: spekulatives Dekodieren, Batches von bis zu acht und mehr als 1 TB Serverspeicher. Qwen gibt an, dass Qwen3-235B-A22B-2507 insgesamt etwa 1.000 GB GPU-Speicher braucht, um einen Kontext von einer Million Token zu nutzen.

Unser 70B-Rechenbeispiel zeigt die Methode an einem kleineren Modell: Gewichte, dann Cache je Token mal Kontext mal Nutzer, dann eine Reserve für die Laufzeitumgebung. Wir rechnen hier mit unserer Regel für Nutzer pro Karte: 90 Prozent des Speichers, den der Treiber meldet, abzüglich 3 GiB je Karte und der Gewichte. Bei Llama 3.1 405B in FP8 melden die vier Karten einer Domäne dem Treiber zusammen 561,6 GiB, nutzbar sind also 493,4 GiB. Die Gewichte belegen etwa 487 GB oder 454 GiB, sodass etwa 40 GiB für den Cache bleiben. Bei 252 KiB je Token in FP8 sind das etwa 166.000 Token oder fünf Gespräche mit 32.000 Token. Um ein größeres Team zu bedienen, braucht es meist die zweite Domäne.

Nach derselben Methode dimensionieren wir H200-NVL-Server. Nennen Sie uns das Modell und die Zahl gleichzeitiger Nutzer, und wir antworten innerhalb eines Werktages mit Konfiguration und Angebot.

Ein Modell über zwei NVLink-Domänen

Innerhalb einer Domäne aus vier Karten können die Karten jede Schicht über NVLink untereinander aufteilen (Tensor-Parallelismus). Zwischen den beiden Domänen eines Servers mit acht Karten läuft der Verkehr über PCIe mit einem Siebtel dieser Bandbreite, deshalb teilt eine gängige Anordnung das Modell stattdessen in Stufen auf (Pipeline-Parallelismus), wobei jede Stufe auf einer NVLink-Domäne liegt. Die Dokumentation von vLLM beschreibt dieselbe Aufteilung über Server hinweg, mit Tensor-Parallelismus innerhalb jedes Servers und Pipeline-Parallelismus zwischen ihnen. Diese Anordnung funktioniert, erhöht aber im Vergleich zu einer großen NVLink-Domäne die Latenz je Token etwas.

Deshalb lassen sich auch NVIDIAs veröffentlichte Zahlen für diese Modelle nicht direkt übertragen. NVIDIAs Performance-Übersicht für TensorRT-LLM (Version 1.3.0rc29, aktualisiert am 26. September 2026) meldet für Qwen3 235B in FP8 auf vier H200 einen Durchsatz von 3.268 Ausgabe-Token pro Sekunde und GPU, bei Prompts und Antworten von 1.024 Token, und für DeepSeek R1 in FP8 auf acht GPUs 1.620 je GPU. Das sind H200-SXM-GPUs mit 700 W in einem DGX H200, in dem sich alle acht eine NVLink-Domäne teilen. Der Wert für vier GPUs lässt sich besser auf eine H200-NVL-Domäne übertragen als der Wert für acht GPUs auf einen Server mit zwei Domänen. Für die H200 NVL selbst stammen die veröffentlichten Ergebnisse mit mehreren Karten aus MLPerf®-Benchmarks. In MLPerf® Inference v6.0, veröffentlicht im April 2026, verarbeitete ein Dell PowerEdge XE7740 mit acht H200 NVL mit Llama 2 70B, Variante mit 99 Prozent Genauigkeit, im Offline-Szenario insgesamt 32.004 Token pro Sekunde (Kategorie Datacenter, Closed Division, Eintrag 6.0-0021, abgerufen von mlcommons.org am 24. September 2026, Ergebnis von der MLCommons Association verifiziert). Das sind nach unserer Rechnung, Systemergebnis geteilt durch die Zahl der GPUs, etwa 4.000 je Karte; das ist keine MLPerf®-Metrik.

The MLPerf name and logo are registered and unregistered trademarks of MLCommons Association in the United States and other countries. All rights reserved. Unauthorized use strictly prohibited. See www.mlcommons.org for more information.

H200-NVL-Konfigurationen: eine, zwei, vier oder acht Karten

Der Speicher ist die Summe aus 141 GB je Karte; Zweifach- und Vierfach-Brücken laut NVIDIAs Spezifikationen der H200 NVL; zwei Vierfach-Domänen in einem Server mit acht Karten laut Dells Technical Guide zum PowerEdge XE7740 (Rev. A04) und Ciscos Spec Sheet zum UCS C845A M8 (Rev. A.11), gelesen am 24. Oktober 2026.

Der Server für acht Karten ist eine Maschine mit 3U bis 5U und acht doppelt breiten PCIe-Steckplätzen, die jeweils für 600 W ausgelegt sind, etwa Dells PowerEdge XE7740 mit 4U, Lenovos ThinkSystem SR675 V3 mit 3U (in der Ausführung mit AMD-EPYC-Prozessoren der 5. Generation) oder Supermicros SYS-521GE-TNRT mit 5U. Acht Karten mit 600 W ziehen 4,8 kW, bevor Prozessoren, Arbeitsspeicher und Lüfter hinzukommen, womit für den ganzen Server ein einphasiger 16-A-Stromkreis mit etwa 3,7 kW nicht mehr ausreicht; unser Artikel dazu, wie viele GPUs in einen Server passen, behandelt Strom und Luftstrom. Bestellen Sie die NVLink-Brücken zusammen mit den Karten; HPEs QuickSpecs für den ProLiant DL380a Gen12 halten fest, dass die 2-Wege- und 4-Wege-Brücken für die H200 NVL nur mit H200-NVL-GPUs unterstützt werden und die Konfiguration mit zehn doppelt breiten Karten keine Brücken unterstützt; gebrückt sind dort also höchstens acht Karten.

Wenn Sie den ganzen Server brauchen, bauen wir ihn nach Auftrag um die H200 NVL und ihre Brücken herum und prüfen Rack, Strom und Luftstrom, bevor wir ein Angebot erstellen. Schicken Sie uns den Rack-Standort und die Absicherung seines Stromkreises.

Wann die H200 NVL nicht die richtige Karte ist

Für Modelle, die nativ in FP4 veröffentlicht werden, etwa die Expertengewichte von DeepSeek-V4-Flash (den Nachfolger V4.1-Flash-1017 vom 17. Oktober 2026, etwa 510 GB, dimensioniert unser Leitfaden zur DeepSeek-Hardware), hat Hopper keinen nativen Pfad, und Blackwell-Karten passen besser: die RTX PRO 6000 mit NVFP4 über PCIe oder ein DGX B300 mit 2,1 TB HBM3e in einer NVLink-Domäne, den unser B300-Vergleich behandelt. Jenseits von etwa 1 TB Gewichten lassen acht H200 NVL wenig Platz für den Cache, den das Serving braucht. Bei einem 70B-Modell ist zwischen einer H200 NVL und zwei RTX PRO 6000 zu wählen; unser 70B-Rechenbeispiel rechnet beide Varianten durch. Wo ein NVFP4-Checkpoint existiert, ist ein Server mit vier Karten der RTX PRO 6000 Server Edition, 384 GB mit FP4-Tensor-Kernen, die Alternative zu vier gekoppelten H200 NVL; Qwen3-235B in NVFP4 (134 GB) passt auf zwei seiner Karten, und unser Inferenz-Knoten ist so aufgebaut.

Was wir liefern

Wir liefern die NVIDIA H200 NVL mit ihren Zweifach- und Vierfach-NVLink-Brücken, als Karten für einen Server, den Sie bereits betreiben, oder in einem nach Auftrag gebauten KI-Server, EU-weit mit Herstellergarantie, unter einem EU-Vertrag und auf einer Rechnung. Jede Karte kommt mit ihrem fünfjährigen Abonnement von NVIDIA AI Enterprise. Schicken Sie uns das Modell und den Kontext, den Sie brauchen, und wir nennen Ihnen die Kartenzahl, die Anordnung der Brücken und das Leistungsbudget; bei einem Server, den Sie bereits betreiben, prüfen wir vor Ihrer Bestellung auch Strom und Luftstrom.

FAQ