Server mit 4× NVIDIA H200 NVL: 564 GB in einer NVLink-Domäne, Modelle, Nutzer, Strom

Vier H200 NVL in einem Server: 564 GB in einer NVLink-Domäne

Ein Server mit vier NVIDIA H200 NVL und einer 4-Wege-NVLink-Brücke hat 564 GB HBM3e in einer einzigen NVLink-Domäne; davon stehen nach unserer Regel für Nutzer je Karte 493,4 GiB für Modellgewichte und KV-Cache zur Verfügung. Damit laufen Llama 3.3 70B in FP8 mit bis zu 340 gleichzeitigen Gesprächen zu je 8K, gpt-oss-120b mit 384 Gesprächen zu je 32K oder eine Kopie eines Modells der 400B-Klasse wie Llama 4 Maverick in FP8. Die vier Karten ziehen mit 600 W zusammen 2,4 kW, der ganze Server nach unserer Schätzung rund 3,4 kW.

Eine NVLink-Brücke verbindet höchstens vier H200 NVL. NVIDIAs Product Brief PB-12128-001 (April 2025) nennt je Karte 18 NVLink-Links und „a single wide NVLink bridge per card“, entweder eine 2-Slot-Brücke für zwei Karten oder eine 4-Slot-Brücke für vier. NVIDIAs H200-Seite nennt „2- or 4-way NVIDIA NVLink bridge: 900GB/s per GPU“ gegenüber 128 GB/s für PCIe Gen5; innerhalb der Domäne erreicht also jede Karte die anderen mit dem Siebenfachen der PCIe-Rate.

NVIDIAs H200-Seite und Product Brief PB-12128-001_v01 (11. April 2025), NVIDIAs MIG-Handbuch (13. Oktober 2026), gelesen am 24. Oktober 2026; 140,4 GiB ist der Speicher, den der Treiber meldet.

Unsere Regel für Nutzer je Karte nimmt 90 Prozent des vom Treiber gemeldeten Speichers und zieht je Karte 3 GiB für CUDA-Graphen und Aktivierungen ab: 0,9 × 140,4 − 3 = 123,36 GiB je Karte. Was nach den Gewichten übrig bleibt, ist KV-Cache. Die Herleitung steht in unserem Leitfaden wie viele Nutzer eine RTX PRO 6000 bedient, und dieselbe Regel liegt jeder Seite zur H200 NVL auf dieser Website zugrunde.

Welche Modelle in 493 GiB passen und was für den Cache bleibt

Hopper hat Tensor Cores für FP8 und keine FP4-Arithmetik, deshalb wird die H200 NVL mit Gewichten in FP8 oder INT4 ausgelegt. Ein für Blackwell gebauter NVFP4-Checkpoint läuft darauf in vLLM nur als Weight-only-Variante, mit Rechnung in 16 Bit, wie unser Leitfaden zu FP4-Modellen auf der H200 NVL erklärt. gpt-oss-120b ist die Ausnahme, denn seine MXFP4-Gewichte laufen auch auf Hopper.

Unsere Schätzung nach der Regel für Nutzer je Karte. Gewichte: Repositorys auf Hugging Face, gelesen am 24. Oktober 2026 (Llama 3.3 70B FP8, gpt-oss-120b, Qwen3-235B FP8, Llama 4 Maverick FP8 in 84 Teilen zu höchstens 4,99 GB); Llama 3.1 405B und DeepSeek-V3.2 aus unserem Leitfaden zu großen Modellen auf der H200 NVL.

Erst die Domäne macht die 400B-Klasse auf vier PCIe-Karten möglich. Llama 4 Maverick belegt rund 388 GiB der 493,4 GiB, Llama 3.1 405B rund 454 GiB; das lässt Platz für etwa fünf Gespräche mit 32K bei 252 KiB je Token im FP8-Cache. Ein solcher Server trägt ein großes Modell für ein kleines Team oder ein Modell der 70B- oder 235B-Klasse für ein großes. Unser Leitfaden wie viele H200 NVL große Modelle brauchen nennt weitere Modelle, und der Server mit acht H200 NVL behandelt DeepSeek-V3.2, GLM-5.3 und Kimi K2.

Nutzer je Aufteilung: vier Kopien, zwei Paare oder eine Kopie mit TP=4

Vier Karten können ein Modell auf drei Arten betreiben. Vier Kopien, eine je Karte, tauschen untereinander nichts aus. Zwei Paare teilen jede Kopie mit Tensor-Parallelität auf zwei Karten auf (TP=2). Eine Kopie reicht über alle vier (TP=4). Jede Kopie speichert ihre eigenen Gewichte; weniger Kopien lassen also mehr Speicher für Gespräche, und innerhalb einer NVLink-Domäne kostet die Aufteilung weit weniger als über PCIe.

Unsere Schätzung nach der Regel für Nutzer je Karte, gleichzeitige Gespräche in voller Kontextlänge; 70B ist Llama 3.3 70B in FP8, Qwen3-235B der FP8-Checkpoint, gpt-oss-120b mit 16-Bit-Cache. Cache je Gespräch: Llama 3.3 70B 2,5 GiB (16 Bit) oder 1,25 GiB (FP8) bei 8.192 Token; gpt-oss-120b 1,125 GiB bei 32K; Qwen3-235B 188 KiB je Token in 16 Bit, 5,9 GiB bei 32K, aus seiner config.json.

Für die TP=4-Spalte von Llama 3.3 70B halten vier Karten 493,4 GiB; abzüglich 67,7 GiB Gewichte bleiben 425,7 GiB, also 170 Gespräche zu 2,5 GiB oder 340 zu 1,25 GiB. Eine Karte allein lässt 55,7 GiB, 22 oder 44 Gespräche. Gezählt sind Anfragen, die im selben Moment laufen; das Gateway eines Unternehmens zeigt diese Zahl zur Hauptlastzeit. 1.000 Beschäftigte mit einem Assistenten in jedem Browser erzeugen weit weniger gleichzeitige Anfragen.

Die Geschwindigkeit je Nutzer folgt der Bandbreite. Nach unserer Schätzung gibt eine Karte, die je Token 70,6 GB FP8-Gewichte liest, einem einzelnen Nutzer bei 4,8 TB/s höchstens 68 Token pro Sekunde; über vier Karten verteilt liest jede ein Viertel, was diese Obergrenze in Richtung 270 hebt, bevor der Austausch über NVLink gerechnet ist. Vier Kopien isolieren am besten, denn eine ausgefallene Karte nimmt nur ein Viertel des Dienstes mit. Eine Kopie mit TP=4 trägt die meisten Gespräche und liefert den schnellsten einzelnen Datenstrom. Wir bauen diesen Server mit der Brückenaufteilung, die Ihre Modelle brauchen; schicken Sie uns Modelle, Kontextlänge und die Höchstzahl gleichzeitig laufender Anfragen, und unser Team antwortet mit einer Konfiguration und den Zahlen für jede Aufteilung.

Eine 4-Wege-Brücke oder zwei 2-Wege-Brücken

Für vier Karten gibt es beide Varianten. Ciscos Spec Sheet zum UCS C845A M8 (Revision A.11, 11. Mai 2026) nennt für vier H200 NVL zwei 2-Wege-Brücken oder eine 4-Wege-Brücke und verlangt, dass jede Brücke voll bestückt ist. HPE führt für den ProLiant Compute DL380a Gen12 sowohl die 2-Wege-Brücke S4A90C als auch die 4-Wege-Brücke S4A91C. Dells Technical Guide zum PowerEdge XE7740 (Revision A04, April 2026) beschreibt eine 4-Wege-Brücke für vier Karten und zwei für acht.

Cisco UCS C845A M8 Spec Sheet A.11; HPE QuickSpecs DL380a Gen12; Dell Technical Guide XE7740 A04; NVIDIAs Product Brief PB-12128-001_v01, Abschnitt 4.5; Quelltext des Custom All-Reduce in vLLM und Release Notes zu vLLM 0.30.0 (22. September 2026), gelesen am 24. Oktober 2026.

NVIDIAs Product Brief schreibt, verbrückte Karten „should be within the same CPU domain“, und empfiehlt „the same (even) number of GPUs under each CPU socket“. NVIDIAs Referenzarchitektur sagt dasselbe: Paare unter demselben Prozessorsockel sind am besten, über Sockel hinweg „acceptable but not recommended“. In einem Server mit zwei Sockeln und zwei Karten je Prozessor folgen zwei 2-Wege-Paare dieser Empfehlung genau, während eine 4-Wege-Brücke beide Sockel überspannt. Dells Steckplatztabelle zeigt den Zielkonflikt: Die ersten vier Karten kommen in die Steckplätze 25, 27, 29 und 31, und laut Leitfaden hängen die Steckplätze 21 bis 28 am ersten Prozessor und 29 bis 36 am zweiten. Nach unserer Lesart verbrückt ein XE7740 mit vier Karten also je zwei Karten unter jedem Prozessor, was derselbe Leitfaden als möglich, aber nicht empfohlen bezeichnet.

In der Praxis lohnt sich die 4-Wege-Brücke, wenn eine Kopie mehr als 280 GiB braucht oder TP=4 das Custom All-Reduce von vLLM nutzen soll. Der Quelltext von vLLM aktiviert es auf mehr als zwei GPUs nur, wenn alle über NVLink vollständig verbunden sind, wie es die vier Karten an einer 4-Wege-Brücke nach unserer Lesart sind. Das ist das Standardverhalten: vLLM 0.30.0 (Release Notes vom 22. September 2026, #53576) hat für Systeme ohne NVLink ein optionales All-Reduce von FlashInfer über PCIe-IPC ergänzt. Zwei Paare passen zu einem Server, der zwei Modelle oder zwei Kopien eines Modells betreibt, das in 280 GiB passt. Unser Artikel zur H200 NVL NVLink-Brücke mit 2 oder 4 Wegen zeigt, wie man das Ergebnis mit nvidia-smi topo -m prüft.

2U oder 4U und Platz für acht Karten

Die H200 NVL ist eine passiv gekühlte, doppelt breite Karte in voller Länge mit 1.217 g, und sie läuft nur in einem Server, für den der Hersteller sie mit der gewünschten Brücke freigibt.

Supermicro-Produktseite; Lenovo Press LP2128 (20. Oktober 2026); Dell Technical Guide XE7740 A04; HPE QuickSpecs DL380a Gen12; Cisco UCS C845A M8 Spec Sheet A.11; gelesen am 24. Oktober 2026.

Die 2U-Variante ist eng. Supermicro führt vier doppelt breite Karten, darunter die H200 NVL, in einem 2U-Gehäuse mit einem Sockel und drei Netzteilen zu 2.000 W in 2+1, und seine Optionsliste zeigt einen GPU-Einschub für zwei Karten mit NVLink; nach unserer Lesart bilden vier Karten dort zwei Paare. NVIDIAs Leitfaden für zertifizierte Systeme verlangt mindestens zwei Sockel, was ein Server mit einem Sockel nicht erfüllt. Lenovos 2U-Server SR650a V4 führt zwei H200 NVL mit 600 W.

Ein 4U-Gehäuse für acht Karten ist der sicherere Start für vier. Karten, Brücken und Arbeitsspeicher bleiben; der Ausbau fügt vier Karten, eine zweite 4-Wege-Brücke oder zwei weitere Paare und Netzteile hinzu. HPE verlangt fünf Netzteile zu 2.400 oder 3.200 W für zwei oder vier doppelt breite GPUs und acht für acht; Dell führt 512 GB und 1 TB Arbeitsspeicher mit acht H200 NVL als nicht validiert und nennt für diese Konfiguration eine Grenze von 30 °C für die Zuluft. Da die Brücke benachbarte Steckplätze überspannt, fragen Sie den Hersteller vor der Bestellung, wie sich die Lage der Brücken von vier auf acht Karten ändert, wie es unser Leitfaden GPU später nachrüsten empfiehlt.

Prozessoren, Arbeitsspeicher und Netzwerk für vier Karten

Die drei veröffentlichten Regeln für den Arbeitsspeicher geben für vier Karten drei verschiedene Antworten.

NVIDIAs Referenzarchitektur, Compute Node Hardware; NVIDIA-Certified Configuration Guide (30. September 2026); HPE QuickSpecs DL380a Gen12; Cisco Spec Sheet A.11; gelesen am 24. Oktober 2026.

Wir legen H200-Server wie alle unsere KI-Server nach der 2×-Regel aus: Zwei AMD-EPYC-9005-Prozessoren haben 24 Speicherkanäle; 24 Module zu 48 GB ergeben also 1.152 GB, ein Modul je Kanal. Die 3×-Stufe passt zu Fine-Tuning mit CPU-Offload oder zu einem KV-Cache, der in den Arbeitsspeicher ausweicht; unser Leitfaden wie viel RAM ein GPU-Server braucht rechnet die Fälle durch.

NVIDIAs Referenzarchitektur verlangt mindestens sieben physische Kerne je GPU, zwei weitere je GPU für Betriebssystem oder Virtualisierung und zwei je MIG-Instanz. Vier Karten brauchen also 36 Kerne, mit allen 28 MIG-Instanzen 92; zwei EPYC 9355 mit je 32 Kernen kommen auf 64. Sie empfiehlt außerdem eine PCIe-Gen5-x16-Anbindung je GPU und mindestens 1 TB NVMe je Prozessorsockel für Inferenz, 2 TB für Training. Für das Netzwerk koppelt NVIDIAs Referenzdesign je zwei GPUs mit einer 400G-SuperNIC; ein Knoten mit vier Karten im Cluster bekommt also zwei. Ein Knoten, der nur Chat bedient, braucht 25 GbE für die Nutzer und eine schnellere Verbindung zum Modellspeicher.

Strom: 2,4 kW Karten an EU-Anschlüssen

NVIDIAs Product Brief nennt für die H200 NVL eine maximale Leistungsaufnahme von 600 W als Voreinstellung und 200 W als Minimum, mit einem 16-Pin-Anschluss; meldet das Kabel weniger als die voreingestellte Grenze, „the card will not boot“.

Unsere Schätzung: Leistungsaufnahme aus NVIDIAs Product Brief, 280 W je Prozessor für zwei AMD EPYC 9355, dazu 15 Prozent für Arbeitsspeicher, Laufwerke, Netzwerkkarten, Lüfter und Wandlungsverluste.

Mit 600 W liegt der Server über den 2,94 kW, die wir je einphasigem 230-V-Anschluss mit 16 A bei 80 Prozent einplanen; sein Rackplatz braucht also 32 A einphasig (5,89 kW geplant) oder einen Drehstromanschluss mit 400 V. Mit redundanten Netzteilen an einer A- und einer B-Einspeisung trägt jede Seite den ganzen Server, und eine Messung am gelieferten System bestätigt oder korrigiert unsere 15 Prozent. Rund 3,4 kW Wärme brauchen bei 11 °C Temperaturanstieg etwa 540 CFM Luft, nach den 160 CFM je kW aus unserem Leitfaden GPU-Rack: Strom und Kühlung. Unsere Seite zum Stromanschluss für GPU-Server mit 16 A, 32 A und Drehstrom behandelt die Stromkreise.

Eine Begrenzung auf 450 W hält den Server nach unserer Schätzung innerhalb eines Anschlusses mit 16 A; was sie an Durchsatz kostet, hat für diese Karte niemand veröffentlicht; unsere Seite zur H200 NVL mit 450 W sammelt, was bekannt ist. Wir prüfen Rack, Anschluss und Luftstrom, bevor wir ein Angebot machen; nennen Sie uns Anschlussart, A/B-Anforderung und Zulufttemperatur, und wir sagen, welcher Leistungsmodus und welches Gehäuse passen.

Veröffentlichte Messwerte zur H200 NVL

MLPerf® Inference v6.1 enthält keinen Eintrag mit H200 NVL. Das nächste veröffentlichte Systemergebnis hat acht Karten: In MLPerf® Inference: Datacenter v6.0, Closed Division, erreichte Dells PowerEdge XE7740 mit acht H200 NVL auf Llama 2 70B (llama2-70b-99) im Offline-Szenario 32.004,0 Token pro Sekunde, im Server-Szenario 29.084,9 und im Interactive-Szenario 16.343,8, Eintrag 6.0-0021, abgerufen von mlcommons.org am 24. September 2026, Ergebnis verifiziert durch die MLCommons Association. Das sind offline rund 4.000 Token pro Sekunde je Karte, unsere Division des Systemergebnisses, keine MLPerf-Metrik. The MLPerf name and logo are registered and unregistered trademarks of MLCommons Association in the United States and other countries. All rights reserved. Unauthorized use strictly prohibited. See www.mlcommons.org for more information.

StorageReview hat am 14. Oktober 2026 Enterprise-GPUs mit vLLM 0.27.1 verglichen und eine H200 NVL mit 450 W getestet, „the most a Dell PowerEdge R770 GPU slot delivers“. Die Karte erreichte auf Ministral 3 14B in FP8 3.435 Ausgabe-Token pro Sekunde bei 32 Streams und 7.336 bei 128, lag auf drei Modellen in FP8 und BF16 bei 32 Streams 50 bis 81 Prozent vor der RTX PRO 6000 Workstation Edition, auf einem NVFP4-Modell aber dahinter, mit 467 gegen 616. Unsere H200 NVL Benchmarks behandeln die Werte je Nutzer.

MIG, vGPU und das enthaltene NVIDIA AI Enterprise

NVIDIAs MIG-Handbuch nennt bis zu sieben Instanzen 1g.18gb je Karte oder eine mit 7g.141gb; vier Karten bieten also bis zu 28 isolierte GPUs, wie unsere H200 NVL MIG-Profile zeigen. Für virtuelle Maschinen hat die H200 NVL nur vGPU für Compute (C-Serie) über NVIDIA AI Enterprise und keine Grafik-vGPU; NVIDIA führt sie in der Support-Matrix von AI Enterprise 8.2, deren Hypervisoren für Compute-vGPU VMware vSphere 8.0 und neuer umfassen.

NVIDIAs Licensing Guide (aktualisiert am 2. September 2026) hält fest: „Each NVIDIA H200 NVL Tensor Core GPU includes a five-year NVIDIA AI Enterprise subscription.“ Die Laufzeit beginnt 90 Tage nach dem Versanddatum der Karte an den Serverhersteller („to account for integration and final delivery“), lässt sich nicht ändern und wird mit der Seriennummer der GPU aktiviert; die Software läuft auf dem zertifizierten System, in dem die GPUs stecken. Ein Server mit vier Karten bringt also vier Abonnements mit, wie unser Artikel NVIDIA AI Enterprise aktivieren erklärt. Open-Source-Engines wie vLLM laufen ohne Abonnement.

Vier H200 NVL oder vier RTX PRO 6000 Server Edition

Die RTX PRO 6000 Blackwell Server Edition ist die andere Variante mit vier Karten, die wir bauen. Die H200 NVL hat mehr Speicher je Karte, die dreifache Bandbreite, NVLink und 30 TFLOPS FP64; die Server Edition hat FP4-Tensor-Cores und Grafik-vGPU.

NVIDIA-Produktseiten; Gespräche mit 8K und FP8-Cache nach unserer Regel für Nutzer je Karte; Werte der Server Edition aus unserem Leitfaden zum Server mit vier RTX PRO 6000 Server Edition.

Die H200 NVL passt zu großen FP8-Modellen, vielen Nutzern eines 70B-Modells und Fine-Tuning; die Server Edition zu NVFP4-Modellen und gemischter Arbeit aus Grafik und KI, wie unser Vergleich vier RTX PRO 6000 oder vier H200 NVL und unser Leitfaden zum Server mit vier RTX PRO 6000 Server Edition erklären.

Was wir liefern

Sie können dieses System bei uns kaufen: Unser Team legt die Konfiguration auf Ihre Arbeitslast und Ihr Budget aus und antwortet innerhalb eines Werktages. Wir bauen KI-Server auf Bestellung mit zwei, vier oder acht H200 NVL und ihren NVLink-Brücken, vor der Lieferung montiert und getestet, mit einem EU-Vertrag und einer EU-Rechnung und mit Herstellergarantie auf jede Komponente, und installieren auf Wunsch Betriebssystem, Treiber, CUDA und eine Container-Laufzeit. Konfiguration und Bestellablauf stehen auf unserer Seite Server mit 4× H200 NVL kaufen; die Karten allein finden Sie auf unserer Seite zur H200 NVL. Modelle, RAG und die Plattform darüber sind unser Service Private AI/ML.

FAQ