Acht NVIDIA H200 NVL in einem Server: Modelle, Nutzer und NVLink-Aufteilung

Acht H200 NVL in einem Server: 1.128 GB in zwei NVLink-Domänen

Ein Server mit acht NVIDIA H200 NVL hat 1.128 GB HBM3e, 141 GB je Karte; nach unserer Regel für Nutzer je Karte stehen davon 986,9 GiB für Modellgewichte und KV-Cache zur Verfügung. Die Karten bilden keinen gemeinsamen Speicher: Zwei 4-Wege-NVLink-Brücken verbinden sie zu zwei Domänen mit je vier Karten, und zwischen den Domänen läuft der Verkehr über PCIe 5.0. Damit betreiben Sie Llama 3.3 70B für mehrere hundert Gespräche zugleich oder ein Modell mit 690 bis 760 GB wie DeepSeek-V3.2 oder GLM-5.3 für einige Dutzend Nutzer mit 32K.

Die Aufteilung stammt von den Serverherstellern. Dells Technical Guide zum PowerEdge XE7740 (Rev. A04, April 2026) schreibt: „For four GPUs, one 4-way bridge is needed, while for eight DW H200 GPU cards, two bridges are required.“ Ciscos Spec Sheet zum UCS C845A M8 (Rev. A.11, Mai 2026) erlaubt acht Karten mit zwei 4-Wege- oder vier 2-Wege-Brücken, und OVHcloud beschreibt in seiner Anleitung für Instanzen mit acht H200 NVL, aktualisiert am 1. Oktober 2026, zwei Sätze zu vier GPUs mit NVLink nur innerhalb eines Satzes und PCIe zwischen beiden. Innerhalb einer Domäne nennt NVIDIA 900 GB/s je GPU über NVLink, über die PCIe-Gen5-Verbindung 128 GB/s. Die Mechanik der Brücken erklärt unser Artikel H200 NVL NVLink-Brücke: 2-Wege oder 4-Wege.

NVIDIAs Produktseite zur H200 und Product Brief PB-12128-001_v01 (11. April 2025), gelesen am 24. Oktober 2026; 140,4 GiB sind die 143.771 MiB, die der Treiber meldet, wie in unserem Benchmark-Artikel zur H200 NVL.

Unsere Regel für Nutzer je Karte nimmt 90 Prozent des Speichers, den der Treiber meldet, den Standardwert von gpu_memory_utilization in vLLM vor Release 0.20.0, und zieht je Karte 3 GiB für CUDA-Graphen und Aktivierungen ab: 0,9 × 140,4 − 3 = 123,4 GiB. Was nach den Gewichten bleibt, ist KV-Cache. Die Herleitung steht in unserem Leitfaden wie viele Nutzer eine GPU bedient.

Welche LLMs passen und wie viel Speicher bleibt

Vier Aufteilungen sind möglich: acht Kopien, eine je Karte; vier TP=2-Paare; zwei TP=4-Kopien, eine je NVLink-Domäne; oder eine Kopie über alle acht Karten, als TP=4 × PP=2 oder bei manchen MoE-Modellen mit Expert-Parallelismus. Jede Kopie hält ihre eigenen Gewichte, weniger Kopien lassen also mehr Platz für Gespräche, und jede Aufteilung über PCIe kostet bei jedem Schritt Zeit.

Unsere Schätzung nach der Regel für Nutzer je Karte, Gespräche in voller Länge, KV-Cache in 16 Bit, sofern nicht anders angegeben. Gewichte: Repository-Größen auf Hugging Face wie in unseren Modell-Leitfäden (September und Oktober 2026). Qwen3-235B: 188 KiB Cache in 16 Bit je Token laut config.json (94 Schichten, 4 KV-Heads, Head-Dimension 128), gelesen am 24. Oktober 2026. Werte für DeepSeek-V3.2, GLM-5.3 und Kimi aus unseren Leitfäden zu DeepSeek, GLM und Kimi K2; Kimi-K2.6 mit Decode-Context-Parallelismus nach dem Kimi-K2-Thinking-Rezept von vLLM.

Hopper rechnet nicht in FP4, deshalb legt die Tabelle FP8- oder INT4-Checkpoints zugrunde; ein für Blackwell gebauter NVFP4-Checkpoint läuft hier nur im Weight-only-Modus, wie unser Leitfaden wie viele H200 NVL große LLMs brauchen erklärt. Die drei großen Zeilen unterscheiden sich in der Aufteilung, weil sich die veröffentlichten Rezepte unterscheiden. Das DeepSeek-V3.2-Rezept von vLLM rät mit seinem Sparse-Attention-Kernel von TP=8 ab und empfiehlt Daten- mit Expert-Parallelismus; das GLM-5.3-Rezept hält fest, dass der FP8-Checkpoint auf einen einzelnen H200-Knoten mit acht GPUs passt; Kimi K2 hält seinen komprimierten Cache bei Tensor-Parallelismus vollständig auf jeder Karte, sodass Decode-Context-Parallelismus den nutzbaren Cache vervielfacht. Die Einzelheiten stehen in unseren Hardware-Leitfäden zu DeepSeek, GLM und Kimi K2.

Gleichzeitige Nutzer je Aufteilung bei einem 70B-Modell

Llama 3.3 70B ist das Modell, das Unternehmen meist zuerst nennen. NVIDIAs FP8-Checkpoint hat 72,7 GB, also 67,7 GiB, und jedes Gespräch mit 8.192 Token belegt 2,5 GiB Cache in 16 Bit oder 1,25 GiB in FP8.

Unsere Schätzung nach der Regel für Nutzer je Karte, Gespräche mit 8.192 Token in voller Länge; ganze Gespräche je Kopie, abgerundet, mal Anzahl der Kopien.

Zur dritten Zeile: Eine Domäne hält 4 × 123,36 = 493,4 GiB; abzüglich 67,7 GiB Gewichte bleiben 425,7 GiB, und 425,7 ÷ 1,25 ergibt 340 Gespräche je Kopie, 680 für zwei. Eine einzelne Karte lässt 55,7 GiB übrig, 44 Gespräche mit FP8-Cache.

Gezählt sind Anfragen, die im selben Moment laufen. Ein Unternehmen mit 2.000 Beschäftigten, die den ganzen Tag einen Assistenten offen haben, erzeugt zur Hauptlastzeit nur einen kleinen Teil davon; legen Sie deshalb die Spitzenlast zugrunde, die die Logs Ihres Gateways zeigen. Für ein 70B-Modell ist die Aufteilung auf zwei Domänen die übliche Wahl: Jeder All-Reduce bleibt auf NVLink, und eine ausgefallene Karte legt nur die Kopie still, zu der sie gehört. Die vierte Zeile bringt für ein Modell, das in eine Domäne passt, wenig gegenüber der dritten. Wir bauen diesen Server und legen die Aufteilung je Modell aus; schicken Sie uns Ihre Modelle, die Kontextlänge und die Höchstzahl gleichzeitig laufender Anfragen, und unser Team antwortet mit den Werten für jede Aufteilung.

Ein Modell über beide Domänen: TP=4 × PP=2

Ein Modell mit mehr als rund 490 GiB muss beide Domänen nutzen. Tensor-Parallelismus über alle acht Karten würde den All-Reduce jeder Schicht über PCIe schicken, und OVHcloud rät in seiner Anleitung: „Avoid using --tensor-parallel-size 8“. Der dortige Befehl für alle acht Karten teilt das Modell in zwei Pipeline-Stufen, und die vier Karten jeder NVLink-Domäne rechnen eine Stufe mit TP=4:

• export CUDA_DEVICE_ORDER=PCI_BUS_ID
• vllm serve mit --pipeline-parallel-size 2 und --tensor-parallel-size 4

Über PCIe gehen dann nur die Aktivierungen zwischen den beiden Hälften des Modells, einmal je Schritt. Für zwei getrennte TP=4-Kopien startet dieselbe Anleitung je Domäne einen Server mit CUDA_VISIBLE_DEVICES=0,1,2,3 und 4,5,6,7 auf zwei Ports. Die Nummerierung muss zu den Brücken passen: nvidia-smi topo -m zeigt, welche Karten sich NVLink teilen, und NVIDIAs Referenzarchitektur zur H200 NVL hält fest: „Pairing of GPU cards under the same CPU socket is best“. Dell verbindet die Steckplätze 21 bis 28 mit dem ersten Prozessor und 29 bis 36 mit dem zweiten und nennt eine 4-Wege-Brücke über beide Prozessoren möglich, aber nicht empfohlen. Unser Artikel ein Modell auf mehreren GPUs über PCIe oder NVLink erklärt die Abwägung zwischen Tensor-, Pipeline- und Expert-Parallelismus.

Veröffentlichte MLPerf®-Ergebnisse für acht H200 NVL

Die veröffentlichten Ergebnisse mit mehreren Karten stammen für diese Karte aus MLPerf® Inference, das jedes System mit Hardware und Software dokumentiert.

MLPerf® Inference: Datacenter v6.0, Closed Division, Kategorie Available, Llama 2 70B (llama2-70b-99), Szenarien Offline, Server und Interactive, Eintrag 6.0-0021, Dell PowerEdge XE7740 mit acht H200 NVL, abgerufen von mlcommons.org am 24. September 2026. Ergebnis verifiziert durch die MLCommons Association. „Je Karte“ ist unsere Division des Systemergebnisses, keine MLPerf-Metrik. The MLPerf name and logo are registered and unregistered trademarks of MLCommons Association in the United States and other countries. All rights reserved. Unauthorized use strictly prohibited. See www.mlcommons.org for more information.

Das Szenario Interactive begrenzt die Zeit bis zum ersten Token auf 450 ms und die Zeit je Ausgabetoken auf 40 ms im 99. Perzentil und kommt damit einem Chat-Dienst mit schnellen Antworten am nächsten. Ein Jahr zuvor, in MLPerf® Inference: Datacenter v5.0, Closed Division, erreichte Dells PowerEdge XE7745 mit acht Karten im selben Benchmark offline 31.149,9 Token pro Sekunde (Eintrag 5.0-0017, abgerufen von mlcommons.org am 24. September 2026, Ergebnis verifiziert durch die MLCommons Association), also weniger als 3 Prozent unter v6.0. Die Runde v6.1 vom 16. September 2026 enthält keinen Eintrag mit H200 NVL. Unsere H200-NVL-Benchmarks stellen diese Ergebnisse acht RTX PRO 6000 Server Edition im selben Gehäuse gegenüber.

Fine-Tuning auf acht Karten: LoRA, QLoRA und vollständiges Fine-Tuning

Training braucht mehr Speicher als der Betrieb eines Modells. Adam mit gemischter Genauigkeit hält nach der Zählung des ZeRO-Papers vor den Aktivierungen 16 Byte je Parameter, die Modellzustände von Llama 3.3 70B mit 70,55 Milliarden Parametern kommen also auf rund 1.129 GB oder 1.051 GiB. Das liegt über den 986,9 GiB unserer Regel; auf acht Karten verteilt sind es 141,1 GB je Karte, so viel wie die 141 GB, mit denen die Karte angegeben ist, noch vor jeder Aktivierung.

Modellzustände aus unserem Leitfaden zum GPU-Speicher für Fine-Tuning (Zählung des ZeRO-Papers, Adapter mit Rang 16 auf allen linearen Schichten, GB = 10⁹ Byte), nach unserer Rechnung auf die Karten verteilt und mit der angegebenen Kapazität von 141 GB je Karte verglichen, nicht mit dem Wert, den der Treiber meldet; Aktivierungen kommen hinzu.

Vollständiges Fine-Tuning eines 70B-Modells braucht deshalb Offloading. ZeRO-Offload verlagert Optimiererzustände und Gradienten in den Arbeitsspeicher und rechnet das Update auf den Prozessoren; allein die FP32-Optimiererzustände belegen 12 Byte je Parameter, rund 847 GB für dieses Modell, die die 2,3 TB Arbeitsspeicher unseres Trainingsknotens nach unserer Rechnung aufnehmen. Die Schrittzeit steigt, deshalb ist LoRA für die meisten Projekte in Unternehmen die praktische Methode. Ein Job, der auf vier Karten passt, sollte in einer NVLink-Domäne bleiben, weil der Sharding-Verkehr zwischen den Domänen über PCIe läuft. Unser Vergleich H200 NVL oder RTX PRO 6000 für Fine-Tuning zeigt, wie die Verbindung zwischen den Karten diese Läufe beeinflusst.

MIG für viele Teams: bis zu 56 Instanzen

MIG teilt jede Karte in isolierte Instanzen mit eigenem Speicher und eigenen Recheneinheiten. NVIDIAs MIG-Handbuch, aktualisiert am 13. Oktober 2026, nennt für das Produkt H200 141 GB 1g.18gb bis zu siebenmal, 1g.35gb bis zu viermal, 2g.35gb bis zu dreimal, 3g.71gb bis zu zweimal sowie 4g.71gb oder 7g.141gb einmal. Acht Karten liefern damit bis zu 56 Instanzen mit 18 GB, etwa für Entwicklungsteams, Notebooks oder kleine Modelle neben dem produktiven Betrieb.

MIG wird je Karte eingestellt. Eine Domäne kann eine TP=4-Kopie bedienen, während zwei Karten der anderen in 1g.18gb-Instanzen laufen; ein aufgeteiltes Modell läuft aber nur auf ganzen Karten, weil NCCL laut NVIDIA nicht mit MIG funktioniert. NVIDIAs Referenzarchitektur verlangt zusätzlich zu den Kernen je GPU zwei Prozessorkerne je MIG-Instanz, ein vollständig aufgeteilter Server braucht nach dieser Regel also über 180 Kerne. MIG auf Bare Metal braucht keine Lizenz; MIG-basierte vGPU für virtuelle Maschinen ist Compute-vGPU über NVIDIA AI Enterprise, das jeder Karte für fünf Jahre beiliegt, wie unsere H200 NVL MIG-Profile erklären.

Host, Strom und Rack für den Server mit acht Karten

NVIDIAs Referenzarchitektur für diese Karte heißt „2-8-5“: zwei Sockel, acht GPUs und fünf Netzwerkadapter, mit mindestens sieben Kernen je GPU plus zwei je GPU für das Betriebssystem, mindestens 128 GB Arbeitsspeicher je GPU und für Training mindestens 2 TB NVMe je Sockel. NVIDIAs Konfigurations­leitfaden für NVIDIA-Certified Systems, aktualisiert am 30. September 2026, verlangt mindestens doppelt so viel Arbeitsspeicher wie GPU-Speicher, und Dell führt 512 GB und 1 TB Arbeitsspeicher für acht H200 NVL im XE7740 als nicht validiert. Unser Trainingsknoten folgt dem höheren Wert: zwei AMD-EPYC-Prozessoren, 2,3 TB DDR5 mit ECC, acht NVMe-Laufwerke und 400G-Netzwerk.

Unsere Schätzung: Leistung der Karten aus NVIDIAs Product Brief, zwei AMD EPYC 9555 mit 64 Kernen und je 360 W laut Ciscos Spec Sheet zum C845A M8, plus 15 Prozent für Arbeitsspeicher, Laufwerke, Netzwerkkarten, Lüfter und Wandlungsverluste; diese Annahme bestätigt oder korrigiert eine Messung am gelieferten System.

Einen einphasigen 230-V-Anschluss mit 32 A planen wir mit 5,89 kW ein; mit 600 W je Karte braucht der Server deshalb an der A- und an der B-Einspeisung je einen Drehstromanschluss mit 400 V (8,87 kW geplant bei 16 A). Rund 6,3 kW Wärme brauchen bei 11 °C Temperaturanstieg etwa 1.000 CFM Luft, nach den 160 CFM je kW aus unserem Leitfaden GPU-Rack: Strom und Kühlung, und Dell legt die Grenze für die Zuluft bei acht H200 NVL im XE7740 auf 30 °C fest, gegenüber 35 °C für andere Karten. NVIDIAs Blog vom November 2024 schätzt, dass rund 70 Prozent der Racks in Unternehmen bei höchstens 20 kW liegen und luftgekühlt sind: Ein solches Rack nimmt zwei dieser Server mit Platz für Switches auf. Die Leistungsbegrenzung und was sie kostet, behandelt H200 NVL mit 450 W. Wir prüfen Rack, Anschluss und Luftstrom, bevor wir ein Angebot machen; nennen Sie uns Anschlussart und Zulufttemperatur am Rackplatz, und wir sagen Ihnen, ob der Server passt.

Wann eine andere Konfiguration besser passt

Vier H200 NVL an einer Brücke, nach unserer Regel 493,4 GiB, tragen denselben 70B-Dienst für die Hälfte der Nutzer und jedes Modell bis Llama 4 Maverick in FP8, wie unser Leitfaden zum Server mit 4× H200 NVL zeigt. Muss der Dienst den Ausfall eines ganzen Servers überstehen, sind zwei Server mit vier Karten sicherer, wie unser Vergleich ein 8-GPU-Server oder zwei 4-GPU-Server zeigt. In FP4 veröffentlichte Modelle laufen nativ auf Blackwell: Acht RTX PRO 6000 Server Edition rechnen NVFP4 über PCIe, wie unsere Aufteilung von acht RTX PRO 6000 zeigt. Ein Modell, das TP=8 in einer NVLink-Domäne mit acht GPUs braucht oder mehr als 1 TB Gewichte mit Platz für Nutzer, gehört auf einen DGX B300 mit 2,1 TB HBM3e, den wir je Projekt anbieten, wie unser Vergleich H200 NVL vs. H200 SXM erklärt.

Was wir liefern

Dieses System können Sie bei uns kaufen: Unser Team legt die Konfiguration auf Ihre Arbeitslast und Ihr Budget aus und antwortet innerhalb eines Werktages. Unser Trainingsknoten hat acht H200 NVL mit zwei 4-Wege-NVLink-Brücken, zwei AMD-EPYC-Prozessoren, 2,3 TB DDR5 mit ECC, acht NVMe-Laufwerke und 400G-Netzwerk, vor der Lieferung montiert und getestet, mit einem EU-Vertrag und einer EU-Rechnung und mit Herstellergarantie auf jede Komponente; Konfiguration und Bestellablauf stehen auf unserer Seite Server mit 8× H200 NVL kaufen. Modelle, RAG und die Serving-Plattform darüber sind unser Service Private AI/ML.

FAQ