Zwei NVIDIA H200 NVL an einer 2-Wege-NVLink-Brücke: was 282 GB leisten, wie viele Nutzer

Zwei H200 NVL, eine Brücke: 282 GB in einer NVLink-Domäne

Ein Server mit zwei NVIDIA H200 NVL an einer 2-Wege-NVLink-Brücke hat 282 GB HBM3e; davon stehen nach unserer Regel für Nutzer je Karte 246,7 GiB für Modellgewichte und KV-Cache zur Verfügung. Damit läuft Llama 3.3 70B in voller BF16-Genauigkeit mit 16-Bit-Cache für 46 gleichzeitige Gespräche mit 8K Token, dasselbe Modell in FP8 mit FP8-Cache für rund 140 oder gpt-oss-120b für rund 165 Gespräche mit 32K. Die beiden Karten ziehen mit ihren voreingestellten 600 W zusammen 1,2 kW, der ganze Server nach unserer Schätzung rund 2,0 kW.

Erst die Brücke macht aus dem Paar eine Domäne. NVIDIAs Product Brief PB-12128-001 (April 2025) sieht „a single wide NVLink bridge per card“ vor, als 2-Slot-Ausführung für zwei Karten und als 4-Slot-Ausführung für vier, und NVIDIAs H200-Seite nennt „2- or 4-way NVIDIA NVLink bridge: 900GB/s per GPU“ gegenüber 128 GB/s über PCIe Gen5. Ein Modell, das auf beide Karten verteilt ist, tauscht seine Teilergebnisse in jeder Schicht über diese Verbindung aus, rund siebenmal schneller als über PCIe.

NVIDIAs H200-Seite und Product Brief PB-12128-001_v01 (11. April 2025), NVIDIAs MIG-Handbuch (aktualisiert am 13. Oktober 2026), gelesen am 24. Oktober 2026; 140,4 GiB ist der Speicher, den der Treiber meldet.

Unsere Regel für Nutzer je Karte nimmt 90 Prozent des vom Treiber gemeldeten Speichers und hält je Karte 3 GiB für CUDA-Graphen und Aktivierungen frei: 0,9 × 140,4 − 3 = 123,36 GiB je Karte, 246,72 GiB für das Paar. Was die Gewichte übrig lassen, ist KV-Cache, also der Speicher, den jedes Gespräch für seinen Kontext braucht. Die Herleitung steht in unserem Leitfaden wie viele Nutzer eine RTX PRO 6000 bedient, und dieselbe Regel liegt dem Server mit 4× H200 NVL und dem Server mit 8× H200 NVL zugrunde.

Llama 3.3 70B in BF16 braucht beide Karten

Viele Teams wollen ein 70B-Modell ohne Quantisierung betreiben, etwa um einen feinabgestimmten Checkpoint genau so zu prüfen, wie er trainiert wurde. In BF16 belegt jeder Parameter zwei Byte, Llama 3.3 70B mit rund 70,6 Milliarden Parametern braucht also nach unserer Schätzung rund 141 GB oder 131,5 GiB. Das ist mehr als die 123,4 GiB, die eine Karte nach unserer Regel bietet, deshalb muss das Modell aufgeteilt werden. Auf einem verbrückten Paar läuft es mit Tensor-Parallelität über zwei Karten (TP=2), und 115,2 GiB bleiben für den Cache.

In FP8 schrumpft dasselbe Modell auf die 72,7 GB von NVIDIAs FP8-Checkpoint, 67,7 GiB, und passt auf eine Karte. Die H200 NVL hat FP8-Tensor-Cores und keine FP4-Arithmetik, FP8 ist auf dieser Karte also die übliche reduzierte Genauigkeit; ein für Blackwell gebauter NVFP4-Checkpoint läuft darauf nur im Weight-only-Modus, wie unser Leitfaden zu FP4-Modellen auf der H200 NVL erklärt.

Unsere Schätzungen nach der Regel für Nutzer je Karte. Gewichte aus den Hugging-Face-Repositorys wie in unserem Leitfaden zum Server mit vier H200 NVL (gelesen am 24. Oktober 2026); BF16-Größe von Llama 3.3 70B nach unserer Rechnung mit zwei Byte je Parameter.

Die Geschwindigkeit je Nutzer folgt den Bytes, die jede Karte je erzeugtem Token liest. Nach unserer Schätzung gibt eine Karte, die alle 70,6 GB der FP8-Gewichte liest, einem einzelnen Nutzer bei 4,8 TB/s höchstens rund 68 Token pro Sekunde. Auf dem Paar liest jede Karte die Hälfte: rund 35 GB in FP8, was diese Obergrenze auf rund 136 Token pro Sekunde anhebt, oder 70,6 GB in BF16, womit das BF16-Modell wieder bei rund 68 liegt. Diese Obergrenzen gelten vor dem Austausch über NVLink und sinken, wenn sich mehr Nutzer jeden Schritt teilen. Qwen3-235B passt auf das Paar, lässt aber wenig Cache, und Modelle der 400B-Klasse brauchen vier Karten, wie unser Leitfaden wie viele H200 NVL große LLMs brauchen auflistet.

Nutzer je Aufteilung: zwei Kopien oder eine Kopie über die Brücke

Ein Paar kann ein Modell auf zwei Arten betreiben. Zwei Kopien, eine je Karte, tauschen nichts aus und brauchen keine Brücke; eine Kopie über beide Karten speichert die Gewichte nur einmal und lässt mehr Speicher für Gespräche.

Unsere Schätzungen nach der Regel für Nutzer je Karte, gleichzeitige Gespräche mit voller Kontextlänge. Cache je Gespräch für Llama 3.3 70B: 2,5 GiB (16 Bit) oder 1,25 GiB (FP8) bei 8.192 Token; gpt-oss-120b 1,125 GiB bei 32K mit 16-Bit-Cache; Qwen3-235B 2,94 GiB bei 32K mit FP8-Cache.

Für die zweite Zeile hält das Paar 246,7 GiB; abzüglich 67,7 GiB Gewichte bleiben 179,0 GiB, das sind 143 Gespräche zu 1,25 GiB. Zwei Kopien lassen je Karte 55,7 GiB, 44 Gespräche je Kopie, 88 zusammen. Zwei Kopien isolieren besser, denn eine ausgefallene Karte stoppt nur die Hälfte des Dienstes; die Kopie mit TP=2 bietet mehr Kapazität und mehr Geschwindigkeit je Nutzer.

Das sind Anfragen, die im selben Moment laufen, wie sie das Gateway zur Hauptlastzeit zeigt. Ein Unternehmen mit 500 Beschäftigten, die alle einen Assistenten im Browser offen haben, erzeugt davon gleichzeitig nur einen kleinen Bruchteil, sodass ein Paar oft ein oder zwei Abteilungen mit Reserve bedient. Wir bauen Server mit zwei H200 NVL und der Aufteilung, die Ihr Modell braucht; senden Sie uns Modell, Genauigkeit und die Höchstzahl gleichzeitig laufender Anfragen, und unser Team antwortet mit einer Konfiguration und den Gesprächen je Aufteilung.

Lange Kontexte: Gespräche mit 32K und 128K

NVIDIAs Model Card für seinen FP8-Build von Llama 3.3 70B nennt eine Kontextlänge von bis zu 128K Token. Für jedes Token im Kontext liegen Keys und Values im Cache, 320 KiB je Token in 16 Bit oder 160 KiB in FP8, abgeleitet aus den 2,5 GiB und 1,25 GiB je 8.192 Token, mit denen unsere Regel für dieses Modell rechnet. Ein Gespräch mit 128K, also 131.072 Token, hält damit 40 GiB 16-Bit-Cache oder 20 GiB in FP8.

Unsere Schätzungen nach der Regel für Nutzer je Karte, gleichzeitige Gespräche mit voller Länge, FP8-Cache, sofern nicht anders angegeben; 1,25, 5 und 20 GiB je Gespräch mit FP8-Cache, 2,5, 10 und 40 GiB mit 16-Bit-Cache.

Die Tabelle zeigt, warum lange Kontexte für eine Kopie über die Brücke sprechen. Bei 128K hat eine einzelne Karte mit FP8-Gewichten nur Platz für zwei Gespräche, das Paar als eine Kopie für acht. Für Agenten, Dokumentprüfung oder Code-Assistenten mit großen Kontexten ist das der Unterschied zwischen einem Pilotbetrieb und einem Dienst für ein kleines Team. Der Prefill, das Einlesen eines langen Prompts vor dem ersten Token, ist Rechenarbeit, die mit dem Prompt wächst; eine veröffentlichte Prefill-Zeit für einen Prompt mit 128K auf dieser Karte haben wir nicht gefunden. Messen Sie sie daher mit Ihren eigenen Dokumenten. Unser Leitfaden zum Server für LLM-Agenten mit langem Kontext behandelt die Aufteilungen auf vier und acht Karten.

Fine-Tuning auf zwei Karten

Training braucht je Parameter mehr Speicher als die Inferenz. Adam mit gemischter Genauigkeit hält vor den Aktivierungen 16 Byte je Parameter, gezählt wie im ZeRO-Paper, das unser Leitfaden zum GPU-Speicher für Fine-Tuning verwendet. Gemessen an der angegebenen Kapazität von 141 GB je Karte, nicht am Wert, den der Treiber meldet, hält ein Paar Folgendes.

Modellzustände aus unserem Leitfaden zum GPU-Speicher für Fine-Tuning (Zählung nach ZeRO, Adapter mit Rang 16 auf allen linearen Schichten, GB = 10⁹ Byte), nach unserer Rechnung auf die Karten verteilt; Aktivierungen kommen hinzu.

LoRA eines 70B-Modells ist das typische Unternehmensprojekt auf diesem Server. Die 144,4 GB Modellzustände teilen sich mit FSDP in 72,2 GB je Karte, und der Gradientenaustausch zwischen den beiden Karten läuft über die Brücke mit 900 GB/s je GPU; ohne Brücke ginge jeder Austausch über PCIe. Ein volles Fine-Tuning eines 32B-Modells übersteigt die 282 GB HBM3e: Mit ZeRO-Offload wandern die FP32-Optimiererzustände, 12 Byte je Parameter oder rund 393 GB, in den Arbeitsspeicher; die 768 GB DDR5 unserer Konfiguration fassen sie nach unserer Rechnung, bei längerer Schrittzeit. Größere volle Fine-Tunings gehören auf acht Karten, wie unser Fine-Tuning-Server mit 2, 4 oder 8 GPUs und der Vergleich von H200 NVL und RTX PRO 6000 für Fine-Tuning erklären.

MIG auf zwei Karten: bis zu 14 Instanzen

MIG teilt eine Karte in isolierte GPU-Instanzen mit eigenem Speicher und eigenen Rechenanteilen. NVIDIAs MIG-Handbuch, aktualisiert am 13. Oktober 2026, nennt für das Produkt H200 141 GB bis zu sieben Instanzen 1g.18gb, vier 1g.35gb, drei 2g.35gb, zwei 3g.71gb oder eine 4g.71gb oder 7g.141gb. Zwei Karten ergeben bis zu 14 Instanzen mit 18 GB.

MIG wird je Karte eingestellt, was eine gemischte Nutzung des Paares praktikabel macht. Karte eins bedient Llama 3.3 70B in FP8 als ganze GPU, nach unserer Regel 44 Gespräche mit 8K und FP8-Cache, während Karte zwei sieben Instanzen 1g.18gb für Notebooks, Entwicklung und kleine Modelle bereitstellt. Die Kopie mit TP=2 braucht beide Karten ganz, denn laut NVIDIA funktioniert NCCL, die Bibliothek für den Austausch zwischen GPUs, nicht mit MIG. NVIDIAs Referenzarchitektur für die H200 NVL verlangt sieben Kerne je GPU, zwei weitere je GPU für das Betriebssystem und zwei je MIG-Instanz: 18 Kerne für das Paar ohne MIG und 46 mit allen 14 Instanzen. Für virtuelle Maschinen bietet die Karte Compute-vGPU (C-Serie) über NVIDIA AI Enterprise und keine Grafik-vGPU, wie unsere H200 NVL MIG-Profile erklären.

2U-Server für zwei Karten, und wo 4U besser passt

Zwei H200 NVL sind die Bestückung, die in die meisten Gehäuse passt. Die Herstellerdokumente, die wir am 24. Oktober 2026 gelesen haben, nennen diese Server.

Lenovo Press LP2128 (aktualisiert am 20. Oktober 2026); Technical Guide Dell PowerEdge R770 Rev. A09 (Juni 2026); Produktseite Supermicro SYS-212GB-NR; HPE DL380a Gen12 QuickSpecs; Spec Sheet Cisco UCS C845A M8 Rev. A.11 (11. Mai 2026); gelesen am 24. Oktober 2026.

Dells Leitfaden zum R770 schreibt, die H200 NVL sei „designed to support up to 600 W“, aber „power capped to 450 W support on R770“, in den Riser-Positionen RC 6-2 und RC 11-2, mit Hochleistungslüftern der Platinum-Klasse und steckplatzspezifischen Stromkabeln; was diese Grenze bedeutet, steht in unserem Artikel zur H200 NVL mit 450 W. Das 2U-Modell von Supermicro dokumentiert ein verbrücktes Paar, hat aber nur einen Prozessorsockel, einen weniger, als NVIDIAs Leitfaden für zertifizierte Systeme vorsieht. In den Dokumenten, die wir gelesen haben, ist ein verbrücktes Paar mit 600 W in einem Server mit zwei Sockeln daher in den 4U-Servern von HPE und Cisco dokumentiert, die auch Platz für spätere Karten lassen. NVIDIAs Product Brief empfiehlt, verbrückte Karten „within the same CPU domain“ einzusetzen, beide Karten des Paares gehören also unter einen Prozessor. Unsere Liste der H200-NVL-kompatiblen Server zeigt die Details je Hersteller.

Arbeitsspeicher, Strom und Kühlung

NVIDIAs Konfigurations­leitfaden für NVIDIA-Certified Systems verlangt mindestens doppelt so viel Arbeitsspeicher wie GPU-Speicher, für zwei Karten 564 GB. Zwei AMD EPYC 9005 haben 24 Speicherkanäle, wir bestücken daher 24 Module zu 32 GB, zusammen 768 GB, eines je Kanal. NVIDIAs Referenzarchitektur setzt eine niedrigere Untergrenze von 128 GB je GPU, und Cisco empfiehlt für zwei Karten im C845A M8 1.024 GB, was zu CPU-Offload passt; unser Leitfaden wie viel RAM ein GPU-Server braucht vergleicht die Regeln.

Unsere Schätzung: Leistungsaufnahme der Karten aus NVIDIAs Product Brief, zwei AMD EPYC 9355 zu je 280 W, plus 15 Prozent für Arbeitsspeicher, Laufwerke, Netzwerkkarten, Lüfter und Wandlungsverluste.

Beide Werte liegen innerhalb der 2,94 kW, die wir je einphasigem 230-V-Anschluss mit 16 A bei 80 Prozent einplanen, sodass redundante Netzteile an einer A- und einer B-Einspeisung mit je 16 A den Server tragen. Rund 2,0 kW Abwärme brauchen bei 11 °C Temperaturanstieg etwa 320 CFM Luft, nach den 160 CFM je kW aus unserem Leitfaden zu Strom und Kühlung im GPU-Rack. Die Karte ist passiv gekühlt und braucht das 16-Pin-Kabel, das der Serverhersteller für ihren Steckplatz nennt. Wir prüfen Anschluss, Luftstrom und Gehäuse vor dem Angebot; nennen Sie uns die Art des Anschlusses und die Zulufttemperatur am Rackplatz, und wir sagen, welches Gehäuse passt.

Wann zwei Karten nicht die richtige Größe sind

Vier Karten an einer 4-Wege-Brücke, nach unserer Regel 493,4 GiB, betreiben Modelle der 400B-Klasse und mehr als doppelt so viele 70B-Nutzer, wie unser Leitfaden zum Server mit 4× H200 NVL zeigt. Wo Modelle in FP4 erscheinen oder Grafik-vGPU gebraucht wird, rechnen zwei NVIDIA RTX PRO 6000 Blackwell Server Edition NVFP4 und unterstützen Grafik-vGPU, mit nach unserer Regel 166,1 GiB nutzbarem Speicher, wie unser Vergleich RTX PRO 6000 vs. H200 NVL erklärt. Solver in doppelter Genauigkeit passen gut zum H200-Paar, mit 30 TFLOPS FP64 je Karte laut NVIDIAs H200-Seite, wie unser Leitfaden zur GPU für CFD-Simulation zeigt.

Was wir liefern

Sie können dieses System bei uns kaufen: Unser Team legt die Konfiguration nach Ihrer Arbeitslast und Ihrem Budget aus und antwortet innerhalb eines Werktages. Wir bauen KI-Server auf Bestellung mit zwei, vier oder acht H200 NVL und ihren NVLink-Brücken, vor der Lieferung montiert und getestet, mit einem EU-Vertrag und einer EU-Rechnung und mit Herstellergarantie auf jede Komponente, und installieren auf Wunsch Betriebssystem, Treiber, CUDA und eine Container-Laufzeit. Laut NVIDIAs Licensing Guide enthält jede Karte ein Abonnement für NVIDIA AI Enterprise über fünf Jahre. Konfiguration und Bestellablauf stehen auf unserer Seite Server mit 2× H200 NVL kaufen, Karten und Brücken für einen Server, den Sie schon betreiben, auf unserer Seite zur H200 NVL.

FAQ