Acht NVIDIA H200 NVL in einem Server oder NVIDIA DGX B300 als erstes großes KI-System

H200 NVL vs. B300: die Entscheidung in einer Tabelle

Für das erste große KI-System passt ein Server mit acht NVIDIA H200 NVL, wenn jede Modellkopie unter rund 490 GiB bleibt, wenn der Raum einen gewöhnlichen Drehstromplatz im Rack bietet oder wenn dieselbe Maschine auch FP64-Simulationen rechnet. Eine NVIDIA DGX B300 passt, wenn ein Modell ab 700 GB viele Nutzer bedienen soll, wenn FP4-Checkpoints nativ laufen sollen oder wenn das Team 70B-Modelle vollständig feinabstimmt und über alle acht GPUs trainiert. Auf dem einen Benchmark, den beide veröffentlicht haben, liefert die DGX rund das 3,4-Fache des Achtkartenservers, und sie braucht ein Rack, das für rund 20 kW je System ausgelegt ist.

Beide Maschinen haben acht GPUs, damit endet die Ähnlichkeit. Die Tabelle fasst die Werte zusammen, die zwischen ihnen entscheiden; die Abschnitte darunter erklären jede Zeile.

NVIDIA-Produktseite H200 (Spalte H200 NVL) und Produktseite DGX B300 (aktualisiert am 15. Oktober 2026), gelesen am 24. Oktober 2026; 62 TB/s und 14,5 bis 15,1 kW aus NVIDIAs Datenblatt und Benutzerhandbuch der DGX B300, wie in unserem Artikel zu den DGX-B300-Spezifikationen zitiert; FP64 der HGX B300 von NVIDIAs HGX-Seite, wie in unserem FP64-Artikel zitiert. Die Produktseite der DGX B300 nennt „~14 kW“; wir planen mit den höheren Werten aus Datenblatt und Benutzerhandbuch. Die 2,1 TB sind NVIDIAs Systemwert; das Benutzerhandbuch addiert die 288 GB je GPU zu 2,3 TB, wir planen mit 2,1 TB. Dichtes FP8 der H200 NVL ist unsere Halbierung der 3.341 TFLOPS mit Sparsity je Karte; nutzbarer Speicher und Leistung an der Steckdose sind unsere Schätzungen, unten erklärt.

Zwei NVLink-Domänen oder eine

Die acht H200 NVL in einem Server bilden keinen gemeinsamen Speicherpool. NVIDIAs NVLink-Brücke für diese Karte verbindet zwei oder vier Karten, acht Karten bilden also zwei Domänen zu vier, und die beiden Domänen tauschen Daten über PCIe Gen5 aus. NVIDIA nennt 900 GB/s je GPU über die Brücke und 128 GB/s über PCIe Gen5. Dells technischer Leitfaden zum PowerEdge XE7740 hält fest, dass acht doppelt breite H200-Karten zwei 4-Wege-Brücken brauchen, wie unser Artikel zu acht H200 NVL in einem Server zitiert.

Die DGX B300 verbindet ihre acht Blackwell-Ultra-GPUs über zwei NVLink-Switches, 14,4 TB/s gesamt und nach NVIDIAs Angaben zu Blackwell Ultra 1,8 TB/s je GPU. Jede GPU erreicht jede andere mit derselben Geschwindigkeit; ein Modell, das mit Tensor-Parallelismus auf acht GPUs verteilt ist, hält also seinen gesamten Verkehr auf NVLink.

Der Unterschied zeigt sich in den Aufteilungen, die jede Maschine gut beherrscht:

• Auf dem H200-NVL-Server läuft ein Modell bis zur Größe einer Domäne als TP=4, und zwei Kopien teilen sich den Server. Ein größeres Modell läuft als TP=4 × PP=2, eine Pipeline-Stufe je Domäne, sodass nur die Aktivierungen zwischen den beiden Hälften einmal je Schritt über PCIe gehen. OVHclouds Leitfaden für seine Instanzen mit acht H200 NVL rät von Tensor-Parallelismus über acht Karten ab.
• Auf der DGX B300 ist TP=8 die einfache Aufteilung, und der Gradientenaustausch im Training läuft über NVLink zwischen allen acht GPUs.

Für den Betrieb von Modellen, die in eine Domäne passen, kostet die Aufteilung in zwei Domänen wenig: Jede Kopie läuft innerhalb ihrer eigenen NVLink-Brücke. Mehr kostet sie, wenn ein Modell bei interaktiver Geschwindigkeit beide Domänen überspannen muss, und am meisten, wenn acht GPUs gemeinsam ein Modell trainieren, weil dann jeder Schritt Gradienten über die PCIe-Verbindung austauscht. Unser Artikel zur H200-NVL-NVLink-Brücke, 2-Wege oder 4-Wege beschreibt die Regeln für die Brücke.

Speicher: welche Modelle die DGX B300 brauchen

Unsere Regel für Nutzer je Karte nimmt 90 Prozent des Speichers, den der Treiber meldet, und zieht 3 GiB je GPU ab; was nach den Gewichten übrig bleibt, nimmt KV-Cache auf. Für die H200 NVL sind das 0,9 × 140,4 − 3 = 123,4 GiB je Karte, 986,9 GiB für acht. Für die B300 lesen wir die 270 GB, die MLPerf®-Einträge für den Beschleuniger angeben, vorsichtig als 10⁹ Byte, also 251,5 GiB; das lässt 223,3 GiB je GPU und rund 1.786 GiB je System. Die Regel erklärt unser Leitfaden Wie viele Nutzer schafft eine GPU?.

Gleichzeitige Gespräche in voller Länge nach unserer Regel für Nutzer je Karte; Llama 3.3 70B mit FP8-Cache von 1,25 GiB je 8K-Gespräch, die übrigen mit 16-Bit-Cache, sofern nicht anders angegeben. Gewichte: Summen der Safetensors-Dateien auf Hugging Face wie in unseren Modell-Leitfäden, gelesen am 24. Oktober 2026. DGX B300 mit 223,3 GiB je GPU, unsere vorsichtige Lesart. Llama-Zeile für die DGX: 223,3 − 67,7 = 155,6 GiB je GPU, 124 Gespräche, acht Kopien.

Die erste Zeile ist ein Modell, das beide Maschinen gut bedienen. Der H200-NVL-Server hält 680 Gespräche zu 8K als zwei Kopien; die DGX hält mit einer Kopie je GPU rund die Hälfte mehr. Für ein Unternehmen, dessen größtes Modell ein 70B- oder 120B-Modell ist, bringt der zusätzliche Speicher mehr Nutzer, aber keine neuen Modelle.

Die mittleren Zeilen sind die Modelle mit 700 bis 830 GiB. Sie passen auf den H200-NVL-Server nur als eine Kopie über beide Domänen, bei GLM-5.3 mit Cache für einige Dutzend Gespräche zu 32K. Auf der DGX lassen dieselben Gewichte Platz für ein Mehrfaches davon. Die letzte Zeile passt überhaupt nicht auf acht H200 NVL. Die Werte für diese Modelle, ihre Cache-Arten und Aufteilungen stammen aus unseren Leitfäden zu GLM, DeepSeek-V4-Pro auf acht H200 NVL oder einer DGX B300 und Muse Spark Open.

FP4, FP8 und FP64 auf beiden Systemen

Die Genauigkeit trennt die beiden Maschinen so deutlich wie der Speicher. Hopper hat keine FP4-Arithmetik. Ein für Blackwell erstellter NVFP4-Checkpoint läuft auf der H200 NVL nur als reines Gewichtsformat, gespeichert in 4 Bit und gerechnet in 16 Bit, wie unser Leitfaden zu FP4-Modellen auf H200 NVL und Ada-GPUs erklärt. Das Datenblatt der DGX B300 nennt 108 PFLOPS dichtes FP4 für das System.

In FP8 nennt NVIDIA 3.341 TFLOPS je H200 NVL mit Sparsity, also rund 1.671 dicht; acht Karten ergeben nach unserer Rechnung rund 13,4 PFLOPS dicht. Die DGX B300 führt 72 PFLOPS FP8 mit Sparsity, und die Fußnote der Seite sagt, dicht sei die Hälfte: 36 PFLOPS, das 2,7-Fache des H200-NVL-Servers.

Bei FP64 ist es umgekehrt. NVIDIA gibt jede H200 NVL mit 30 TFLOPS FP64 und 60 TFLOPS auf ihren FP64-Tensor-Cores an, acht Karten kommen also auf 240 TFLOPS. NVIDIAs HGX-Tabelle nennt 10 TFLOPS FP64 für alle acht B300-GPUs zusammen. Ein Forschungsinstitut, das VASP, Quantum ESPRESSO oder einen eigenen Löser in doppelter Genauigkeit neben seiner KI-Arbeit betreibt, lässt diese Arbeit auf Hopper, wie unser Vergleich von FP64-GPU-Servern zeigt.

Veröffentlichte MLPerf®-Ergebnisse für beide Systeme

Beide Systeme haben Einträge in MLPerf® Inference: Datacenter, Closed Division, mit Llama 2 70B, aber aus verschiedenen Runden: die DGX B300 in v6.1 vom 16. September 2026, acht H200 NVL in v6.0, weil v6.1 keinen Eintrag mit H200 NVL enthält.

MLPerf® Inference: Datacenter v6.1 und v6.0, Closed Division, Kategorie Available, Llama 2 70B, Szenarien Offline und Server, Einträge 6.1-0071 (NVIDIA DGX B300) (abgerufen von mlcommons.org am 24. Oktober 2026) und 6.0-0021 (Dell PowerEdge XE7740 mit acht H200 NVL, llama2-70b-99, abgerufen von mlcommons.org am 24. September 2026). Ergebnisse von der MLCommons Association verifiziert. Die Verhältnisse sind unsere Division der Systemergebnisse, keine MLPerf-Metrik. The MLPerf name and logo are registered and unregistered trademarks of MLCommons Association in the United States and other countries. All rights reserved. Unauthorized use strictly prohibited. See www.mlcommons.org for more information.

Je GPU ergibt unsere Division 13.660 Token pro Sekunde für die B300 und 4.001 für die H200 NVL, auch das keine MLPerf-Metrik. Zwischen zwei Runden unterscheiden sich neben der Hardware auch die Software-Stacks, das Verhältnis ist also als Größenordnung zu lesen. Die DGX B300 hat in v6.1 außerdem ein Ergebnis mit gpt-oss-120b, 106.637 Token pro Sekunde offline, für das es kein Gegenstück mit H200 NVL gibt.

Je Kilowatt wird der Abstand kleiner. Teilt man die Offline-Ergebnisse durch die 15,1 kW aus dem Datenblatt der DGX und durch unsere Schätzung von 6,3 kW für den H200-NVL-Server, ergeben sich rund 7.200 und 5.100 Token pro Sekunde je kW, ein Faktor von 1,4. Keiner der beiden Leistungswerte ist eine Messung aus diesen Läufen, das ist also ein grober Anhaltspunkt nach unserer Rechnung. Unser Artikel DGX B300 oder ein Server mit acht RTX PRO 6000 vergleicht die DGX auf denselben Benchmarks mit dem PCIe-Server mit Blackwell.

Den Achtkartenserver mit H200 NVL bauen wir auf Bestellung, die DGX B300 bieten wir projektbezogen an; senden Sie uns Ihre Modelle, deren Genauigkeit und die Spitzenzahl der Nutzer, und unser Team antwortet mit der Aufteilung und den Werten für beide Systeme.

Strom, Gewicht und Raum

Oft entscheidet der Raum vor den Benchmarks. Ein Server mit acht H200 NVL ist eine PCIe-Maschine in 4U, etwa Dells PowerEdge XE7740 oder Ciscos UCS C845A M8. Nach unserer Schätzung ziehen acht Karten zu 600 W und zwei AMD EPYC 9555 zu je 360 W, plus 15 Prozent für den Rest, rund 6,3 kW an der Steckdose, was einen Drehstromplatz mit 400 V verlangt; eine Messung am gelieferten System bestätigt oder korrigiert die Schätzung.

Unsere Schätzung für den H200-NVL-Server (Karten, Prozessoren, 15 Prozent für den Rest; 160 CFM je kW bei 11 °C Erwärmung aus unserem Rack-Leitfaden); Dell XE7740 Technical Guide Rev. A04 für die Zuluftgrenze. Benutzerhandbuch der DGX B300 (aktualisiert am 5. Oktober 2026) und NVIDIAs „Data Center Best Practices with DGX B300“ (Version 1.0, 27. Februar 2026), wie in unserem Artikel zu den DGX-B300-Spezifikationen zitiert.

Bei ihrer Spitze von 19,7 kW zieht eine DGX B300 nach unserer Schätzung rund so viel wie drei Achtkartenserver mit H200 NVL. NVIDIAs Rechenzentrums­leitfaden plant zwei AC-Systeme je Rack mit 39,4 kW Spitze und empfiehlt für solche Racks aktive Rücktür-Wärmetauscher, und das Benutzerhandbuch hält fest, dass das System „must be installed by NVIDIA partner network personnel or NVIDIA field service engineers“. Der H200-NVL-Server passt in ein Rack mit 20 kW Budget, zwei je Rack mit Platz für Switches. Unsere Leitfäden zu GPU-Servern an 16 A, 32 A und Drehstrom und zu den Spezifikationen und dem Strombedarf der DGX B300 liefern die Details zu Anschluss und Rack.

Feinabstimmung und Training auf acht GPUs

Training braucht weit mehr Speicher als der Betrieb. Adam in gemischter Genauigkeit hält vor den Aktivierungen rund 16 Byte je Parameter, die Modellzustände von Llama 3.3 70B kommen so auf rund 1.129 GB. Auf acht H200 NVL sind das 141,1 GB je Karte, so viel, wie die Karte fasst; eine vollständige Feinabstimmung braucht also CPU-Offload, wie unser Artikel zum Achtkartenserver mit H200 NVL vorrechnet. Auf einer DGX B300 mit rund 2,1 TB lassen dieselben Zustände nach unserer Rechnung rund 970 GB für Aktivierungen, etwa 120 GB je GPU.

LoRA und QLoRA eines 70B-Modells passen auf beide Maschinen mit reichlich Reserve. Der Unterschied liegt bei diesen Läufen in der Verbindung: Ein Job, der mehr als vier H200 NVL umfasst, schickt seinen Gradientenverkehr über PCIe zwischen den beiden Domänen, die DGX hält ihn auf NVLink. Ein Team, das offene Modelle vor allem mit LoRA anpasst, arbeitet auf dem H200-NVL-Server gut, wenn jeder Job innerhalb einer Domäne bleibt. Ein Team, das vortrainiert, 70B-Modelle vollständig feinabstimmt oder täglich über acht GPUs trainiert, gewinnt mit der DGX am meisten.

MIG, Software und Support

Beide Systeme teilen ihre GPUs mit MIG in bis zu sieben Instanzen, 56 je System. NVIDIAs MIG-Benutzerhandbuch, aktualisiert am 13. Oktober 2026, führt für das Produkt H200 141 GB bis zu sieben Mal 1g.18gb; NVIDIA AI Enterprise 8.2 führt für die B300 bis zu sieben Mal 1g.34gb. Eine Instanz der kleinsten Größe hat auf der DGX also rund doppelt so viel Speicher. Unsere MIG-Profile der H200 NVL listen jede Größe.

Die Softwarepakete unterscheiden sich so, dass es ins Angebot gehört. NVIDIAs Produktseite zur H200 führt das Add-on NVIDIA AI Enterprise bei der H200 NVL als „Included“, ein Fünfjahresabonnement je Karte. Die Produktseite der DGX B300 führt DGX OS als enthalten und NVIDIA AI Enterprise sowie NVIDIA Mission Control als „Recommended“, und NVIDIAs Lizenzleitfaden hält fest, dass AI-Enterprise-Lizenzen für DGX-Systeme mit Blackwell-GPUs separat gekauft werden. Die DGX kommt mit drei Jahren Business-Standard-Support von NVIDIA. Für den H200-NVL-Server bieten wir Herstellergarantie auf jede Komponente, abgewickelt über uns, und installieren auf Wunsch Betriebssystem, Treiber, CUDA und eine Container-Laufzeitumgebung.

Wie jedes System in der EU bestellt wird

Die beiden Bestellungen laufen unterschiedlich. Der H200-NVL-Server wird auf Bestellung gebaut: Wir senden ein schriftliches Angebot, der Server wird vor der Lieferung montiert und getestet, und die Bestellung läuft über einen EU-Vertrag und eine Rechnung; Mengen und Lieferzeit werden mit dem Angebot schriftlich bestätigt. Unsere Seite 8× H200 NVL Server kaufen zeigt Konfiguration und Varianten.

Die DGX B300 liefern wir projektbezogen. Bevor wir ein Angebot erstellen können, fragt die Distribution bei uns Unternehmen, Projekt und Verwendungszweck ab, und die Freigabe braucht Zeit. Wir prüfen Preis und Verfügbarkeit für Ihr Projekt, und unser Leitfaden zum Kauf einer DGX B300 in der EU listet, was die Anfrage enthalten und was ein DGX-Angebot ausweisen sollte.

Welches System zu welchem Einsatz passt

• Unternehmensassistent oder RAG-Dienst mit 70B- bis 235B-Modellen für Hunderte Nutzer: der H200-NVL-Server. Jede Kopie passt in eine NVLink-Domäne, und zwei Kopien teilen sich den Server.
• KI neben FP64-Simulation in einem Institut: der H200-NVL-Server, mit dem 24-Fachen der FP64-Angabe des B300-Systems.
• Ein Raum mit 16 bis 20 kW je Rack ohne Rücktürkühlung: der H200-NVL-Server.
• Modelle ab 700 GB für viele Nutzer oder FP4-Checkpoints mit voller Geschwindigkeit: die DGX B300.
• Vollständige Feinabstimmung von 70B-Modellen oder tägliches Training über acht GPUs: die DGX B300.

Zwischen beiden liegt ein zweiter H200-NVL-Server. Zwei Achtkartenserver betreiben ein großes Modell als vier Pipeline-Stufen oder überstehen als zwei Kopien den Ausfall eines Servers, wie unser Vergleich 1T-Modelle für 100 Nutzer auf einer DGX B300 oder zwei H200-NVL-Servern vorrechnet. Der Schritt über die DGX B300 hinaus und der Unterschied zu den HGX-B300-Servern der Hersteller steht in DGX B300 vs. DGX B200 vs. HGX B300. Wenn Sie unsicher sind, auf welcher Seite der Grenze Ihre Modelle liegen, nennen Sie uns Modelle, Kontextlänge und Rackplatz, und wir vergleichen beide Systeme für Ihren Fall.

Was wir liefern

Den Achtkartenserver mit H200 NVL können Sie bei uns kaufen: Unser Team legt die Konfiguration nach Ihrer Arbeitslast und Ihrem Budget aus und antwortet innerhalb eines Werktages. Unser Trainingsknoten hat acht H200 NVL mit zwei 4-Wege-NVLink-Brücken, zwei AMD-EPYC-Prozessoren, 2,3 TB DDR5 ECC, acht NVMe-Laufwerke und 400G-Netzwerk, vor der Lieferung montiert und getestet, über einen EU-Vertrag und eine Rechnung mit Herstellergarantie auf jede Komponente. Die Karten finden Sie auf unserer Seite zur H200 NVL. Die NVIDIA DGX B300 liefern wir projektbezogen; vor dem Angebot prüfen wir bei beiden Systemen Rack, Strom und Luftführung und empfehlen eine Abnahmeprüfung vor Ort, wie sie unser Leitfaden zur Abnahmeprüfung von GPU-Servern beschreibt.

FAQ