DGX B300 oder ein Server mit acht RTX PRO 6000: wann Sie NVLink und HBM brauchen

DGX B300 und ein Server mit acht RTX PRO 6000: technische Daten

Beides sind Blackwell-Konfigurationen mit acht GPUs aus NVIDIAs Katalog. Der DGX B300 ist ein komplettes NVIDIA-System; der Server mit RTX PRO 6000 ist ein Referenzdesign, das Dell, HPE, Lenovo, Cisco und andere bauen. Abgesehen von der Zahl der GPUs unterscheiden sich fast alle technischen Daten.

NVIDIA DGX B300 User Guide und Produktseite, HGX-B300-Seite, Referenzarchitektur RTX PRO AI Factory, September 2026. Die B300 trägt physisch 288 GB HBM3e; MLPerf®-Einträge nennen den Beschleuniger B300-SXM-270GB, und NVIDIAs vGPU-Tabellen geben 269 GB als größtes Profil an, rechnen Sie also mit rund 270.

Beim Lesen dieser Werte sind zwei weitere Punkte wichtig. NVIDIA gibt Tensor-Werte für DGX und HGX mit Sparsity an und druckt den dichten Wert daneben; die Seite der RTX PRO 6000 nennt 4 PFLOPS FP4 ohne Angabe der Basis, behandeln Sie den Kartenwert also als Sparsity-Wert, bis NVIDIA etwas anderes sagt. Außerdem ist die FP64-Leistung der B300 deutlich niedriger: Das HGX-B300-Board ist mit 10 TFLOPS angegeben gegenüber 296 bei der B200, ein CAE-Code mit doppelter Genauigkeit sollte das neuere System also nicht für schneller halten.

MIG unterteilt eine B300 in bis zu sieben isolierte GPU-Instanzen. NVIDIAs MIG User Guide, Stand 13. Oktober 2026, enthält noch keine Tabelle für die B300; die Profile stehen in der vGPU-Referenz von NVIDIA AI Enterprise 8.2 für die HGX-B300-Plattform. Es sind 1g.34gb (bis zu sieben je GPU), 1g.67gb (vier), 2g.67gb (drei), 3g.135gb (zwei), 4g.135gb und 7g.269gb (je eine), die acht GPUs eines DGX B300 ergeben also bis zu 56 Instanzen. Die RTX PRO 6000 Server Edition lässt sich in bis zu vier Instanzen mit 24 GB unterteilen, 32 in einem Server mit acht Karten. Die vollständige MIG-Tabelle der B300 mit den vGPU-Profilnamen steht in unserem Artikel zu den technischen Daten und Stromanforderungen des DGX B300.

Speicher: welche Modelle auf welche Maschine passen

In FP16 brauchen Gewichte zwei Byte je Parameter, in FP8 ein Byte und in FP4 ein halbes Byte plus Blockskalierungen, wobei einige Schichten in BF16 bleiben; NVIDIAs NVFP4-Checkpoint von DeepSeek-R1 hat zum Beispiel 424 GB. Der KV-Cache für offene Gespräche kommt hinzu, und der VRAM-Leitfaden hat die Formel. Die Tabelle wendet das auf vier Modelle auf beiden Maschinen an.

Nur Gewichte, gerechnet; Parameterzahlen nach den Modellkarten. DGX B300 rund 2.160 GB sichtbar; acht RTX PRO 6000 mit 768 GB, von denen der Treiber 764,8 GiB anzeigt.

In den ersten beiden Zeilen passt der PCIe-Server besser, weil jede Karte eine vollständige Kopie des Modells hält, die Kopien datenparallel laufen und die Verbindung zwischen den GPUs keine Rolle spielt. In den letzten beiden Zeilen passt der DGX besser, weil das Modell über GPUs verteilt werden muss und dann jedes Token über die Verbindung dazwischen läuft. Tensor-Parallelismus fügt je Schicht im Vorwärtsdurchlauf zwei All-Reduce-Operationen ein; über NVLink mit 1,8 TB/s ist das ein kleiner Posten, über PCIe Gen5 x16 mit 128 GB/s der größte. Pipeline-Parallelismus, der Aktivierungen nur an Stufengrenzen schickt, und Datenparallelismus passen besser zu PCIe; Tensor-Parallelismus läuft darüber, aber mit Leistungseinbußen. Wir liefern den DGX B300 projektbezogen und bauen KI-Server mit bis zu acht Karten der RTX PRO 6000 Server Edition auf Bestellung. Schildern Sie kurz Ihr Vorhaben, und unser Team hilft Ihnen weiter.

Was MLPerf® Inference v6.1 gemessen hat

Die geschlossene Division von MLCommons ist der Ort, an dem beide Maschinen unter denselben Regeln auftauchen, und die Ergebnisse liegen öffentlich im MLCommons-Repository. In MLPerf® Inference v6.1 vom 16. September 2026 hat NVIDIA den DGX B300 eingereicht (Eintrag 6.1-0071), und weitere Einreicher haben Systeme mit acht RTX PRO 6000 Server Edition gemeldet. Die Tabelle zeigt Llama 2 70B und gpt-oss-120b, zwei Benchmarks, zu denen beide Maschinen Ergebnisse haben.

MLPerf® Inference v6.1, Datacenter, geschlossene Division, verfügbare Systeme, Offline-Szenario; Werte je Knoten. Einträge: NVIDIA DGX B300 6.1-0071; acht RTX PRO 6000 Server Edition 6.1-0070 (Llama 2 70B, Benchmark llama2-70b-99.9) und 6.1-0082 (gpt-oss-120b). Abgerufen von mlcommons.org am 16. Oktober 2026; Ergebnisse von der MLCommons Association verifiziert. Die Verhältnisse sind unsere Rechnung aus den Werten je Knoten, keine MLPerf®-Metrik. The MLPerf name and logo are registered and unregistered trademarks of MLCommons Association in the United States and other countries. All rights reserved. Unauthorized use strictly prohibited. See www.mlcommons.org for more information.

Je Knoten ist der DGX bei Inferenz der 70B-Klasse drei- bis viermal schneller und beim 120B-Mixture-of-Experts-Modell etwa siebenmal schneller, obwohl dieses Modell auf eine einzelne RTX-PRO-Karte passt. Den Unterschied machen 8 TB/s HBM je GPU und 108 PFLOPS dichtes FP4 je Knoten laut Datenblatt, nach unserer Rechnung 13,5 PFLOPS je GPU. Je GPU lauten die Werte für Llama 2 70B 13.660 gegen 3.754 Token pro Sekunde, unsere Rechnung (Systemergebnis geteilt durch seine acht GPUs), keine MLPerf®-Metrik. Es sind zwei verschiedene Klassen von Maschinen, die zufällig gleich viele GPUs tragen, und der Vergleich mit der H200 NVL zeigt dieselbe Bandbreitenlogik eine Generation tiefer.

Strom, Kühlung und Gewicht

Ein DGX B300 ist ein 10U-System mit 168 kg in der Wechselstromversion mit Netzteilen und 123 kg in der Version für die Stromschiene. NVIDIAs User Guide nennt eine Leistungsaufnahme von 14,5 kW und für den 54-V-Gleichstromeingang der Stromschiene 15 kW als Systemmaximum. Das Datenblatt vom Februar 2026 gibt 15,1 kW für die Wechselstromversion und 14,5 kW für die Stromschienenversion an. Die Wechselstromversion hat zwölf Netzteile zu 3,2 kW in N+N, von denen mindestens sechs erforderlich sind. Er braucht Zuluft von höchstens 30 °C und bewegt bei 70 Prozent Lüfterdrehzahl 1.500 CFM; NVIDIAs Rechenzentrums­leitfaden für den DGX B300 nennt einen Zuluftbedarf von bis zu etwa 2.145 CFM je System. Derselbe Leitfaden stellt zwei davon an Wechselstromverteilung in ein Rack mit 39,4 kW Spitze oder vier an eine 54-V-Stromschiene mit 76 kW Spitze und empfiehlt für Racks mit hoher Leistungsdichte aktive Rear-Door-Wärmetauscher, während er von passiven abrät. Schon das Wechselstrom-Rack mit zwei Systemen kommt im Mittel auf 30 kW.

Ein Server mit acht PCIe-Karten ist zum Beispiel ein 4U Dell XE7745 mit 68,5 kg oder ein 3U Lenovo SR675 V3 mit unter 40 kg. Er braucht 4,8 kW GPU-Leistung plus Prozessoren, Lüfter und Arbeitsspeicher und kommt mit gewöhnlichen Zuleitungen mit 200 bis 240 V und gewöhnlicher Rack-Kühlung aus; einer oder zwei davon passen ohne Bauprojekt in eine Standardreihe. Vier davon bringen allein an GPU-Leistung rund 19 kW in ein Rack (4 × 4,8 kW), vor Prozessoren, Lüftern und Arbeitsspeicher, und ab diesem Punkt müssen Einhausung und eine passend ausgelegte Stromzuleitung geplant werden. Bei Leistungsaufnahme und Gewicht entspricht ein DGX grob zwei oder drei PCIe-Servern, und in den Sprachmodell-Benchmarks oben liefert er den drei- bis siebenfachen Inferenzdurchsatz eines solchen Servers.

Software, Support und Lizenzen für NVIDIA AI Enterprise

Zum DGX gehören DGX OS und drei Jahre Business-Standard-Support von NVIDIA mit Vorabaustausch von Ersatzteilen am nächsten Werktag; ein Techniker vor Ort ist optional. Mission Control (Base Command Manager, Run:ai, UFM und NetQ, mit einer Engine für autonome Wiederherstellung) führt NVIDIA als empfohlen, nicht als enthalten; es ist also ein eigener Posten im Angebot. Die Referenzarchitektur für RTX-PRO-Server wird mit Base Command Manager und Run:ai verwaltet; Mission Controls Liste unterstützter Systeme enthält sie nicht, und der Support kommt vom Hersteller des Servers.

NVIDIA AI Enterprise wird auf beiden Maschinen pro GPU lizenziert: acht Lizenzen für acht GPUs, unabhängig vom Preis der Karten. NVIDIAs Lizenzleitfaden schreibt, für DGX-Systeme mit Blackwell-GPUs seien die Lizenzen separat zu kaufen, während die Produktseite des DGX B300, aktualisiert am 15. Oktober 2026, sie als „NVIDIA AI Enterprise (Recommended)“ führt und nur DGX OS als „Included“. Lassen Sie den Anspruch und seine Laufzeit ins Angebot schreiben; unser Lizenzleitfaden erklärt, was die Lizenz abdeckt.

Wann ein DGX B300 die bessere Wahl ist

Ein DGX B300 ist die bessere Wahl, wenn das Modell in der gewünschten Präzision samt Cache nicht auf eine 96-GB-Karte passt und mit interaktiver Latenz über GPUs verteilt werden muss: dichte Modelle der 405B-Klasse in FP8, 70B in FP16 und die großen Mixture-of-Experts-Modelle zum Schlussfolgern. Er ist auch die bessere Wahl, wenn Sie Fine-Tuning oder Vortraining betreiben und Gradienten in jedem Schritt ausgetauscht werden, und wenn Durchsatz je Höheneinheit mehr zählt als die Kosten der Bauarbeiten im Rechenzentrum, weil ein DGX in den Sprachmodell-Benchmarks oben drei bis sieben PCIe-Knoten ersetzt. Dasselbe gilt, wenn Sie auf einen BasePOD oder SuperPOD hinbauen und Support direkt von NVIDIA sowie den Betrieb mit Mission Control wollen, oder wenn die Last nach NVIDIAs eigener Positionierung über die „kleinen und mittleren Modellgrößen“ hinausgeht, für die die RTX-PRO-Referenzarchitektur geschrieben ist.

Wann ein Server mit acht PCIe-Karten die bessere Wahl ist

Ein Server mit acht RTX PRO 6000 ist die bessere Wahl, wenn jede Modellkopie auf eine Karte passt: 70B in FP8, 120B-Mixture-of-Experts in FP4 und jedes Modell mit 32B oder weniger, die Größe, die die meisten Unternehmen betreiben. Er passt auch zu einer gemischten Umgebung mit Rendering, Video-Encoding, digitalen Zwillingen und virtuellen Workstations neben der Inferenz: Die RTX PRO 6000 beherrscht diese Aufgaben von Haus aus, die B300 nicht; sie unterstützt unter NVIDIA AI Enterprise Compute-vGPU, aber keine Grafik. Dasselbe gilt, wenn die Arbeit FP32 braucht (120 TFLOPS je Karte gegenüber rund 75 bei der B300), wenn die Server in einem gewöhnlichen Serverraum stehen werden, wenn vier MIG-Instanzen je Karte und ein Plan für Grafik-vGPU zählen und wenn die Auswahl unter mehreren Herstellern und ein Supportvertrag mit dem Serverhersteller mehr wert sind als ein System aus einer Hand. Unser Gehäuse-Leitfaden erklärt Lanes, Switches und Netzteile dieser Server.

Wir bauen diese Server nach Auftrag mit Karten der RTX PRO 6000 Server Edition. Schreiben Sie uns, welche Modelle laufen sollen und ob der Server auch Rendering oder virtuelle Workstations bedienen soll, und wir antworten innerhalb eines Werktages mit Konfiguration und Angebot.

DGX B200 oder B300

Gegenüber der B200 behält die B300 dieselbe FP8-Spitze, bietet 50 Prozent mehr dichtes FP4 und 288 GB HBM3e je GPU gegenüber 180 GB im DGX B200, verdoppelt den Attention-Durchsatz und wechselt von ConnectX-7 mit 400 Gbit/s auf ConnectX-8 mit 800 Gbit/s. Sie hat eine geringere FP64- und INT8-Leistung, eine niedrigere Zuluftgrenze (30 °C statt 35 °C) und in der Netzteilversion ein höheres Gewicht. Bei FP8-Inferenz und FP64-Berechnungen ist die B200 nach NVIDIAs Werten gleichauf oder stärker; für die größten Modelle und für Training entscheidet der Speicher der B300. Den DGX B200 liefern wir nicht; unser Vergleich von DGX B300 und DGX B200 hat die vollständige Tabelle.

Was wir liefern

Wir liefern die RTX PRO 6000 Server Edition als Karte und in nach Auftrag gebauten KI-Servern mit bis zu acht Karten, EU-weit, unter einem EU-Vertrag und auf einer Rechnung. Bevor wir ein Angebot für einen Server erstellen, prüfen wir Rack, Strom und Luftstrom. Aus NVIDIAs DGX-Reihe liefern wir den DGX Spark und projektbezogen den DGX B300; bevor wir ein Angebot für einen DGX B300 erstellen können, fragt uns die Distribution nach dem Unternehmen, dem Projekt und dem vorgesehenen Einsatz, wie unser Leitfaden zum Kauf eines DGX B300 in der EU beschreibt. Schicken Sie uns die Modelle, ihre Präzision und die Zahl der gleichzeitigen Nutzer, und wir rechnen aus, ob jede Modellkopie auf eine 96-GB-Karte passt oder über GPUs verteilt werden muss.

FAQ