DGX B300 oder ein Server mit acht RTX PRO 6000: wann Sie NVLink und HBM brauchen

Zwei Maschinen, die auf einer Folie gleich aussehen

Beides sind Blackwell-Kisten mit acht GPUs aus NVIDIAs Katalog. Die eine ist ein System, die andere ein Referenzdesign, das Dell, HPE, Lenovo, Cisco und andere bauen. Bei der Zahl acht enden die Gemeinsamkeiten.

NVIDIA DGX B300 User Guide und Produktseite, HGX-B300-Seite, Referenzarchitektur RTX PRO AI Factory, September 2026. Die B300 trägt physisch 288 GB HBM3e; MLPerf-Einträge nennen den Beschleuniger B300-SXM-270GB, und NVIDIAs vGPU-Tabellen geben 269 GB als größtes Profil an, rechnen Sie also mit rund 270.

Zwei Fußnoten, die Ingenieure wollen. NVIDIA gibt Tensor-Werte für DGX und HGX mit Sparsity an und druckt den dichten Wert daneben; die Seite der RTX PRO 6000 nennt 4 PFLOPS FP4 ohne Angabe der Basis, behandeln Sie den Kartenwert also als Sparsity-Wert, bis NVIDIA etwas anderes sagt. Und FP64 ist nicht die Aufgabe der B300: Das HGX-B300-Board ist mit 10 TFLOPS angegeben gegenüber 296 bei der B200, ein CAE-Code mit doppelter Genauigkeit sollte die neuere Kiste also nicht für schneller halten.

Die Speicherrechnung, die die meisten Fälle entscheidet

Gewichte brauchen zwei Byte je Parameter in FP16, eines in FP8 und in FP4 ein halbes Byte plus Blockskalierungen, wobei einige Schichten in BF16 bleiben: NVIDIAs NVFP4-Checkpoint von DeepSeek-R1 hat 424 GB; der KV-Cache für offene Gespräche kommt obendrauf, und der VRAM-Leitfaden hat die Formel. Schicken Sie drei Modelle durch beide Maschinen.

Nur Gewichte, gerechnet; Parameterzahlen nach den Modellkarten. Zu den Benchmarks 405B und DeepSeek-R1 hat in MLPerf Inference v6.0 niemand ein System mit acht RTX PRO 6000 eingereicht.

Die ersten beiden Zeilen sind der Fall für den PCIe-Server: eine Modellkopie je Karte, datenparallel, die Verbindung egal. Die letzten beiden sind der Fall für den DGX: Das Modell muss über GPUs verteilt werden, und dann läuft jedes Token über die Verbindung dazwischen. Tensor-Parallelismus fügt je Schicht im Vorwärtsdurchlauf zwei All-Reduce-Operationen ein; über NVLink mit 1,8 TB/s ist das ein kleiner Posten, über PCIe Gen5 x16 mit 128 GB/s der größte. Pipeline-Parallelismus, der Aktivierungen nur an Stufengrenzen schickt, und Datenparallelismus passen besser zu PCIe; Tensor-Parallelismus läuft darüber, aber mit Leistungseinbußen.

Was MLPerf Inference v6.0 gemessen hat

Die geschlossene Division von MLCommons ist der Ort, an dem beide Maschinen unter denselben Regeln auftauchen, und die Ergebnisse liegen öffentlich im MLCommons-Repository. In MLPerf® Inference v6.0 (April 2026) hat NVIDIA den DGX B300 eingereicht; Cisco, Dell, HPE, Lenovo, Quanta Cloud Technology und ein weiterer Serverhersteller (Einträge 6.0-0004 und 6.0-0005) haben Systeme mit acht RTX PRO 6000 eingereicht. Die Runde v6.1 vom 16. September 2026 ist hier nicht berücksichtigt.

MLPerf Inference v6.0, Datacenter, geschlossene Division, verfügbare Systeme, Offline-Szenario; Werte je Knoten. Einträge: NVIDIA DGX B300 6.0-0073; HPE ProLiant Compute DL380a Gen12 mit acht RTX PRO 6000 6.0-0047 (Zeile Llama 2 70B: Benchmark llama2-70b-99.9); Lenovo ThinkSystem SR680a V4 mit acht B300 6.0-0066 (Whisper); für den Vergleich mit der B200 weiter unten NVIDIA DGX B200 6.0-0040 (405B, DeepSeek-R1) und HPE ProLiant Compute XD685 mit acht B200 6.0-0048 (llama2-70b-99.9). Abgerufen von mlcommons.org am 24. September 2026; Ergebnisse von der MLCommons Association verifiziert. Die Whisper-Zeile stellt das Lenovo-System mit acht B300 dem HPE-System gegenüber. Die Einträge zu den Sprachmodellen laufen auf beiden Maschinen in FP4; von den beiden Whisper-Einträgen läuft der zur B300 in FP16 und der zur RTX PRO 6000 in FP4; zu keinem dieser Einträge wurden Leistungsmessungen eingereicht, einen gemessenen Vergleich von Token pro Watt gibt es also nicht. The MLPerf name and logo are registered and unregistered trademarks of MLCommons Association in the United States and other countries. All rights reserved. Unauthorized use strictly prohibited. See www.mlcommons.org for more information.

Zwei Lesarten. Je Knoten ist der DGX bei Inferenz der 70B-Klasse drei- bis viermal schneller und beim 120B-Mixture-of-Experts-Modell etwa siebenmal, obwohl dieses Modell auf eine einzelne RTX-PRO-Karte passt: 8 TB/s HBM und 13,5 PFLOPS dichtes FP4 je GPU (108 je Knoten) dominieren. Je GPU sind das 14.119 gegen 3.738 Token pro Sekunde bei Llama 2 70B, unsere Rechnung (Systemergebnis geteilt durch seine acht GPUs), keine MLPerf-Metrik. Der PCIe-Server ist kein langsamerer DGX, sondern eine andere Klasse von Maschine, die zufällig gleich viele GPUs trägt, und der Vergleich mit der H200 NVL zeigt dieselbe Bandbreitenlogik eine Generation tiefer.

Auch in MLPerf Training v6.0 ist ein System mit acht RTX PRO 6000 vertreten.

Die Seite des Rechenzentrums

Ein DGX B300 ist in der Wechselstromversion ein 10U-System mit 168 kg, das bis zu 14,5 kW aus zwölf Netzteilen zu 3,2 kW in N+N zieht, Zuluft von höchstens 30 °C will und bei 70 Prozent Lüfterdrehzahl 1.500 CFM bewegt. NVIDIAs Best-Practice-Dokument stellt zwei davon an Wechselstromverteilung in ein Rack mit 39,4 kW Spitze oder vier an eine 54-V-Stromschiene mit 76 kW Spitze und empfiehlt aktive Rear-Door-Wärmetauscher, während es von passiven abrät. Das ist ab dem ersten Rack Rear-Door-Gebiet.

Ein Server mit acht PCIe-Karten ist ein 4U Dell XE7745 mit 68,5 kg oder ein 3U Lenovo SR675 V3 mit unter 40 kg, mit 4,8 kW GPU-Leistung plus Prozessoren, Lüftern und Arbeitsspeicher, an gewöhnlichen Zuleitungen mit 200 bis 240 V und gewöhnlicher Rack-Kühlung. Vier davon bringen allein an GPU-Leistung rund 19 kW in ein Rack (4 × 4,8 kW), vor Prozessoren, Lüftern und Arbeitsspeicher, und dort werden Einhausung und eine passend ausgelegte Zuleitung zur Frage; einer oder zwei gehen ohne Bauprojekt in eine Standardreihe. Das Verhältnis zum Merken ist grob ein DGX zu drei PCIe-Servern bei Leistung und Gewicht, für den drei- bis siebenfachen Inferenzdurchsatz bei Sprachmodellen.

Software, Support und die Lizenzzeile

Der DGX kommt mit DGX OS, Mission Control (Base Command Manager, Run:ai, UFM und NetQ mit einer automatischen Wiederherstellung) und drei Jahren Business-Standard-Support von NVIDIA, mit vorab versandtem Ersatzteil am nächsten Werktag und einem Techniker vor Ort als Option. Die Referenzarchitektur für RTX-PRO-Server wird mit Base Command Manager und Run:ai verwaltet; Mission Controls Liste unterstützter Systeme enthält sie nicht, und der Support kommt vom Hersteller des Servers.

NVIDIA AI Enterprise wird auf beiden Maschinen pro GPU lizenziert: acht Lizenzen für acht GPUs, was die Karten auch kosten. NVIDIAs Lizenzleitfaden schreibt, für DGX-Systeme mit Blackwell-GPUs seien die Lizenzen separat zu kaufen, während die Produktseite des DGX B300 die Software als enthalten führt und die SuperPOD-Architektur sagt, sie sei dort enthalten. Die ehrliche Anweisung für Käufer lautet, den Anspruch und seine Laufzeit ins Angebot schreiben zu lassen; unser Lizenzleitfaden erklärt, was sie abdeckt.

Wann der DGX die richtige Antwort ist

Wenn das Modell in der gewünschten Präzision samt Cache nicht auf eine 96-GB-Karte passt und mit interaktiver Latenz über GPUs verteilt werden muss: dichte Modelle der 405B-Klasse in FP8, 70B in FP16, die großen Mixture-of-Experts-Modelle zum Schlussfolgern. Wenn Sie Fine-Tuning oder Vortraining betreiben und Gradienten in jedem Schritt ausgetauscht werden. Wenn Durchsatz je Höheneinheit mehr zählt als der Preis der Gebäudearbeit, weil ein DGX in den Sprachmodell-Benchmarks oben drei bis sieben PCIe-Knoten ersetzt. Wenn Sie auf einen BasePOD oder SuperPOD hinbauen und Support direkt von NVIDIA sowie Mission Control wollen. Und, nach NVIDIAs eigener Positionierung, wenn die Last über die „kleinen und mittleren Modellgrößen“ hinausgeht, für die die RTX-PRO-Referenzarchitektur geschrieben ist.

Wann acht PCIe-Karten die bessere Wahl sind

Wenn jede Modellkopie auf eine Karte passt: 70B in FP8, 120B-Mixture-of-Experts in FP4 und jedes Modell mit 32B und weniger, das die meisten Unternehmen tatsächlich betreiben. Wenn die Umgebung gemischt ist: Rendering, Video, digitale Zwillinge und virtuelle Workstations neben der Inferenz, was die B300 nicht bietet und die RTX PRO 6000 von Haus aus kann; die B300 unterstützt unter NVIDIA AI Enterprise Compute-vGPU, aber keine Grafik. Wenn FP32 gebraucht wird: 120 TFLOPS je Karte gegenüber rund 75 bei der B300. Wenn der Raum ein gewöhnlicher Serverraum ist. Wenn vier MIG-Instanzen je Karte und ein Plan für Grafik-vGPU zählen. Und wenn die Auswahl unter Herstellern und ein Supportvertrag mit dem eigenen Lieferanten mehr wert sind als ein System aus einer Hand. Unser Gehäuse-Leitfaden erklärt Lanes, Switches und Netzteile dieser Server.

DGX B200 oder B300

Die B300 hält die FP8-Spitze der B200, legt bei dichtem FP4 die Hälfte drauf, verdoppelt den Attention-Durchsatz, trägt die Hälfte mehr Speicher und wechselt von ConnectX-7 mit 400 Gbit/s auf ConnectX-8 mit 800 Gbit/s. Sie gibt FP64 und INT8 ab, verengt die Zuluftgrenze von 35 auf 30 °C und wiegt in der Netzteilversion mehr. MLPerf Inference v6.0 (geschlossene Division, offline, acht GPUs auf jeder Seite) beziffert den Vorsprung des DGX B300 vor B200-Systemen auf 45 Prozent beim 405B-Benchmark, 23 Prozent bei DeepSeek-R1 und 8 Prozent bei Llama 2 70B (Einträge in der Anmerkung unter der Ergebnistabelle). Für eine Inferenzumgebung ist die B200 ein vernünftiger Kauf, solange sie angeboten wird; für die größten Modelle und für Training entscheidet der Speicher der B300.

Was wir liefern

Eurokommerz liefert die RTX PRO 6000 Server Edition und individuelle, auf Bestellung gebaute KI-Server mit acht davon, EU-weit, mit einer Rack-, Strom- und Luftstromprüfung vor dem Angebot. Aus NVIDIAs DGX-Reihe liefern wir nur den DGX Spark, nicht den DGX B300. Nennen Sie uns die Modelle und die Nutzerzahl, und wir sagen Ihnen, auf welche Klasse von Maschine die Rechnung zeigt, bevor jemand einen Katalog öffnet.

FAQ