DGX B300 oder ein Server mit acht RTX PRO 6000: wann Sie NVLink und HBM brauchen

Zwei Maschinen, die auf einer Folie gleich aussehen

Beides sind Blackwell-Kisten mit acht GPUs aus NVIDIAs Katalog. Die eine ist ein System, die andere ein Referenzdesign, das Dell, HPE, Lenovo, Cisco und andere bauen. Bei der Zahl acht enden die Gemeinsamkeiten.

NVIDIA DGX B300 User Guide und Produktseite, HGX-B300-Seite, Referenzarchitektur RTX PRO AI Factory, September 2026. Die B300 trägt physisch 288 GB HBM3e; NVIDIAs MIG-Tabelle und der eigene MLPerf-Eintrag nennen 270 GB als sichtbare Kapazität, rechnen Sie also mit 270.

Zwei Fußnoten, die Ingenieure wollen. NVIDIA gibt Tensor-Werte für DGX und HGX mit Sparsity an und druckt den dichten Wert daneben; die Seite der RTX PRO 6000 nennt 4 PFLOPS FP4 ohne Angabe der Basis, behandeln Sie den Kartenwert also als Sparsity-Wert, bis NVIDIA etwas anderes sagt. Und FP64 ist nicht die Aufgabe der B300: Das HGX-B300-Board ist mit 10 TFLOPS angegeben gegenüber 296 bei der B200, ein CAE-Code mit doppelter Genauigkeit sollte die neuere Kiste also nicht für schneller halten.

Die Speicherrechnung, die die meisten Fälle entscheidet

Gewichte brauchen zwei Byte je Parameter in FP16, eines in FP8 und etwa die Hälfte in FP4; der KV-Cache für offene Gespräche kommt obendrauf, und der VRAM-Leitfaden hat die Formel. Schicken Sie drei Modelle durch beide Maschinen.

Nur Gewichte, gerechnet; Parameterzahlen nach den Modellkarten. Zu den Benchmarks 405B und DeepSeek-R1 hat in MLPerf Inference v6.0 niemand ein System mit acht RTX PRO 6000 eingereicht.

Die ersten beiden Zeilen sind der Fall für den PCIe-Server: eine Modellkopie je Karte, datenparallel, die Verbindung egal. Die letzten beiden sind der Fall für den DGX: Das Modell muss über GPUs verteilt werden, und dann läuft jedes Token über die Verbindung dazwischen. Tensor-Parallelismus fügt ein All-Reduce je Schicht ein; über NVLink mit 1,8 TB/s ist das ein Rundungsfehler, über PCIe Gen5 x16 mit 128 GB/s der Engpass. Pipeline-Parallelismus, der Aktivierungen nur an Stufengrenzen schickt, und Datenparallelismus vertragen PCIe; Tensor-Parallelismus nicht.

Was MLPerf Inference v6.0 gemessen hat

Die geschlossene Division von MLCommons ist der einzige Ort, an dem beide Maschinen unter denselben Regeln auftauchen, und die Ergebnisse liegen öffentlich im MLCommons-Repository. NVIDIA hat den DGX B300 eingereicht, Dell, HPE und Lenovo Systeme mit acht RTX PRO 6000.

MLPerf Inference v6.0, geschlossene Division, verfügbare Systeme; Werte je Knoten. Die Whisper-Zeile vergleicht zwei Lenovo-Systeme. Zu keinem dieser Einträge wurden Leistungsmessungen eingereicht, einen gemessenen Vergleich von Token pro Watt gibt es also nicht.

Zwei Lesarten. Je Knoten ist der DGX bei Inferenz der 70B-Klasse drei- bis viermal schneller und beim 120B-Mixture-of-Experts-Modell etwa siebenmal, obwohl dieses Modell auf eine einzelne RTX-PRO-Karte passt: 8 TB/s HBM und eine GPU mit 15 PFLOPS FP4 dominieren. Je GPU sind das 14.119 gegen 3.738 Token pro Sekunde bei Llama 2 70B. Der PCIe-Server ist kein langsamerer DGX, sondern eine andere Klasse von Maschine, die zufällig gleich viele GPUs trägt, und der Vergleich mit der H200 NVL zeigt dieselbe Bandbreitenlogik eine Generation tiefer.

Beim Training ist der Abstand größer. In MLPerf Training v6.0 hat ein System mit acht RTX PRO 6000 den Benchmark Llama 3.1 8B in rund 375 Minuten vortrainiert; acht B300 in einem HGX-Knoten brauchten etwa 72 bis 75 Minuten, fünfmal schneller, und zum Benchmark 70B LoRA hat kein PCIe-System mit RTX PRO eingereicht. Training von Modellen der 405B-Klasse taucht in den Ergebnissen nur auf Hunderten bis Tausenden NVL72-GPUs auf, und das liegt außerhalb beider Kisten.

Die Seite des Rechenzentrums

Ein DGX B300 ist in der Wechselstromversion ein 10U-System mit 168 kg, das bis zu 14,5 kW aus zwölf Netzteilen zu 3,2 kW in N+N zieht, Zuluft von höchstens 30 °C will und bei 70 Prozent Lüfterdrehzahl 1.500 CFM bewegt. NVIDIAs Best-Practice-Dokument stellt zwei davon an Wechselstromverteilung in ein Rack mit 39,4 kW Spitze oder vier an eine 54-V-Stromschiene mit 76 kW Spitze und empfiehlt aktive Rear-Door-Wärmetauscher, während es von passiven abrät. Das ist ab dem ersten Rack Rear-Door-Gebiet.

Ein Server mit acht PCIe-Karten ist ein 4U Dell XE7745 mit 68,5 kg oder ein 3U Lenovo SR675 V3 mit unter 40 kg, mit 4,8 kW GPU-Leistung plus Prozessoren, Lüftern und Arbeitsspeicher, an gewöhnlichen Zuleitungen mit 200 bis 240 V und gewöhnlicher Rack-Kühlung. Vier davon nähern sich 50 kW in einem Rack, und dort hört Luft auf, aber einer oder zwei gehen ohne Bauprojekt in eine Standardreihe. Das Verhältnis zum Merken ist grob ein DGX zu drei PCIe-Servern bei Leistung und Gewicht, für den drei- bis siebenfachen Inferenzdurchsatz.

Software, Support und die Lizenzzeile

Der DGX kommt mit DGX OS, Mission Control (Base Command Manager, Run:ai, UFM und NetQ mit einer automatischen Wiederherstellung) und drei Jahren Business-Standard-Support von NVIDIA, mit vorab versandtem Ersatzteil am nächsten Werktag und einem Techniker vor Ort als Option. Die Referenzarchitektur für RTX-PRO-Server wird mit Base Command Manager und Run:ai verwaltet; Mission Controls Liste unterstützter Systeme enthält sie nicht, und der Support kommt vom Hersteller des Servers.

NVIDIA AI Enterprise wird auf beiden Maschinen pro GPU lizenziert: acht Lizenzen für acht GPUs, was die Karten auch kosten. NVIDIAs Lizenzleitfaden schreibt, für DGX-Systeme mit Blackwell-GPUs seien die Lizenzen separat zu kaufen, während die Produktseite des DGX B300 die Software als enthalten führt und die SuperPOD-Architektur sagt, sie sei dort enthalten. Die ehrliche Anweisung für Käufer lautet, den Anspruch und seine Laufzeit ins Angebot schreiben zu lassen; unser Lizenzleitfaden erklärt, was sie abdeckt.

Wann der DGX die richtige Antwort ist

Wenn das Modell in der gewünschten Präzision samt Cache nicht auf eine 96-GB-Karte passt und mit interaktiver Latenz über GPUs verteilt werden muss: dichte Modelle der 405B-Klasse in FP8, 70B in FP16, die großen Mixture-of-Experts-Modelle zum Schlussfolgern. Wenn Sie Fine-Tuning oder Vortraining betreiben und Gradienten in jedem Schritt ausgetauscht werden. Wenn Durchsatz je Höheneinheit mehr zählt als der Preis der Gebäudearbeit, weil ein DGX drei bis sieben PCIe-Knoten in den Benchmarks oben ersetzt. Wenn Sie auf einen BasePOD oder SuperPOD hinbauen und Support direkt von NVIDIA sowie Mission Control wollen. Und, nach NVIDIAs eigener Positionierung, wenn die Last über die „kleinen und mittleren Modellgrößen“ hinausgeht, für die die RTX-PRO-Referenzarchitektur geschrieben ist.

Wann acht PCIe-Karten die bessere Wahl sind

Wenn jede Modellkopie auf eine Karte passt: 70B in FP8, 120B-Mixture-of-Experts in FP4 und jedes Modell mit 32B und weniger, das die meisten Unternehmen tatsächlich betreiben. Wenn die Umgebung gemischt ist: Rendering, Video, digitale Zwillinge, virtuelle Workstations und vGPU neben der Inferenz, was die B300 gar nicht kann und die RTX PRO 6000 von Haus aus. Wenn FP32 gebraucht wird: 120 TFLOPS je Karte gegenüber rund 75 bei der B300. Wenn der Raum ein gewöhnlicher Serverraum ist. Wenn vier MIG-Instanzen je Karte und ein vGPU-Plan zählen. Und wenn die Auswahl unter Herstellern und ein Supportvertrag mit dem eigenen Lieferanten mehr wert sind als ein System aus einer Hand. Unser Gehäuse-Leitfaden erklärt Lanes, Switches und Netzteile dieser Server.

DGX B200 oder B300

Die B300 hält die FP8-Spitze der B200, legt bei dichtem FP4 die Hälfte drauf, verdoppelt den Attention-Durchsatz, trägt die Hälfte mehr Speicher und wechselt von ConnectX-7 mit 400 Gbit/s auf ConnectX-8 mit 800 Gbit/s. Sie gibt FP64 und INT8 ab, verengt die Zuluftgrenze von 35 auf 30 °C und wiegt in der Netzteilversion mehr. MLPerf v6.0 bemisst den gemessenen Zugewinn auf 45 Prozent beim 405B-Benchmark, 23 Prozent bei DeepSeek-R1 und 8 Prozent bei Llama 2 70B. Für eine Inferenzumgebung ist die B200 ein vernünftiger Kauf, solange sie angeboten wird; für die größten Modelle und für Training entscheidet der Speicher der B300.

Was wir liefern

Eurokommerz liefert NVIDIA-DGX-Systeme und Server mit acht RTX PRO 6000 von Dell, HPE, Lenovo und Supermicro EU-weit, mit der Checkliste für den Raum: Zuleitung, Gewicht, Zulufttemperatur, Rear-Door-Kühlung dort, wo der DGX sie braucht. Nennen Sie uns die Modelle und die Nutzerzahl, und wir sagen Ihnen, auf welche Klasse von Maschine die Rechnung zeigt, bevor jemand einen Katalog öffnet.

FAQ