DGX A100 oder HGX A100 ersetzen: 8× H200 NVL, 8× RTX PRO 6000 Server Edition oder DGX B300

DGX A100 oder HGX A100 ablösen: was Sie ersetzen und die drei Möglichkeiten

Ein 8-GPU-System mit A100 SXM, ein DGX A100 oder ein HGX-A100-Server eines anderen Herstellers, wird am besten durch einen Server mit acht H200 NVL ersetzt, wenn die Arbeit HBM-Bandbreite, FP64 oder NVLink innerhalb von vier GPUs braucht, durch acht NVIDIA RTX PRO 6000 Blackwell Server Edition, wenn jede Modellkopie in 96 GB passt, und durch einen DGX B300, wenn Jobs alle acht GPUs in einer NVLink-Domäne brauchen und das Rack rund 15 kW liefern kann. Es geht um den Austausch des ganzen Systems: Die A100-SXM-Module sitzen auf einem Baseboard mit NVSwitch und lassen sich nicht gegen PCIe-Karten tauschen. Den Tausch Karte gegen Karte behandelt unser Leitfaden A100-PCIe-Karten ersetzen.

NVIDIA DGX A100 User Guide, „Introduction to the NVIDIA DGX A100 System“, Stand 8. September 2026, gelesen am 24. Oktober 2026. Netzteile mit 3.000 W bei 200 bis 240 V AC, 16 A; das System läuft mit drei funktionierenden Netzteilen.

NVIDIAs Produktseite zur A100 gibt dem SXM-Modul mit 80 GB 2.039 GB/s HBM2e und 400 W und führt Tensor-Core-Werte für TF32, BF16, FP16, INT8 und FP64, aber keine für FP8. Ein von NVIDIA veröffentlichtes End-of-Life-Datum für den DGX A100 haben wir nicht gefunden, und Listen von Drittanbietern zum Ende der Wartung sind keine Aussagen von NVIDIA; die Frist setzt also Ihr Supportvertrag. Bei der Software führt NVIDIAs Seite zum vGPU-Lebenszyklus, Stand 2. Oktober 2026, die NVIDIA A100 weiterhin unter den GPUs, die das Ende der vollen Unterstützung nicht erreicht haben, und CUDA 13.0 hat Maxwell, Pascal und Volta gestrichen, nicht Ampere. Die Gründe für den Austausch sind Speicher, Zahlenformate und Leistung je Kilowatt, keine Abschaltung.

Die Nachfolger nebeneinander

DGX A100 User Guide und NVIDIA-Seite zur A100; H200-NVL-Werte von NVIDIAs H200-Seite, wie in unserem Leitfaden zum Server mit acht H200 NVL verwendet; Produktseite der RTX PRO 6000 Server Edition; User Guide des DGX B300 und NVIDIAs HGX-Seite, wie in unseren Artikeln zu DGX-B300-Daten und FP64-Servern verwendet. FP64-Summen sind unsere Multiplikation der Werte je GPU (A100 9,7, H200 NVL 30, RTX PRO 6000 Server Edition rund 1,9 TFLOPS); 10 TFLOPS ist NVIDIAs Wert für die acht GPUs eines HGX B300. Leistung der PCIe-Server nach unserer Schätzung mit zwei AMD EPYC 9555 und 15 Prozent für den Rest. MIG-Zahlen aus NVIDIAs MIG User Guide (13. Oktober 2026) und unserem B300-Artikel.

Der H200-NVL-Server kommt dem DGX A100 im Charakter am nächsten: HBM, FP64, NVLink und sieben MIG-Instanzen je GPU, mit dem 1,76-fachen Speicher und der 2,4-fachen Bandbreite je GPU. Sein NVLink ist allerdings anders aufgebaut. Dells Guide zum XE7740 hält fest, dass acht H200 NVL zwei 4-Wege-Brücken brauchen; der Server hat also zwei NVLink-Domänen zu je vier Karten und 564 GB, und Verkehr zwischen den Domänen läuft über PCIe. Der Server mit RTX PRO 6000 Server Edition hat je GPU weniger Bandbreite als die A100 und gar kein NVLink, gewinnt aber FP4, 96 GB je Karte und Grafik. Der DGX B300 ist die einzige Möglichkeit, die ein NVLink-Netz zwischen allen acht GPUs behält, je GPU dreimal so schnell wie das des DGX A100.

Strom und Rack: den Anschluss des DGX A100 weiter nutzen

Ein DGX A100 nimmt bis zu 6,5 kW auf. Beide PCIe-Server mit acht Karten nehmen nach unserer Schätzung jeweils rund 6,3 kW auf und liegen damit im selben Rahmen: Ein Rack-Platz, der für ein DGX A100 verkabelt ist, nimmt einen davon auf, und ein Rack, in dem zwei DGX A100 mit 13 kW standen, nimmt zwei auf. Dell nennt für einen Knoten mit acht Karten rund 8 kW als Richtwert für das Maximum; der Anschluss wird daher nach der Herstellerangabe des gewählten Servers geplant, und eine Messung am gelieferten System bestätigt oder ersetzt unsere Schätzung.

Der DGX B300 gehört in eine andere Lastklasse. NVIDIAs User Guide nennt 14,5 kW, das Datenblatt vom Februar 2026 15,1 kW für die AC-Version mit zwölf Netzteilen zu 3,2 kW, und das System hat 10U und bis zu 168 kg. NVIDIAs Rechenzentrums­leitfaden für den DGX B300 plant zwei Systeme je Rack mit AC-Verteilung bei 39,4 kW Spitze. Ein DGX B300 braucht mehr als die doppelte Anschlussleistung des DGX A100, den er ersetzt, und die Planung von Rack und Kühlung kommt zuerst, wie unser Artikel zu Daten und Strombedarf des DGX B300 erklärt.

NVIDIA-Dokumente zu DGX A100 und DGX B300 wie oben; PCIe-Server nach unserer Schätzung. Ein Drehstromanschluss mit 400 V und 16 A ergibt bei unserer Planungsreserve von 80 Prozent 8,87 kW, wie in unserem Leitfaden zu 16 A, 32 A und Drehstrom.

Die Kühlluft ist so wichtig wie der Strom. Der DGX A100 verträgt 5 bis 30 °C an der Zuluft, der DGX B300 bis 30 °C, und Dell setzt für acht H200 NVL im XE7740 30 °C an. Ein Raum, in dem ein DGX A100 an seiner Grenze läuft, verkraftet also auch jedes der drei Systeme an dessen Grenzwert. Wir prüfen Rack, Anschluss und Luftführung vor dem Angebot; nennen Sie uns Anschlussart, Rack-Belegung und Zulufttemperatur am Platz Ihres DGX A100, und wir sagen, welcher Nachfolger ohne Umbau der Infrastruktur passt.

Welche Jobs NVLink zwischen allen GPUs brauchen

Mit den sechs NVSwitches des DGX A100 spricht jede GPU mit jeder anderen mit 600 GB/s. Ob der Nachfolger dasselbe braucht, hängt davon ab, wie Ihre Jobs die acht GPUs nutzen.

• Tensor-Parallelismus über acht GPUs: Jede Schicht führt zwei All-Reduces über alle GPUs aus. Auf einem DGX B300 bleibt das im NVLink mit 1,8 TB/s. Auf acht H200 NVL läuft ein Modell, das in eine Domäne zu vier Karten passt, als TP=4, ein größeres als TP=4 in jeder Domäne mit Pipeline-Parallelismus zwischen ihnen, wie unser Leitfaden zu acht H200 NVL zeigt.
• Vollständig verteiltes Training (Sharding) und Expert-Parallelismus: FSDP oder ZeRO-3 sammeln die Parameter in jeder Schicht ein, und das Routing von Mixture-of-Experts-Modellen schickt Token von jeder GPU zu jeder. Über acht GPUs ist das der Verkehr, für den das NVSwitch-Netz gebaut wurde; auf den PCIe-Servern läuft er über PCIe Gen5 mit 128 GB/s je Karte.
• Datenparalleles Training eines Modells, das auf eine GPU oder eine Domäne passt: ein All-Reduce der Gradienten je Schritt, den der H200-NVL-Server innerhalb seiner Domänen erledigt und der Server mit RTX PRO 6000 Server Edition über PCIe.
• Betrieb von Modellkopien: Eine Kopie je Karte oder je Domäne erzeugt keinen Verkehr zwischen den Kopien, die Verbindung spielt keine Rolle.
• MIG-Mandanten und Notebooks: gar kein Verkehr zwischen den Instanzen, NVIDIAs MIG-Leitfaden hält fest, dass NCCL mit MIG nicht unterstützt wird.

Zeigen die Protokolle Ihres Schedulers, dass die meisten Jobs eine, zwei oder vier GPUs anfordern, ersetzen die PCIe-Server mit acht Karten den DGX A100 bei gleicher Leistung. Zeigen sie regelmäßige Jobs auf acht GPUs mit FSDP oder TP=8, ist der DGX B300 der gleichwertige Nachfolger, und zwei H200-NVL-Knoten mit Domänen zu vier Karten sind der Kompromiss, wie unser Vergleich ein 8-GPU-Server oder zwei 4-GPU-Server abwägt.

Zahlenformate und gemessener Durchsatz

Die A100 hat keine FP8-Tensor-Cores. vLLM betreibt FP8-Checkpoints auf der A100 als reine Gewichtsquantisierung W8A16; der Speicher halbiert sich, gerechnet wird weiter in 16 Bit. Die H200 NVL rechnet in FP8, die RTX PRO 6000 Server Edition und die B300 zusätzlich in FP4. Für ein Institut, dessen Modelle auf FP8- oder NVFP4-Checkpoints umgestellt sind, ändert schon das den Durchsatz je GPU.

Im Einzel-GPU-Trainingstest des Kempner Institute vom 15. Juli 2026 trainierte ein GPT-artiges Modell mit rund 0,94 Mrd. Parametern in BF16 auf einer A100 40 GB mit 30.191 Token pro Sekunde, auf einer H200 mit 77.163 und auf einer RTX PRO 6000 mit 41.370, nach unserer Division das 2,6- und 1,4-Fache der A100. Die A100 ist dort die Version mit 40 GB, und das Handbuch nennt keine Bauformen. Ein MLCommons-Ergebnis der A100 zitieren wir hier nicht; für die Nachfolger liefert MLPerf® Inference diese Werte je Knoten für Llama 2 70B.

MLPerf® Inference: Datacenter v6.1 (Einträge 6.1-0071, 6.1-0070, 6.1-0050; Benchmark Llama 2 70B, llama2-70b-99.9 für 6.1-0070 und 6.1-0050) und v6.0 (Eintrag 6.0-0021, llama2-70b-99), Closed Division, Szenario Offline. v6.1 abgerufen von mlcommons.org am 24. Oktober 2026, v6.0 am 24. September 2026; Ergebnisse von der MLCommons Association verifiziert. Unterschiedliche Runden und Genauigkeitsziele, die H200-NVL-Zeile ist daher kein direkter Vergleich. The MLPerf name and logo are registered and unregistered trademarks of MLCommons Association in the United States and other countries. All rights reserved. Unauthorized use strictly prohibited. See www.mlcommons.org for more information.

Nach unserer Division der Ergebnisse je Knoten, keine MLPerf-Kennzahl, lieferte der DGX B300 in diesem Benchmark rund das 3,6- bis 3,7-Fache der Systeme mit acht RTX PRO 6000 Server Edition und rund das 3,4-Fache des Servers mit acht H200 NVL, bei etwas mehr als der doppelten Leistungsaufnahme.

FP64: wo der DGX B300 der falsche Nachfolger ist

Viele DGX A100 in der Forschung rechnen in doppelter Genauigkeit, und hier geht das neueste System zurück. Acht A100 liefern rund 78 TFLOPS FP64 und 156 auf den Tensor Cores, nach unserer Multiplikation von NVIDIAs 9,7 und 19,5 TFLOPS je GPU. NVIDIAs HGX-Seite nennt für alle acht B300-GPUs zusammen 10 TFLOPS FP64. Acht H200 NVL liefern 240 TFLOPS FP64 und 480 auf den Tensor Cores, das Dreifache des DGX A100. Acht RTX PRO 6000 Server Edition kommen auf rund 15 TFLOPS: genug, damit Code läuft, zu wenig für einen Löser. Für CFD, Molekulardynamik, VASP oder Quantum ESPRESSO auf einem DGX A100 ist der Server mit acht H200 NVL der Nachfolger; unser Leitfaden zu FP64-GPU-Servern behandelt die Programme.

MIG: Instanzen vorher und nachher

Ein DGX A100 mit GPUs zu 80 GB bietet bis zu 56 Instanzen 1g.10gb. Acht H200 NVL bieten dieselbe Zahl an 1g.18gb-Instanzen, die NVIDIAs H200-Seite bei der NVL mit je 16,5 GB angibt; jedes Notebook und jeder kleine Dienst bekommt also bei gleicher Zahl der Instanzen 65 Prozent mehr Speicher. Acht RTX PRO 6000 Server Edition bieten 32 Instanzen zu 24 GB, weniger und größere, mit Grafikprofilen. Ein DGX B300 bietet 56 Instanzen 1g.34gb. Profilnamen, Layouts im GPU Operator und Slurm-Typen ändern sich mit der Karte, wie unser Leitfaden zu A100-MIG-Layouts auf H200 NVL und RTX PRO 6000 Profil für Profil zuordnet.

Empfehlung nach Arbeitslast

• FP64-Simulation, gemischtes HPC und KI, viele MIG-Mandanten: acht H200 NVL in einem Server, im Leistungsrahmen des DGX A100.
• Inferenz von Modellen, die in 96 GB passen, FP4-Betrieb, Grafik oder Isaac Sim neben KI: acht RTX PRO 6000 Server Edition, nach unserer Schätzung ebenfalls unter 6,5 kW.
• Regelmäßiges Training auf acht GPUs mit FSDP, TP=8 oder Expert-Parallelismus, Modelle über 1 TB: ein DGX B300, mit einer Infrastrukturplanung für rund 15 kW je System.
• Ein DGX A100, der mehrere Abteilungen bedient: zwei Server mit je vier Karten, einer mit H200 NVL und einer mit RTX PRO 6000 Server Edition, damit ein Ausfall nicht alle Dienste trifft, bei etwa gleicher Gesamtleistung.

Was wir liefern

Sie können dieses System bei uns kaufen: Unser Team dimensioniert die Konfiguration nach Ihrer Arbeitslast und Ihrem Budget und antwortet innerhalb eines Werktages. Unser Trainingsknoten auf der Seite KI-Server hat acht H200 NVL mit NVLink-Brücken, zwei AMD-EPYC-Prozessoren, 2,3 TB DDR5 ECC, acht NVMe-Laufwerke und 400G-Netzwerk, und Server mit acht RTX PRO 6000 Server Edition bauen wir nach Auftrag, vor der Lieferung montiert und getestet, mit einem EU-Vertrag und einer Rechnung und Herstellergarantie auf jede Komponente. Den DGX B300 liefern wir je Projekt; bevor wir ein Angebot erstellen können, fragt die Distribution nach Unternehmen, Projekt und Verwendungszweck, und wir prüfen Preis und Verfügbarkeit für Ihr Projekt. Den DGX A100 und die A100 liefern wir nicht. Schicken Sie uns den Job-Mix Ihres DGX A100, mit GPU-Zahl je Job und dem Anteil der FP64-Arbeit, und wir schlagen den Nachfolger vor.

FAQ