MLPerf® Inference v6.1: PCIe-GPU-Server mit acht RTX PRO 6000 Server Edition im Vergleich

Was v6.1 für PCIe-GPU-Server zeigt

In MLPerf® Inference v6.1, veröffentlicht am 16. September 2026, sind die PCIe-GPU-Server mit verifizierten Ergebnissen, die wir zitieren, Server mit acht NVIDIA RTX PRO 6000 Blackwell Server Edition. Mit Llama 2 70B im Offline-Szenario erreichten Server von MiTAC, Cisco, Dell und HPE 29.284,8 bis 30.034,2 Token pro Sekunde, nach unserer Division 3.661 bis 3.754 Token pro Sekunde je Karte. Die Wahl des Herstellers verschob das Ergebnis um weniger als 3 Prozent; über das Gehäuse entscheiden Strom, Kühlung und Service eher als der Benchmark.

MLPerf® Inference: Datacenter v6.1, Closed Division, Kategorie Available, Benchmarks Llama 2 70B (llama2-70b-99.9) und gpt-oss-120b, Szenarien Offline und Server, Token pro Sekunde, Einträge 6.1-0070, 6.1-0013, 6.1-0036, 6.1-0050 und 6.1-0082, jeweils mit acht RTX PRO 6000 Blackwell Server Edition; abgerufen von mlcommons.org am 24. Oktober 2026; Ergebnisse von der MLCommons Association verifiziert. „Nicht zitiert“ heißt, dass wir für dieses Feld keinen Wert geprüft haben. The MLPerf name and logo are registered and unregistered trademarks of MLCommons Association in the United States and other countries. All rights reserved. Unauthorized use strictly prohibited. See www.mlcommons.org for more information.

Die ergänzenden Hinweise (Supplemental) von MLCommons zur Runde nennen weitere RTX-PRO-Systeme: Cisco-Server mit RTX PRO 4500, Knoten mit vier Server-Edition-Karten in Ciscos UCS X-Series, ein System mit vier Karten von TTA und Fujitsus PRIMERGY CDI mit acht Karten in einer externen PCIe-Box. Wir lassen sie in den Tabellen weg, weil wir ihre Eintragsnummern nicht mit der Ergebnistabelle von MLCommons abgeglichen haben.

Wie MLPerf Inference einen Server misst

MLCommons führt MLPerf Inference in zwei Divisionen durch. In der Closed Division betreiben alle Einreicher dasselbe Modell mit demselben Genauigkeitsziel, sodass die Ergebnisse vergleichbar sind; die Open Division erlaubt andere Modelle. Die Kategorie Available umfasst Systeme, die zur Veröffentlichung verfügbar sind, im Unterschied zu den Kategorien Preview und Research. Alle Einträge in diesem Artikel stammen aus der Closed Division, Kategorie Available.

Jeder Benchmark läuft in festen Szenarien. Offline übergibt dem System alle Anfragen auf einmal und misst den Durchsatz ohne Latenzgrenze. Server schickt Anfragen in zufälligen Abständen und meldet den höchsten Durchsatz, bei dem das 99. Perzentil der Zeit bis zum ersten Token und der Zeit je Ausgabetoken innerhalb der Grenzen des Benchmarks bleibt. Interactive ist das Server-Szenario mit engeren Grenzen.

MLCommons-Regeln für MLPerf Inference, Tabelle der Datacenter-Benchmarks, gelesen am 24. Oktober 2026 im Hauptzweig des Regel-Repositorys; Seite Inference Datacenter von MLCommons (v6.1). Die Grenzen gelten für das 99. Perzentil.

Die v6.1-Ergebnisse mit Llama 2 70B, die wir zitieren, gelten für das Genauigkeitsziel von 99,9 Prozent, geschrieben llama2-70b-99.9; die v6.0-Ergebnisse auf unseren älteren Benchmark-Seiten gelten für das Ziel von 99 Prozent, llama2-70b-99. Das sind getrennte Benchmarks, und das ist wichtig, wenn unten Ergebnisse beider Runden nebeneinanderstehen.

Für Käufer ähnelt das Server-Szenario einem gemeinsamen Dienst mit vielen Nutzern, und Interactive kommt einem Chat näher, in dem jede Antwort schnell erscheinen soll. Eine Grenze von 200 ms je Ausgabetoken im 99. Perzentil bedeutet, dass 99 Prozent der Ausgabetoken im Tempo von fünf Token pro Sekunde oder schneller kamen; 40 ms bedeuten 25 oder schneller.

Llama 2 70B auf Servern von vier Herstellern mit acht Karten

Die vier Ergebnisse mit Llama 2 70B stammen aus vier verschiedenen Gehäusen, mit unterschiedlichen Prozessoren, Speicherausstattungen und PCIe-Aufbauten, aber denselben acht Karten.

MLPerf® Inference: Datacenter v6.1, Closed Division, Kategorie Available, Llama 2 70B (llama2-70b-99.9), Szenarien Offline und Server, Einträge wie angegeben, abgerufen von mlcommons.org am 24. Oktober 2026; Ergebnisse von der MLCommons Association verifiziert. Werte je Karte und das Verhältnis sind unsere Division der Systemergebnisse, keine MLPerf-Metriken.

Daraus folgen zwei Dinge. Zwischen dem höchsten und dem niedrigsten Offline-Ergebnis liegen 2,6 Prozent, den Durchsatz bestimmt also die Karte; das Gehäuse ändert wenig daran. Das Server-Szenario kostet bei diesem Benchmark nur 2 bis 3 Prozent; diese Server halten ihren Durchsatz also auch bei zufällig eintreffenden Anfragen, solange ein Ausgabetoken im 99. Perzentil bis zu 200 ms brauchen darf.

An der Leistung je Karte ändert die Kartenzahl wenig. In v6.0 erreichte HPEs DL385 Gen11 mit zwei Karten auf der 99-Prozent-Variante 3.451 Token pro Sekunde je Karte, die Version mit vier auf 450 W begrenzten Karten 3.340 und HPEs DL380a Gen12 mit acht Karten 3.739, nach unserer Division der Einträge 6.0-0052, 6.0-0054 und 6.0-0047 (MLPerf® Inference: Datacenter v6.0, Closed Division, Kategorie Available, llama2-70b-99, Offline, abgerufen von mlcommons.org am 24. September 2026, Ergebnisse von der MLCommons Association verifiziert). Käufer können den Durchsatz daher je Karte planen und die Kartenzahl nach Speicher, Ausfalleinheit und Stromanschluss wählen.

Zwei Server sind in beiden Runden vertreten. HPEs DL380a Gen12 mit acht Karten erreichte in v6.0 auf der 99-Prozent-Variante 29.908,4 Token pro Sekunde (Eintrag 6.0-0047) und in v6.1 auf der 99,9-Prozent-Variante 29.284,8 (Eintrag 6.1-0050), 2 Prozent weniger beim strengeren Ziel. Dells XE7740 stieg von 27.034,8 (Eintrag 6.0-0022) auf 29.796,7 (Eintrag 6.1-0036), 10 Prozent mehr, ebenfalls beim strengeren Ziel. Beide v6.0-Werte: MLPerf® Inference: Datacenter v6.0, Closed Division, Kategorie Available, llama2-70b-99, Offline, abgerufen von mlcommons.org am 24. September 2026, Ergebnisse von der MLCommons Association verifiziert; den Vergleich über die beiden Benchmarks hinweg ziehen wir selbst. Software und Tuning ändern sich von Runde zu Runde, und ein Ergebnis ist eine Momentaufnahme des Software-Stacks eines Einreichers. Wir bauen Server mit acht RTX PRO 6000 Server Edition in Gehäusen, deren Hersteller die Karte freigeben; fragen Sie uns, welches Gehäuse zu Ihrem Rack und Stromanschluss passt, und unser Team antwortet mit einer Konfiguration.

gpt-oss-120b: der Benchmark mit Mixture of Experts

gpt-oss-120b ist ein Mixture-of-Experts-Modell, das je Token nur einen Teil seiner Gewichte liest, und sein v6.1-Benchmark stellt Denkaufgaben aus Mathematik, Naturwissenschaft und Programmierung. Drei Server-Edition-Systeme mit acht Karten haben Ergebnisse, die wir zitieren.

MLPerf® Inference: Datacenter v6.1, Closed Division, Kategorie Available, gpt-oss-120b, Szenarien Offline und Server, Token pro Sekunde, Einträge wie angegeben, abgerufen von mlcommons.org am 24. Oktober 2026; Ergebnisse von der MLCommons Association verifiziert. Je Karte ist unsere Division des Systemergebnisses, keine MLPerf-Metrik.

Die Spanne beträgt 3,2 Prozent, und das Server-Szenario behielt 93,9 Prozent (Nebius) und 95,6 Prozent (HPE) des Offline-Ergebnisses. Der Nebius-Eintrag ist laut den ergänzenden Hinweisen von MLCommons eine Cloud-Instanz, ein Knoten mit acht Karten auf der virtualisierten Plattform von Nebius, und er lief so schnell wie die Bare-Metal-Server. Die Gewichte des Modells haben in MXFP4 rund 65 GB, eine Kopie passt also auf eine einzelne 96-GB-Karte, und ein Server mit acht Karten kann es als acht Kopien betreiben oder aufteilen; welche Aufteilung ein Einreicher gewählt hat, zeigt das Ergebnis allein nicht. Die Token pro Sekunde liegen unter denen von Llama 2 70B, weil sich die Benchmarks in Fragen, Antwortlängen und Latenzgrenzen unterscheiden; eine Tokenrate aus einem Benchmark sagt nichts über einen anderen.

Llama 3.1 8B und Whisper auf HPEs DL380a Gen12

HPEs Eintrag 6.1-0050 umfasst auch ein kleines Modell und Spracherkennung, zwei Aufgaben, die vielfach auf eine Karte passen.

MLPerf® Inference: Datacenter v6.1, Closed Division, Kategorie Available, Llama 3.1 8B und Whisper, Szenarien wie angegeben, Eintrag 6.1-0050 (HPE ProLiant Compute DL380a Gen12, acht RTX PRO 6000 Blackwell Server Edition), abgerufen von mlcommons.org am 24. Oktober 2026; Ergebnisse von der MLCommons Association verifiziert. Je Karte ist unsere Division des Systemergebnisses, keine MLPerf-Metrik.

Unter den Interactive-Grenzen von 500 ms bis zum ersten Token und 30 ms je Token behielt der Server beim 8B-Modell 78 Prozent seines Offline-Durchsatzes. Das ist in v6.1 der deutlichste Wert dafür, was eine hohe Geschwindigkeit je Antwort auf diesen Karten kostet. Unser Leitfaden zu einem Server für einen Kundenservice-Chatbot nutzt Modelle dieser Größe, und unser Artikel zu KI im Contact Center wendet das Ergebnis für 8B-Zusammenfassungen an.

Was die Ergebnisse beim Serverkauf bedeuten

MLPerf-Ergebnisse sind Messungen abgestimmter Systeme an festen Aufgaben. Sie eignen sich gut, um drei Dinge zu prüfen: dass ein bestimmtes Servermodell die Karten mit ihrer Nenngeschwindigkeit betreibt, dass der Durchsatz unter Latenzgrenzen erhalten bleibt und wie zwei Karten unter denselben Regeln abschneiden. Wie viele Ihrer Beschäftigten ein Server bedient, sagen sie nicht, denn das hängt von Ihrem Modell, der Kontextlänge und der Zahl gleichzeitig laufender Anfragen ab.

Für die Zahl der Nutzer legen wir zuerst nach dem Speicher aus. Unsere Regel für Nutzer je Karte nimmt 90 Prozent des Speichers, den der Treiber meldet, abzüglich 3 GiB je Karte und der Gewichte, und teilt den Rest durch den Cache je Gespräch; unser Leitfaden Wie viele Nutzer schafft eine RTX PRO 6000? erklärt sie. MLPerf zeigt dann, ob die Rechenleistung mit so vielen Sitzungen mithält.

Lesen Sie ein Ergebnis mit diesen Fragen: Ist es derselbe Benchmark mit demselben Genauigkeitsziel wie der Vergleichswert, welches Szenario, wie viele Karten, und beschreibt der Eintrag ein System, das Sie in dieser Form kaufen können? Ein Eintrag mit zehn Karten in einem Server, für den der Hersteller acht angibt, ist ein veröffentlichtes Ergebnis, keine bestellbare Konfiguration, wie unsere RTX PRO 6000 Benchmarks für v6.0 vermerken.

Wir liefern Server mit zwei, vier oder acht RTX PRO 6000 Server Edition auf Plattformen der oben genannten Hersteller; senden Sie uns Ihre Modelle, die Kontextlänge und die Spitzenlast, und unser Team antwortet mit einer Konfiguration und den Ergebnissen, die dafür gelten.

NVLink und HBM zum Vergleich: DGX B300

NVIDIAs DGX B300 ist kein PCIe-Server: Ihre acht B300-GPUs sitzen auf einem NVLink-Baseboard mit HBM3e. In v6.1 erreichte sie mit Llama 2 70B offline 109.277 Token pro Sekunde und im Server-Szenario 106.949, mit gpt-oss-120b offline 106.637 und im Server-Szenario 100.630 (MLPerf® Inference: Datacenter v6.1, Closed Division, Kategorie Available, llama2-70b-99.9 und gpt-oss-120b, Eintrag 6.1-0071, abgerufen von mlcommons.org am 24. Oktober 2026, Ergebnis von der MLCommons Association verifiziert).

Nach unserer Division der Knotenergebnisse ist das bei Llama 2 70B das 3,6-Fache des besten PCIe-Ergebnisses mit acht Karten (Eintrag 6.1-0070) und bei gpt-oss-120b das 6,8-Fache (Eintrag 6.1-0082). Die DGX ist eine andere Geräteklasse mit anderem Strom- und Kühlbudget; unser Vergleich DGX B300 oder ein Server mit acht RTX PRO 6000 zeigt, wann was passt. Die DGX B300 liefern wir projektbezogen nach einer Prüfung von Unternehmen, Projekt und Verwendungszweck.

Was v6.1 nicht enthält

Die Runde hat Lücken, die für Käufer von PCIe-Servern wichtig sind.

MLPerf® Inference: Datacenter, Closed Division, Kategorie Available, Llama 2 70B (llama2-70b-99), Szenario Offline, Token pro Sekunde: v6.0-Einträge 6.0-0021, 6.0-0052 und 6.0-0054 sowie v5.0-Eintrag 5.0-0018, abgerufen von mlcommons.org am 24. September 2026; Ergebnisse von der MLCommons Association verifiziert. Die 450-W-Begrenzung von 6.0-0054 stammt aus den Laufprotokollen bei MLCommons, wie in unseren RTX PRO 6000 Benchmarks zitiert.

Der Vergleich mit der H200 NVL stützt sich deshalb auf v6.0: In dieser Runde lagen acht H200 NVL in Dells XE7740 bei Llama 2 70B vor acht RTX PRO 6000 Server Edition im selben Gehäuse, wie unsere H200 NVL Benchmarks vorrechnen. Der Vergleich mit der L40S stützt sich auf v5.0, eine ältere Runde, und unsere L40S Benchmarks ordnen sie ein. Für einen Server mit zwei Karten liegt das v6.0-Ergebnis von 3.451 Token pro Sekunde je Karte nach unserer Division nahe an den Werten je Karte der Server mit acht Karten in v6.1, bei einem anderen Genauigkeitsziel.

Was wir liefern

Sie können dieses System bei uns kaufen: Unser Team legt die Konfiguration nach Ihrer Arbeitslast und Ihrem Budget aus und antwortet innerhalb eines Werktages. Wir bauen KI-Server auf Bestellung mit zwei, vier oder acht RTX PRO 6000 Server Edition, RTX PRO 4500 Server Edition oder H200 NVL mit NVLink-Brücken, vor der Lieferung montiert und getestet, mit Herstellergarantie auf jede Komponente, mit einem EU-Vertrag und einer EU-Rechnung. Unser Leitfaden zu 2, 4 oder 8 RTX PRO 6000 Server Edition je Server vergleicht die Größen, und NVIDIA RTX PRO Server erklärt beschreibt die Designs hinter den Einträgen oben.

FAQ