RTX PRO 6000 Blackwell vs. H200 NVL für LLM-Inferenz: Wann 96 GB reichen

Derselbe Steckplatz, zwei verschiedene Speicher

Auf dem Papier wirken die Karten wie Nachbarn: Dual-Slot, passiv, PCIe Gen5, bis zu 600 W konfigurierbar, beide für Inferenz in gewöhnlichen Rack-Servern verkauft. Was sie trennt, ist das Speichersystem. Die RTX PRO 6000 Blackwell Server Edition trägt 96 GB GDDR7 an einem 512-Bit-Bus für 1.597 GB/s. Die H200 NVL trägt 141 GB HBM3e für 4.800 GB/s. Dreimal die Bandbreite und anderthalbmal die Kapazität, bei gleicher Leistungsaufnahme.

Alles in diesem Artikel folgt aus diesen beiden Zahlen und aus einer Tatsache der LLM-Inferenz: Ein Token zu erzeugen heißt, bei einem dichten Modell jedes Gewicht einmal zu lesen und bei einem Mixture-of-Experts-Modell jedes aktive Gewicht. Die Generierungsgeschwindigkeit für einen einzelnen Nutzer ist ein Bandbreitenproblem, kein Rechenproblem.

Spezifikationen, die für Inferenz zählen

Quellen: NVIDIA-Produktseiten beider Karten, Support-Matrix der TensorRT-LLM-Quantisierung, NVIDIA-AI-Enterprise-Lizenzierungsleitfaden. Die Tensor-Werte der H200 NVL sind NVIDIAs Sparsity-Zahlen, halbiert.

Wie groß das Modell wirklich ist

Nehmen wir Llama 3.3 70B, das Modell, mit dem die meisten unserer Dimensionierungsanfragen beginnen. Der veröffentlichte FP8-Checkpoint von NVIDIA hat 72,7 GB auf der Platte, rund 68 GiB im Speicher. Der NVFP4-Checkpoint von NVIDIA hat 42,7 GB, rund 40 GiB, und die Modellkarte meldet für die Kompression einen Rückgang von 83,3 auf 81,1 im MMLU und von 95,3 auf 92,6 im GSM8K. Für die meisten Geschäftsaufgaben ist das ein lohnender Tausch; für manche nicht, und die Entscheidung gehört demjenigen, der den Evaluationssatz verantwortet.

Dann der KV-Cache. Llama 3 70B hat 80 Schichten, 8 Key-Value-Heads und eine Head-Dimension von 128, also kostet jedes Token im Kontext 320 KiB in FP16 oder 160 KiB in FP8. Ein Kontext von 32k Token ist damit 10 GiB in FP16, 5 GiB in FP8, pro gleichzeitiger Anfrage bei voller Länge.

Platz für den Cache nach unserer Dimensionierungsregel: 90 Prozent des für den Treiber sichtbaren Speichers (95,6 GiB und 140,4 GiB) abzüglich der Gewichte.

gpt-oss-120b ist die andere häufige Anfrage: 117B Parameter, 5,1B aktiv, MXFP4-Gewichte, 65 GB auf der Platte. Es passt auf beide Karten. Qwen3-235B-A22B nicht: Selbst in NVFP4 sind es rund 134 GB Gewichte, was 96 GB schlicht überschreitet. Auf der H200 NVL hat NVFP4 keinen nativen Pfad: TensorRT-LLM unterstützt es nur auf Blackwell, und vLLM führt NVFP4-Checkpoints dort nur Weight-only aus, mit 16-Bit-Arithmetik, und bei 134 GB bliebe kaum Platz für Kontext. Die FP8-Version mit 236 GB braucht zwei H200-NVL-Karten.

Die Arithmetik hinter den Token pro Sekunde

NVIDIAs eigener Leitfaden zur Inferenzoptimierung sagt es unumwunden: In der Decode-Phase bestimmt die Geschwindigkeit, mit der Gewichte aus dem Speicher übertragen werden, die Latenz, nicht die Arithmetik. Eine brauchbare Obergrenze für einen Nutzer ist Bandbreite geteilt durch die pro Token gelesenen Gewichts-Bytes.

Einzelstrom-Obergrenzen aus Bandbreite ÷ pro Token gelesenen Gewichts-Bytes, keine Messungen. gpt-oss-120b ist ein Mixture-of-Experts-Modell: Pro Token liest es nur seine vier aktiven Experten in MXFP4, die Attention-Schichten und die Ausgabeschicht in BF16, nach unserer Rechnung aus OpenAIs Model Card etwa 5 GB seiner 65 GB. Reale Werte liegen unter der Obergrenze; die Rangfolge ändert sich nicht.

Deshalb fühlt sich die H200 NVL für eine tippende Person bei jeder Präzision dreimal so schnell an: 4-Bit-Gewichte helfen beiden Karten, und das Bandbreitenverhältnis bleibt. Und deshalb ändert Batching das Bild: Bei vielen gleichzeitigen Anfragen bedienen dieselben Gewichte viele Token pro Lesevorgang, die Arbeitslast wird rechenlimitiert, und die FP4-Tensor-Cores der Blackwell-Karte beginnen zu zählen.

Was die veröffentlichten Benchmarks sagen

NVIDIAs Performance-Tabelle für TensorRT-LLM führt Llama 3.3 70B in FP4 auf einer RTX PRO 6000 Server Edition mit 1.724 Ausgabe-Token pro Sekunde und GPU unter Volllast bei Prompts von 1.000 Token, fallend auf 296 bei Prompts von 8.192 Token. Das ist das gebatchte Regime, in dem der Durchsatz zuerst kommt.

MLPerf Inference v6.0 (April 2026) liefert direkt vergleichbare öffentliche Zahlen; die am 16. September 2026 veröffentlichte Runde v6.1 ist hier nicht berücksichtigt. Im interaktiven Llama-2-70B-Szenario, das die Zeit bis zum ersten Token auf 450 ms und die Zeit pro Ausgabe-Token auf 40 ms begrenzt, erreichte ein Dell PowerEdge XE7740 mit acht H200 NVL 16.343,8 Token pro Sekunde; ein System mit acht RTX PRO 6000 im Server eines anderen Herstellers erreichte 6.238,1 (Eintrag 6.0-0004). Im Offline-Szenario, in dem Latenz nicht zählt, erreichte dasselbe Dell-Chassis 32.004,0 Token pro Sekunde mit acht H200 NVL in FP8 und 27.034,8 mit acht RTX PRO 6000 in FP4; im Server-Szenario 29.084,9 gegen 25.524,1. Ein HPE ProLiant DL385 Gen11 mit zwei RTX PRO 6000 erreichte offline 6.901,9.

MLPerf Inference v6.0, Datacenter, geschlossene Division, verfügbare Systeme, Benchmark llama2-70b-99. Dell PowerEdge XE7740 mit acht H200 NVL: Eintrag 6.0-0021 (Interactive, Offline, Server); mit acht RTX PRO 6000: Eintrag 6.0-0022 (Offline, Server); acht RTX PRO 6000, Interactive: Eintrag 6.0-0004; HPE ProLiant DL385 Gen11 mit zwei RTX PRO 6000: Eintrag 6.0-0052 (Offline). Abgerufen von mlcommons.org am 24. September 2026; Ergebnisse von der MLCommons Association verifiziert. Vergleiche je Karte sind unsere Rechnung (Systemergebnis geteilt durch die Zahl seiner GPUs), keine MLPerf-Metrik. The MLPerf name and logo are registered and unregistered trademarks of MLCommons Association in the United States and other countries. All rights reserved. Unauthorized use strictly prohibited. See www.mlcommons.org for more information.

Zusammen gelesen: Wenn jeder Nutzer wartet, liefert die H200 NVL rund das 2,6-Fache des interaktiven Durchsatzes pro Karte. Wenn die Arbeit eine Warteschlange von Dokumenten ist, auf die niemand schaut, schrumpft der Abstand auf rund 18 Prozent, und die Blackwell-Karte in FP4 ist ein starker Durchsatzmotor bei derselben Board-Leistung von 600 W.

Wann 96 GB reichen

Die RTX PRO 6000 Server Edition ist die richtige Karte, wenn das Modell in FP4 oder FP8 mit dem Kontext und der Parallelität passt, die Sie tatsächlich fahren; wenn der Verkehr Batch oder asynchron ist, Durchsatz also mehr zählt als die Latenz pro Nutzer; wenn vier isolierte MIG-Mandanten pro Karte die Anforderung sind; wenn derselbe Host auch Rendering, Video oder virtuelle Workstations braucht; und wenn die Flotte kein NVLink hat und nie haben wird.

Die H200 NVL ist die richtige Karte, wenn Nutzer interaktiv arbeiten und die Latenz pro Token ein Versprechen ist; wenn Kontexte lang und die Parallelität hoch sind, sodass der KV-Cache und nicht die Gewichte den Speicher füllt; wenn das Modell oberhalb von etwa 100B dichten Parametern liegt und auf einem Host bleiben muss, wo zwei oder vier gekoppelte Karten 282 oder 564 GB über NVLink mit 900 GB/s pro GPU teilen; und wenn die fünfjährige AI-Enterprise-Subscription ohnehin Teil des Budgets ist, denn die H200 NVL bringt sie mit und die RTX PRO 6000 nicht.

Unser Engineering-Partner Vixen.UNO dimensioniert den Server nach der Arbeitslast: dem Modell, der Präzision, die der Evaluationssatz toleriert, der Parallelität und der Kontextlänge, wie es unsere Seite zu KI-Servern beschreibt. Die Karte ist das Ergebnis dieses Arbeitsblatts, nicht seine Eingabe.

FAQ