RTX PRO 6000 Blackwell vs. H200 NVL für LLM-Inferenz: Wann 96 GB reichen

Speicher: 96 GB GDDR7 gegen 141 GB HBM3e

Auf dem Papier sind sich die beiden Karten ähnlich: Dual-Slot, passiv, PCIe Gen5, bis zu 600 W konfigurierbar, und beide werden für Inferenz in Standard-Rack-Servern verkauft. Sie unterscheiden sich im Speichersystem. Die RTX PRO 6000 Blackwell Server Edition hat 96 GB GDDR7 an einem 512-Bit-Bus mit 1.597 GB/s. Die H200 NVL hat 141 GB HBM3e mit 4.800 GB/s, also die dreifache Bandbreite und die anderthalbfache Kapazität bei gleicher Leistungsaufnahme.

Der Rest dieses Vergleichs folgt aus diesen beiden Zahlen. Ein Token zu erzeugen heißt, bei einem dichten Modell jedes Gewicht einmal zu lesen und bei einem Mixture-of-Experts-Modell jedes aktive Gewicht; für einen einzelnen Nutzer begrenzt daher die Speicherbandbreite die Generierungs­geschwindigkeit und nicht die Rechenleistung.

Spezifikationen, die für Inferenz zählen

Quellen: NVIDIA-Produktseiten beider Karten, Support-Matrix der TensorRT-LLM-Quantisierung, NVIDIA-AI-Enterprise-Lizenzierungsleitfaden. Die Tensor-Werte der H200 NVL sind NVIDIAs Sparsity-Zahlen, halbiert; für die RTX PRO 6000 Server Edition nennt NVIDIA 2 PFLOPS FP8 ohne Angabe zur Sparsity, und ~1 PFLOPS ist der dichte Wert der Workstation Edition.

Modellgrößen und KV-Cache: was in 96 GB und 141 GB passt

Nehmen wir Llama 3.3 70B, einen häufigen Ausgangspunkt für die Dimensionierung im eigenen Rechenzentrum. Der veröffentlichte FP8-Checkpoint von NVIDIA hat 72,7 GB auf der Platte, rund 68 GiB im Speicher. Der NVFP4-Checkpoint von NVIDIA hat 42,7 GB, rund 40 GiB, und die Modellkarte meldet für die Kompression einen Rückgang von 83,3 auf 81,1 im MMLU und von 95,3 auf 92,6 im GSM8K. Für die meisten Geschäftsaufgaben ist dieser Verlust vertretbar, aber nicht für alle; die Entscheidung liegt deshalb bei demjenigen, der den Evaluationssatz verantwortet.

Zu den Gewichten kommt der KV-Cache hinzu. Llama 3 70B hat 80 Schichten, 8 Key-Value-Heads und eine Head-Dimension von 128, also kostet jedes Token im Kontext 320 KiB in FP16 oder 160 KiB in FP8. Ein Kontext von 32k Token ist damit 10 GiB in FP16, 5 GiB in FP8, pro gleichzeitiger Anfrage bei voller Länge.

Platz für den Cache nach einer Planungsregel: 90 Prozent des für den Treiber sichtbaren Speichers (95,6 GiB und 140,4 GiB) abzüglich der Gewichte, ohne die 3 GiB pro Karte, die unser Leitfaden zu gleichzeitigen Nutzern zusätzlich abzieht.

gpt-oss-120b ist das zweite Modell in diesem Vergleich: 117B Parameter, 5,1B aktiv, MXFP4-Gewichte und 65 GB auf der Platte, es passt also auf beide Karten. Qwen3-235B-A22B passt auf keine der beiden Karten allein: Selbst in NVFP4 hat es rund 134 GB Gewichte, mehr als die 96 GB der RTX PRO 6000. Auf der H200 NVL hat NVFP4 keinen nativen Pfad, weil TensorRT-LLM es nur auf Blackwell unterstützt und vLLM NVFP4-Checkpoints dort nur Weight-only mit 16-Bit-Arithmetik ausführt; bei 134 GB bliebe außerdem kaum Platz für Kontext. Die FP8-Version mit 236 GB braucht zwei H200-NVL-Karten.

Für eine Konfiguration mit zwei Karten liefern wir die H200 NVL zusammen mit der 2-fach-NVLink-Bridge, für vier Karten mit der 4-fach-Bridge. Nennen Sie uns das Modell und den Server, in den die Karten kommen, und Sie erhalten ein schriftliches Angebot.

Die Arithmetik hinter den Token pro Sekunde

NVIDIAs eigener Leitfaden zur Inferenzoptimierung stellt fest, dass in der Decode-Phase die Geschwindigkeit, mit der Gewichte aus dem Speicher übertragen werden, die Latenz bestimmt und nicht die Arithmetik. Eine brauchbare Obergrenze für einen Nutzer ist Bandbreite geteilt durch die pro Token gelesenen Gewichts-Bytes.

Einzelstrom-Obergrenzen aus Bandbreite ÷ pro Token gelesenen Gewichts-Bytes, keine Messungen. gpt-oss-120b ist ein Mixture-of-Experts-Modell: Pro Token liest es nur seine vier aktiven Experten in MXFP4, die Attention-Schichten und die Ausgabeschicht in BF16, nach unserer Rechnung aus OpenAIs Model Card etwa 5 GB seiner 65 GB. Reale Werte liegen unter der Obergrenze; die Rangfolge ändert sich nicht.

Deshalb ist die H200 NVL für eine tippende Person bei jeder Präzision etwa dreimal so schnell: 4-Bit-Gewichte helfen beiden Karten, und das Bandbreitenverhältnis bleibt gleich. Batching ändert das, weil bei vielen gleichzeitigen Anfragen dieselben Gewichte viele Token pro Lesevorgang bedienen; die Arbeitslast wird rechenlimitiert, und die FP4-Tensor-Kerne der Blackwell-Karte machen einen Unterschied.

Veröffentlichte Benchmarks: TensorRT-LLM und MLPerf®® Inference v6.0

NVIDIAs Performance-Übersicht für TensorRT-LLM (Dokumentation zu 1.4.0rc1, aktualisiert am 19. Oktober 2026) führt Llama 3.3 70B in FP4 auf einer RTX PRO 6000 Server Edition mit 1.724 Ausgabe-Token pro Sekunde und GPU unter Volllast bei 1.000 Eingabe- und 1.000 Ausgabe-Token, fallend auf 296 bei 8.192 Eingabe- und 1.024 Ausgabe-Token. Das ist das gebatchte Regime, in dem der Durchsatz zuerst kommt.

MLPerf® Inference v6.0 (April 2026) liefert direkt vergleichbare öffentliche Zahlen; sie ist die jüngste Runde mit Ergebnissen für beide Karten, denn die Closed Division der am 16. September 2026 veröffentlichten Runde v6.1 enthält kein Ergebnis mit der H200 NVL. Im interaktiven Llama-2-70B-Szenario, das die Zeit bis zum ersten Token auf 450 ms und die Zeit pro Ausgabe-Token auf 40 ms begrenzt, erreichte ein Dell PowerEdge XE7740 mit acht H200 NVL 16.343,8 Token pro Sekunde; ein System mit acht RTX PRO 6000 im Server eines anderen Herstellers erreichte 6.238,1 (Eintrag 6.0-0004). Im Offline-Szenario, in dem Latenz nicht zählt, erreichte dasselbe Dell-Chassis 32.004,0 Token pro Sekunde mit acht H200 NVL in FP8 und 27.034,8 mit acht RTX PRO 6000 in FP4. Im Server-Szenario lagen die Werte bei 29.084,9 und 25.524,1. Der ProLiant Compute DL380a Gen12 von HPE mit acht RTX PRO 6000, ebenfalls in FP4, erreichte offline 29.908,4 und im Server-Szenario 28.727,8. Ein HPE ProLiant DL385 Gen11 mit zwei RTX PRO 6000 erreichte offline 6.901,9.

MLPerf® Inference v6.0, Datacenter, geschlossene Division, verfügbare Systeme, Benchmark llama2-70b-99. Dell PowerEdge XE7740 mit acht H200 NVL: Eintrag 6.0-0021 (Interactive, Offline, Server); mit acht RTX PRO 6000: Eintrag 6.0-0022 (Offline, Server); acht RTX PRO 6000, Interactive: Eintrag 6.0-0004; HPE ProLiant Compute DL380a Gen12 mit acht RTX PRO 6000: Eintrag 6.0-0047 (Offline, Server); HPE ProLiant DL385 Gen11 mit zwei RTX PRO 6000: Eintrag 6.0-0052 (Offline). Abgerufen von mlcommons.org am 24. September 2026 (Eintrag 6.0-0047 am 5. Oktober 2026); Ergebnisse von der MLCommons Association verifiziert. Vergleiche je Karte sind unsere Rechnung (Systemergebnis geteilt durch die Zahl seiner GPUs), keine MLPerf®-Metrik. The MLPerf name and logo are registered and unregistered trademarks of MLCommons Association in the United States and other countries. All rights reserved. Unauthorized use strictly prohibited. See www.mlcommons.org for more information.

Zusammengenommen liefert die H200 NVL rund das 2,6-Fache des interaktiven Durchsatzes pro Karte, wenn jeder Nutzer auf eine Antwort wartet. Gegenüber den hier zitierten Systemen mit acht RTX PRO 6000 schrumpft ihr Vorsprung offline auf 7 bis 18 Prozent und im Server-Szenario auf 1 bis 14 Prozent; das Offline-Szenario kommt einer Warteschlange von Dokumenten am nächsten, auf deren Ergebnis niemand wartet. Für solche Batch-Arbeit liefert die Blackwell-Karte in FP4 hohen Durchsatz bei derselben Board-Leistung von 600 W.

Wann 96 GB reichen und wann es die H200 NVL braucht

Die RTX PRO 6000 Server Edition ist die richtige Karte, wenn das Modell in FP4 oder FP8 mit dem Kontext und der Parallelität passt, die Sie betreiben; wenn die Anfragen als Batch oder asynchron laufen, Durchsatz also mehr zählt als die Latenz pro Nutzer; wenn vier isolierte MIG-Mandanten pro Karte gefordert sind; wenn derselbe Host auch Rendering, Video oder virtuelle Workstations braucht; und wenn Ihre Server kein NVLink haben und keines geplant ist.

Die H200 NVL ist die richtige Karte, wenn Nutzer interaktiv arbeiten und die Latenz pro Token Teil eines Service-Levels ist; wenn Kontexte lang und die Parallelität hoch sind, sodass der KV-Cache und nicht die Gewichte den Speicher füllt; wenn das Modell oberhalb von etwa 100B dichten Parametern liegt und auf einem Host bleiben muss, wo zwei oder vier gekoppelte Karten 282 oder 564 GB über NVLink mit 900 GB/s pro GPU teilen; und wenn die fünfjährige AI-Enterprise-Subscription ohnehin Teil des Budgets ist, denn bei der H200 NVL ist sie enthalten, bei der RTX PRO 6000 nicht.

Was wir liefern

Wir liefern die RTX PRO 6000 Server Edition und die H200 NVL mit ihren 2-fach- und 4-fach-NVLink-Bridges, als Karten für einen Server, den Sie bereits betreiben (siehe die mit der RTX PRO 6000 kompatiblen Server und die Checkliste für eine H200 NVL in einem vorhandenen Server), oder in einem nach Auftrag gebauten KI-Server, unter einem EU-Vertrag und auf einer Rechnung, mit Herstellergarantie. Die Auswahl dimensionieren wir nach der Arbeitslast: dem Modell, der Präzision, die Ihr Evaluationssatz toleriert, der Parallelität und der Kontextlänge. Die H200 NVL kommt mit ihrer fünfjährigen Subscription für NVIDIA AI Enterprise; für die RTX PRO 6000 nehmen wir eine Lizenz für NVIDIA AI Enterprise in dasselbe Angebot auf, wenn Ihre Konfiguration eine braucht.

FAQ