RTX PRO 6000 Blackwell vs. H200 NVL für LLM-Inferenz: Wann 96 GB reichen

Derselbe Steckplatz, zwei verschiedene Speicher

Auf dem Papier wirken die Karten wie Nachbarn: Dual-Slot, passiv, PCIe Gen5, bis zu 600 W konfigurierbar, beide für Inferenz in gewöhnlichen Rack-Servern verkauft. Was sie trennt, ist das Speichersystem. Die RTX PRO 6000 Blackwell Server Edition trägt 96 GB GDDR7 an einem 512-Bit-Bus für 1.597 GB/s. Die H200 NVL trägt 141 GB HBM3e für 4.800 GB/s. Dreimal die Bandbreite und anderthalbmal die Kapazität, bei gleicher Leistungsaufnahme.

Alles in diesem Artikel folgt aus diesen beiden Zahlen und aus einer Tatsache der LLM-Inferenz: Ein Token zu erzeugen heißt, jedes Gewicht des Modells einmal zu lesen. Die Generierungsgeschwindigkeit für einen einzelnen Nutzer ist ein Bandbreitenproblem, kein Rechenproblem.

Spezifikationen, die für Inferenz zählen

Quellen: NVIDIA-Produktseiten beider Karten, Support-Matrix der TensorRT-LLM-Quantisierung, NVIDIA-AI-Enterprise-Lizenzierungsleitfaden. Die Tensor-Werte der H200 NVL sind NVIDIAs Sparsity-Zahlen, halbiert.

Wie groß das Modell wirklich ist

Nehmen wir Llama 3.3 70B, das Modell, mit dem die meisten unserer Dimensionierungsanfragen beginnen. Der veröffentlichte FP8-Checkpoint von NVIDIA hat 72,7 GB auf der Platte, rund 68 GiB im Speicher. Der NVFP4-Checkpoint von NVIDIA hat 42,7 GB, rund 40 GiB, und die Modellkarte meldet für die Kompression einen Rückgang von 83,3 auf 81,1 im MMLU und von 95,3 auf 92,6 im GSM8K. Für die meisten Geschäftsaufgaben ist das ein lohnender Tausch; für manche nicht, und die Entscheidung gehört demjenigen, der den Evaluationssatz verantwortet.

Dann der KV-Cache. Llama 3 70B hat 80 Schichten, 8 Key-Value-Heads und eine Head-Dimension von 128, also kostet jedes Token im Kontext 320 KiB in FP16 oder 160 KiB in FP8. Ein Kontext von 32k Token ist damit 10 GiB in FP16, 5 GiB in FP8, pro gleichzeitiger Anfrage bei voller Länge.

gpt-oss-120b ist die andere häufige Anfrage: 117B Parameter, 5,1B aktiv, MXFP4-Gewichte, 65 GB auf der Platte. Es passt auf beide Karten. Qwen3-235B-A22B nicht: Selbst in NVFP4 sind es rund 134 GB Gewichte, was 96 GB schlicht überschreitet und der H200 NVL fast keinen Platz für Kontext lässt.

Die Arithmetik hinter den Token pro Sekunde

NVIDIAs eigener Leitfaden zur Inferenzoptimierung sagt es unumwunden: In der Decode-Phase bestimmt die Geschwindigkeit, mit der Gewichte aus dem Speicher übertragen werden, die Latenz, nicht die Arithmetik. Eine brauchbare Obergrenze für einen Nutzer ist Bandbreite geteilt durch die pro Token gelesenen Gewichts-Bytes.

Einzelstrom-Obergrenzen aus Bandbreite ÷ Gewichts-Bytes, keine Messungen. Reale Werte liegen unter der Obergrenze; die Rangfolge ändert sich nicht.

Deshalb fühlt sich die H200 NVL für eine tippende Person bei jeder Präzision dreimal so schnell an: 4-Bit-Gewichte helfen beiden Karten, und das Bandbreitenverhältnis bleibt. Und deshalb ändert Batching das Bild: Bei vielen gleichzeitigen Anfragen bedienen dieselben Gewichte viele Token pro Lesevorgang, die Arbeitslast wird rechenlimitiert, und die FP4-Tensor-Cores der Blackwell-Karte beginnen zu zählen.

Was die veröffentlichten Benchmarks sagen

NVIDIAs Performance-Tabelle für TensorRT-LLM führt Llama 3.3 70B in FP4 auf einer RTX PRO 6000 Server Edition mit 1.724 Ausgabe-Token pro Sekunde und GPU unter Volllast bei Prompts von 1.000 Token, fallend auf 296 bei Prompts von 8.192 Token. Das ist das gebatchte Regime, in dem der Durchsatz zuerst kommt.

MLPerf Inference v6.0 liefert die einzigen direkt vergleichbaren öffentlichen Zahlen. Im interaktiven Llama-2-70B-Szenario, das die Zeit bis zum ersten Token auf 450 ms und die Zeit pro Ausgabe-Token auf 40 ms begrenzt, erreichte ein Dell XE7740 mit acht H200 NVL 16.343,8 Token pro Sekunde; ein System mit acht RTX PRO 6000 erreichte 6.238,1. Im Offline-Szenario, in dem Latenz nicht zählt, erreichte dasselbe Chassis 32.004,0 Token pro Sekunde mit acht H200 NVL in FP8 und 27.034,8 mit acht RTX PRO 6000 in FP4; im Server-Szenario 29.084,9 gegen 25.524,1. Ein HPE-System mit zwei RTX PRO 6000 erreichte offline 6.901,9.

Zusammen gelesen: Wenn jeder Nutzer wartet, liefert die H200 NVL rund das 2,6-Fache des interaktiven Durchsatzes pro Karte. Wenn die Arbeit eine Warteschlange von Dokumenten ist, auf die niemand schaut, schrumpft der Abstand auf rund 18 Prozent, und die Blackwell-Karte in FP4 ist ein starker Durchsatzmotor bei gleicher Leistungsaufnahme – zu einem Bruchteil der Speicherkosten.

Wann 96 GB reichen

Die RTX PRO 6000 Server Edition ist die richtige Karte, wenn das Modell in FP4 oder FP8 mit dem Kontext und der Parallelität passt, die Sie tatsächlich fahren; wenn der Verkehr Batch oder asynchron ist, Durchsatz also mehr zählt als die Latenz pro Nutzer; wenn vier isolierte MIG-Mandanten pro Karte die Anforderung sind; wenn derselbe Host auch Rendering, Video oder virtuelle Workstations braucht; und wenn die Flotte kein NVLink hat und nie haben wird.

Die H200 NVL ist die richtige Karte, wenn Nutzer interaktiv arbeiten und die Latenz pro Token ein Versprechen ist; wenn Kontexte lang und die Parallelität hoch sind, sodass der KV-Cache und nicht die Gewichte den Speicher füllt; wenn das Modell oberhalb von etwa 100B dichten Parametern liegt und auf einem Host bleiben muss, wo zwei oder vier gekoppelte Karten 282 oder 564 GB über NVLink mit 900 GB/s pro GPU teilen; und wenn die fünfjährige AI-Enterprise-Subscription ohnehin Teil des Budgets ist, denn die H200 NVL bringt sie mit und die RTX PRO 6000 nicht.

Unser Engineering-Partner Vixen.UNO führt die Dimensionierung vom Modell aus, über die Präzision, die der Evaluationssatz toleriert, die Parallelität und die Kontextlänge, in dieser Reihenfolge. Die Karte ist das Ergebnis dieses Arbeitsblatts, und eine überraschende Zahl von 70B-Anfragen endet auf einer einzigen Blackwell-Karte.

FAQ