GPU-Server für ein 70B-Modell dimensionieren: ein Rechenbeispiel von den Gewichten bis zur Steckdose

Das Beispiel: ein Assistent für 30 Nutzer auf Llama 3.3 70B

Ein Fertigungsunternehmen will einen internen Assistenten auf Llama 3.3 70B: Fragen zu Dokumenten, Entwürfe, Zusammenfassungen. Dreißig Personen nutzen ihn möglicherweise gleichzeitig, Gespräche kommen auf rund 8.000 Token Kontext, und die Antworten müssen in Lesegeschwindigkeit streamen. Alle Daten bleiben im Unternehmen. Für diesen Fall folgt hier das Arbeitsblatt zur Dimensionierung, Schritt für Schritt.

Schritt 1: die Gewichte

Llama 3.3 70B hat 70,6 Milliarden Parameter. Die Bytes pro Parameter bestimmen den Platzbedarf: zwei in FP16, eines in FP8 und 0,5625 in NVFP4, weil sich jeweils sechzehn Werte eine FP8-Skala teilen.

Quellen: Llama-3-Paper und Modellkarten, NVIDIA-Checkpoint-Karten auf Hugging Face, technischer NVFP4-Blog von NVIDIA.

In FP16 belegen allein die Gewichte 131 GiB. Sie füllen eine H200 NVL mit rund 9 GiB Rest, was kein Platz für dreißig Nutzer ist, und passen auf eine 96-GB-Karte gar nicht; FP16 braucht also zwei oder vier Karten oder ein anderes Modell. FP8 und NVFP4 sind die realistischen Optionen, und die Wahl zwischen ihnen trifft, wer den Evaluationssatz verantwortet: Zwei Punkte weniger im MMLU spielen für einen Zusammenfasser womöglich keine Rolle, können ein Modell für ein Compliance-Werkzeug aber ausschließen.

Schritt 2: der KV-Cache

Jedes Token eines laufenden Gesprächs hält seine Keys und Values für die gesamte Sitzung im GPU-Speicher. Die Größe pro Token ist 2 × Schichten × KV-Heads × Head-Dimension × Bytes. Für Llama 3 70B sind das 2 × 80 × 8 × 128 = 163.840 Werte: 320 KiB pro Token in FP16, 160 KiB in FP8. Dieser Plan setzt einen FP8-Cache voraus, den vLLM nur auf ausdrückliche Anforderung verwendet (--kv-cache-dtype fp8); standardmäßig hält vLLM den Cache im 16-Bit-Datentyp des Modells.

Dreißig Nutzer mit je 8.192 Token: 30 × 8.192 × 160 KiB = 37,5 GiB. Dazu rund 8 GiB für Aktivierungen, den CUDA-Kontext und Fragmentierung auf einer Karte oder insgesamt 10 GiB bei zwei Karten (jede Karte hat ihren eigenen CUDA-Kontext, die Aktivierungen teilen sich auf), und der Speicherplan sieht so aus.

TP = tensor-parallel über zwei Karten. Die Summen enthalten rund 8 GiB Overhead (10 GiB bei zwei Karten) für Aktivierungen, den CUDA-Kontext und Fragmentierung. Die Kapazitäten sind das, was der Treiber meldet: nvidia-smi zeigt 97.887 MiB (95,6 GiB) für die RTX PRO 6000 und 143.771 MiB (140,4 GiB) für die H200 NVL. Dieses Arbeitsblatt addiert Gewichte, Cache und einen festen Overhead und vergleicht die Summe mit dieser vollen Kapazität; unser VRAM-Leitfaden geht dagegen von 90 Prozent des Kartenspeichers abzüglich rund 3 GiB je Karte aus und kommt deshalb für dieselbe Karte auf weniger Sitzungen.

Das ist die Tabelle, die die meisten Dimensionierungsanfragen beantwortet. Die 96-GB-Karte ist für diese Arbeitslast nur in NVFP4 eine Ein-Karten-Lösung, und bei 90 % Auslastung bleibt wenig Platz für einen längeren Kontext oder fünf weitere Nutzer, sodass sie sich als Pilotkonfiguration eignet, aber nicht als Produktionsendpunkt. Die H200 NVL nimmt das FP8-Modell mit rund 26 GiB Reserve auf. Zwei Blackwell-Karten nehmen es in FP8 mit 75 GiB Reserve auf, auf Kosten von Tensor-Parallel-Verkehr über PCIe, da diese Karten kein NVLink haben.

Wir bauen jede dieser Optionen auf Bestellung; der Zwei-Karten-Plan liegt nah an unserem Referenzserver Private-KI-Starter. Nennen Sie uns, worin Ihr Fall von diesem Beispiel abweicht, und wir antworten innerhalb eines Werktages mit Konfiguration und Angebot.

Schritt 3: Geschwindigkeit für einen Nutzer und Durchsatz unter Last

Die Geschwindigkeit ist für einen Nutzer und für alle Nutzer zusammen zu prüfen. Für einen Nutzer ist die Generierung durch die Speicherbandbreite begrenzt, und die Obergrenze ist Bandbreite geteilt durch die pro Token gelesenen Gewichts-Bytes. Für das FP8-Modell sind das rund 68 Token pro Sekunde auf der H200 NVL (4.800 GB/s) und rund 23 auf einer RTX PRO 6000 (1.597 GB/s); für NVFP4 auf der Blackwell-Karte rund 39. Lesegeschwindigkeit liegt unter 10 Token pro Sekunde, also bestehen alle drei für einen Nutzer.

Für alle Nutzer zusammen zählt der Gesamtdurchsatz innerhalb einer Latenzgrenze. Das interaktive Szenario von MLPerf® Inference v6.0 für Llama 2 70B begrenzt die Zeit bis zum ersten Token auf 450 ms und die Zeit pro Token auf 40 ms. Acht H200 NVL in einem Dell XE7740 erreichten 16.343,77 Token pro Sekunde in FP8 (Eintrag 6.0-0021), und ein System mit acht RTX PRO 6000 Server Edition erreichte 6.238,12 in FP4 (Eintrag 6.0-0004), beide von der MLCommons Association verifiziert. Unsere Division jedes Systemergebnisses durch die Zahl seiner GPUs, die keine MLPerf®-Kennzahl ist, ergibt rund 2.040 und 780 Token pro Sekunde pro Karte. Dreißig Nutzer, die mit 10 Token pro Sekunde lesen, brauchen 300 Token pro Sekunde in Summe, mit Spitzen darüber. Mit den kurzen Prompts des MLPerf®-Benchmarks bewältigt eine einzige Karte jedes der beiden Typen diese Last; die H200 NVL schafft das mit dem FP8-Modell und rund dem 2,6-Fachen des Durchsatzes. Bei Prompts von 8.192 Token, die komplett neu verarbeitet werden, nennt NVIDIAs TensorRT-LLM-Performance-Übersicht für die RTX PRO 6000 Server Edition (Version 1.3.0rc29, aktualisiert am 26. September 2026) in einem Test auf maximalen Durchsatz ohne Latenzgrenze 296 Ausgabe-Token pro Sekunde je Karte in FP4, gegenüber 1.724 bei Prompts von 1.000 Token; der Plan setzt deshalb auf Prefix Caching, mit dem jede Gesprächsrunde nur ihre neuen Token im Prefill verarbeitet.

MLPerf® Inference v6.0 Datacenter, Closed Division, Kategorie Available, Llama 2 70B (llama2-70b-99), Szenario Interactive: Einträge 6.0-0021 (Dell PowerEdge XE7740, acht H200 NVL, FP8) und 6.0-0004 (acht RTX PRO 6000 Blackwell Server Edition, FP4), abgerufen von mlcommons.org am 24. September 2026. Ergebnisse von der MLCommons Association verifiziert. Beide Ergebnisse stimmen in Version, Division, Kategorie, Szenario und GPU-Zahl überein und unterscheiden sich in der Präzision. MLPerf® Inference v6.1 vom 16. September 2026 enthält für keine der beiden Karten ein Ergebnis mit Llama 2 70B im Interactive-Szenario, daher bleibt v6.0 die Quelle. Die Werte pro Karte sind unsere Division jedes Systemergebnisses durch die Zahl seiner GPUs, keine MLPerf®-Kennzahl. The MLPerf name and logo are registered and unregistered trademarks of MLCommons Association in the United States and other countries. All rights reserved. Unauthorized use strictly prohibited. See www.mlcommons.org for more information.

Läuft auf demselben Server auch nächtliche Batch-Arbeit, zählt der FP4-Durchsatz der Blackwell-Karte: dieselbe TensorRT-LLM-Übersicht zeigt 1.724 Ausgabe-Token pro Sekunde je RTX PRO 6000 bei diesem Modell in FP4 mit Prompts von 1.000 Token, und 296 mit Prompts von 8.192 Token. Lange Prompts senken den Durchsatz auf jeder Hardware.

Schritt 4: der Server um die Karte herum

Herstellergrenzen stammen aus aktuellen Product Guides; die Regeln zu Systemspeicher und Storage sind unsere Praxis bei der Dimensionierung, keine Herstellerspezifikation.

Zwei Zeilen brauchen eine Erläuterung. Der Lenovo SR650a V4 nimmt vier L40S mit 350 W auf, aber nur zwei H200 NVL mit 600 W, sodass dasselbe 2U-Chassis mit vier Dual-Slot-Steckplätzen nur zwei der Karten fasst, die dieses Design braucht. Und die H200 NVL bringt eine fünfjährige NVIDIA-AI-Enterprise-Subscription mit, die NIM-Microservices und NVIDIA-Support abdeckt, falls die Installation sie nutzt; die RTX PRO 6000 nicht, und wo die Lizenz gebraucht wird, ist sie eine eigene Position im Angebot.

Braucht die Option mit der RTX PRO 6000 eine Lizenz für NVIDIA AI Enterprise, setzen wir sie in dasselbe Angebot wie die Hardware. Fordern Sie ein schriftliches Angebot für beide Optionen an, dann können Sie sie vollständig vergleichen.

Was wir bestellen würden

Für dreißig Nutzer, 8k Kontext und ein FP8-Modell wie spezifiziert würden wir eine H200 NVL in einem 2U-Server mit einem freien zweiten Steckplatz bestellen, an einer 16-A-Zuleitung, in einer Halle mit 25 °C oder weniger. Das Modell passt mit rund 26 GiB Reserve (rund 16 GiB innerhalb des Standard-Speicheranteils von vLLM), die Karte trägt die interaktive Last mit Spielraum, und die Lizenz für NVIDIA AI Enterprise ist enthalten.

Akzeptiert der Evaluationssatz NVFP4, erledigt eine RTX PRO 6000 Server Edition denselben Job bei gleicher Leistungsaufnahme mit fast keinem freien Speicher. Das passt zu einem Pilot, aber nicht zu einem Dienst, der wachsen muss; für einen Dienst planen Sie von Anfang an zwei davon ein, in FP8, mit 75 GiB frei. Wächst der Kontext für alle auf 32k, ändern sich beide Pläne: Allein der Cache wird 150 GiB groß, und die Wahl verschiebt sich zu vier Karten oder zu einem kleineren Modell. Bei 8k Kontext und hundert Nutzern oder mehr ist unser Inferenz-Knoten mit vier Karten der RTX PRO 6000 Server Edition der nächste Schritt. Nach unserer Regel für Nutzer pro Karte (0,9 × 95,6 GiB, abzüglich 3 GiB je Karte und der Gewichte) fassen zwei tensorparallele FP8-Paare je etwa 78 Gespräche mit 8.192 Token und FP8-Cache, etwa 156 im Server, und vier Einzelkopien in NVFP4 etwa 136. Das sind Speicherwerte, kein gemessener Durchsatz; deshalb würden wir auf Ihrem Modell zwei TP=2-Instanzen gegen eine TP=4-Kopie testen. Prüfen Sie bei einem 2U-Chassis, ob der Hersteller vier Karten mit 600 W zulässt oder nur mit 450 W.

Die Kontextlänge und die Zahl gleichzeitiger Nutzer verändern das Ergebnis am stärksten, und genau diese beiden Angaben fehlen in den meisten Anfragen.

Was wir liefern

Wir liefern die H200 NVL und die RTX PRO 6000 Server Edition als Karten oder in einem auf Bestellung gebauten Server mit CPU, Systemspeicher, Storage, Netzwerk und Stromversorgung aus Schritt 4, unter einem EU-Vertrag und auf einer Rechnung, mit Herstellergarantie. Mengen und Lieferzeit bestätigen wir schriftlich mit dem Angebot.

FAQ