GLM-5.3-Flash auf 4× NVIDIA RTX PRO 6000 Blackwell Server Edition: NVFP4, Nutzer und Strom

In NVFP4 reichen vier Server-Edition-Karten

Ein Server mit vier NVIDIA RTX PRO 6000 Blackwell Server Edition betreibt GLM-5.3-Flash für eine Abteilung, wenn er NVIDIAs NVFP4-Checkpoint nutzt. Die 190,4 GiB Gewichte lassen nach unserer Regel für Nutzer je Karte 35,4 GiB je Karte frei, Platz für rund 51 gleichzeitige Gespräche mit 32.768 Token und 16-Bit-Cache oder rund 100 mit dem FP8-Cache, den NVIDIAs Checkpoint vorsieht. Auch der FP8-Checkpoint von Z.ai passt auf die vier Karten, lässt aber nur 6,6 GiB je Karte frei, rund neun solcher Gespräche; für FP8 mit vielen Nutzern sind vier H200 NVL oder acht Server-Edition-Karten der passende Aufbau.

GLM-5.3-Flash ist das mittelgroße Modell der Generation GLM-5.3 von Z.ai: 320 Mrd. Parameter mit 18 Mrd. aktiven, multimodaler Eingabe und einem Kontext von 1.048.576 Token, unter der MIT-Lizenz. Unsere Seite zu den GLM-Hardware-Anforderungen dimensioniert GLM-5.3, GLM-5.3-Flash und GLM-4.x in FP8 für 1, 20 und 100 Nutzer. Diese Seite rechnet NVFP4 für einen Vier-Karten-Server, die Aufteilung über PCIe und den Softwarestand auf diesen Karten.

Unsere Schätzung nach der Regel für Nutzer je Karte (83,04 GiB je Server Edition, 123,36 GiB je H200 NVL), 0,69 GiB 16-Bit-Cache je Gespräch mit 32.768 Token auf jeder Karte einer tensorparallelen Kopie, wie in unserem GLM-Leitfaden; FP8-Cache mit der Hälfte gerechnet. Checkpoints: Summen der Safetensors-Dateien von zai-org/GLM-5.3-Flash und nvidia/GLM-5.3-Flash-NVFP4, gelesen am 24. Oktober 2026.

Das Modell und seine zwei Checkpoints

Die Modellkarte von Z.ai nennt „320B total parameters and just 18B active parameters“ und eine „hybrid architecture combining sparse and linear attention“; die Metadaten auf Hugging Face zeigen 321 Mrd. Die config.json nennt die Architektur Glm5NextForConditionalGeneration mit 45 Schichten. Davon nutzen 34 lineare Attention (KDA) und 11 eine Sparse Attention nach DeepSeek-Art mit einem komprimierten Latent aus 512 Werten. Die Schichten 0 bis 2 sind dicht, die übrigen 42 sind MoE-Schichten mit 288 gerouteten Experten, von denen je Token acht aktiv sind, und einem geteilten Experten. Ein Vision-Teil mit 24 Schichten und eine Schicht für Multi-Token-Prediction vervollständigen den Checkpoint.

Dateilisten von zai-org/GLM-5.3-Flash und nvidia/GLM-5.3-Flash-NVFP4 auf Hugging Face, summiert am 24. Oktober 2026; FP8-Format aus der quantization_config in der config.json; Umrechnung in GiB durch unsere Rechnung. Das Rezept von vLLM nennt „about 306 GiB“ für den FP8-Checkpoint.

NVIDIAs NVFP4-Modellkarte ist auf den 9. September 2026 datiert, mit Model Optimizer 0.47.0 erstellt und auf „NVIDIA Blackwell GB200“ getestet. Ihre hf_quant_config.json quantisiert die gerouteten Experten und das dichte MLP der ersten drei Schichten in Blöcken von 16 Werten nach NVFP4 und setzt einen FP8-KV-Cache. Unquantisiert bleiben die Attention aller 45 Schichten, die geteilten Experten, die Router, die Embeddings, die Ausgabeschicht und der Vision-Teil. Die Genauigkeitstabelle der Karte stellt NVFP4 neben BF16: 0,9211 gegenüber 0,9217 bei GPQA Diamond und 0,763 gegenüber 0,7688 bei MMMU Pro. Die NVFP4-Karte nennt wie die LICENSE-Datei von Z.ai die MIT-Lizenz und keine weitere Modelllizenz; NVIDIAs Repository hat keine eigene LICENSE-Datei.

Warum der Cache auf jeder Karte liegt

Der Cache je Gespräch ist klein, und jede Karte einer tensorparallelen Kopie hält ihn vollständig. Die 11 Schichten mit Sparse Attention speichern je Token einen Latent aus 512 Werten (kv_lora_rank 512, kein eigener RoPE-Anteil). In 16 Bit sind das 11 KiB je Token, dazu höchstens 2,75 KiB für den 128 Werte breiten Schlüssel des Sparse-Indexers, nach unserer Rechnung also 0,43 GiB für ein Gespräch mit 32K. Die 34 KDA-Schichten halten einen festen Zustand aus 64 Köpfen mit je 128 × 128 Werten; vLLM 0.31.0 nennt „FlashKDA keeping the recurrent state in FP32“, das ergibt 136 MiB je Gespräch, mit den Köpfen auf die Karten verteilt.

vLLMs Blog zu Decode Context Parallelism vom 7. August 2026, den unser Leitfaden zu den DeepSeek-Hardware-Anforderungen zitiert, schreibt, dass unter Tensor-Parallelismus „the latent KV cache is replicated in full across every TP rank“. Unsere Rechnung aus der config.json ergibt daher höchstens rund 0,46 GiB je Karte für jedes Gespräch mit 32K. Unser GLM-Leitfaden geht von der Verkleinerung aus, die Z.ai angibt, „by 4.44× versus GLM-5.3“, und kommt auf rund 0,69 GiB; wir planen mit dem größeren Wert, die Zahlen dieser Seite liegen also auf der sicheren Seite.

Dass jede Karte eine Kopie hält, verändert das Skalieren. Acht Karten mit einer TP=8-Kopie des NVFP4-Checkpoints lassen 59,2 GiB je Karte frei, rund 85 Gespräche, während zwei TP=4-Kopien auf denselben acht Karten in jeder Kopie 35,4 GiB je Karte frei lassen, zusammen rund 102. Für dieses Modell bringen mehr Kopien mehr als eine breitere Aufteilung. Die Methode hinter der Regel steht in Wie viel VRAM ein LLM braucht.

NVFP4 auf vier Server-Edition-Karten

Auf vier Karten verteilt legt der NVFP4-Checkpoint 47,6 GiB auf jede, und unsere Regel lässt von den 83,04 GiB je Karte 35,4 GiB für den Cache. Mit 0,69 GiB je Gespräch mit 32K sind das rund 51 gleichzeitige Gespräche; mit dem FP8-Cache, den NVIDIAs Checkpoint vorsieht und vLLM mit --kv-cache-dtype fp8 umsetzt, nach unserer Schätzung rund 100. Mit unserem Wert von 0,46 GiB aus der config.json wären es mit 16-Bit-Cache rund 77. Das sind gleichzeitig laufende Anfragen, weit weniger als die Zahl der Menschen, die den Dienst nutzen; unser Leitfaden zur Größe eines privaten ChatGPT-Servers nach Unternehmens­größe rechnet die Zahl der Beschäftigten in diese Größe um.

NVIDIAs vLLM-Einstellungen in der Karte sind Tensor-Parallelismus über vier, Datenparallelismus von eins, eingeschalteter Expert-Parallelismus, ein FP8-KV-Cache, höchstens 32 gleichzeitige Sequenzen und --gpu-memory-utilization 0.90, dieselben 90 Prozent, mit denen unsere Regel rechnet. Die Grenze von 32 Sequenzen ist NVIDIAs Testeinstellung auf GB200; auf vier Server-Edition-Karten erhöhen Sie sie nur so weit, wie der Cache im Startprotokoll es zulässt. Die 6,6 GiB, die der FP8-Checkpoint je Karte übrig lässt, sind der Grund, warum wir FP8 auf vier dieser Karten nur für ein einzelnes Team empfehlen.

Wir liefern den Server mit vier Server-Edition-Karten und richten GLM-5.3-Flash darauf ein; senden Sie uns Kontextlänge und die Zahl der Anfragen zur Spitzenzeit, und unser Team antwortet mit dem Checkpoint, der Aufteilung und den Gesprächszahlen, mit denen wir planen würden.

Tensor- und Expert-Parallelismus über PCIe

Die RTX PRO 6000 Server Edition hat kein NVLink, die vier Karten tauschen Daten also über PCIe Gen5 aus. Unter Tensor-Parallelismus endet jede Schicht mit einem All-Reduce; in der Standardeinstellung schaltet vLLM sein eigenes All-Reduce bei mehr als zwei GPUs ohne NVLink ab und nutzt NCCL, und Release 0.30.0 (22. September 2026) brachte ein optionales FlashInfer-All-Reduce über PCIe IPC für Systeme ohne NVLink. Mit Expert-Parallelismus, den NVIDIAs Befehl einschaltet, wandert jedes Token zu den Karten mit seinen acht Experten und zurück. Beides läuft über dieselben Verbindungen, und in einem Server mit zwei Sockeln kreuzen manche Wege auch die Verbindung zwischen den Prozessoren.

Halten Sie jede TP=4-Kopie in einem Server und betreiben Sie für mehr Nutzer mehr Kopien, wie die Tabelle zeigt. nvidia-smi topo -m zeigt den Weg zwischen je zwei Karten. Unser Artikel zur RTX PRO 6000 ohne NVLink vergleicht die Aufteilungen, und P2P, IOMMU und ACS unter Linux behandelt die Einstellungen, mit denen Peer-to-Peer funktioniert.

Softwarestand auf SM120 im Oktober 2026

Die RTX PRO 6000 hat Compute Capability 12.0 (SM120). Für GLM-5.3-Flash nennen die Release Notes von vLLM 0.31.0 vom 5. Oktober 2026 „NoPE sparse MLA on the FlashInfer SM120 backend“, die Attention seiner 11 Sparse-Schichten, zusammen mit Korrekturen für KDA und SM90; 0.32.0 vom 18. Oktober 2026 bringt einen FP8-Cache-Weg, der dem Modell auf SM90, der Generation der H200, „up to 31% more output throughput“ gibt. Schon vLLM 0.30.0 hatte native W4A4-Kernel für NVFP4 auf SM120 zum Standard gemacht, wie unser Leitfaden zur Software für SM120 festhält. Das vLLM-Issue 53963 vom 26. August 2026 zu diesem Modell auf der RTX PRO 6000 („no SM120 sparse-MLA path for rope-free MLA“) war am 24. Oktober 2026 noch offen, mit Nutzerberichten aus dem Oktober über Probleme mit MTP-Entwürfen auf dem SM120-Backend; testen Sie mit und ohne spekulatives Dekodieren per MTP.

Das Rezept von vLLM für GLM-5.3-Flash, aktualisiert am 8. Oktober 2026, nennt vLLM 0.29.0 oder neuer, FlashInfer 0.6.17 oder neuer „for NoPE sparse MLA“ und schreibt, dass die NVFP4-Variante „requires NVIDIA Blackwell GPUs“. Sein NVIDIA-Beispiel betreibt FP8 mit TP=4 auf einem GB200-Tray; ein Profil für die RTX PRO 6000 hat es nicht. NVIDIAs eigener Container in der NVFP4-Karte ist für arm64 und CUDA 13.0 gebaut, die GB200-Plattform; ein x86-Server mit Server-Edition-Karten braucht also ein normales vLLM-Image ab 0.31.0. Der SGLang-Befehl der Karte wählt Attention-Backends von TensorRT-LLM für GB200, und vLLM führt seine eigenen trtllm-gen-Attention-Kernel nur für Compute Capability 10.x; prüfen Sie daher, ob das gewählte Backend SM120 unterstützt. Lesen Sie das Backend, das vLLM wählt, im Startprotokoll ab, bevor Sie den Server abnehmen.

H200 NVL oder RTX PRO 6000 Server Edition für GLM-5.3-Flash

Die beiden Vier-Karten-Server passen zu unterschiedlichen Checkpoints. Vier H200 NVL haben je Karte 141 GB HBM3e mit 4,8 TB/s und eine Vierfach-NVLink-Brücke. Sie tragen den FP8-Checkpoint von Z.ai mit 46,9 GiB je Karte, rund 68 Gespräche mit 32K, und der FP8-Cache-Weg von vLLM 0.32.0 für SM90 gilt für sie; das Rezept, das vor diesem Release aktualisiert wurde, schreibt noch „Hopper does not support FP8 KV cache for this model“, deshalb rechnen wir die H200 NVL mit 16-Bit-Cache. Das Rezept von vLLM bindet NVFP4 an Blackwell, auf der H200 NVL planen Sie daher mit FP8. Vier Server-Edition-Karten führen NVFP4 nativ mit 1.597 GB/s je Karte aus und tragen mit demselben Cache-Wert rund 51 Gespräche.

• Eine Abteilung, NVFP4 akzeptiert: vier RTX PRO 6000 Server Edition.
• FP8-Qualität, mehr Nutzer, NVLink zwischen den Karten: vier H200 NVL, wie unsere Seite zum Server mit vier H200 NVL beschreibt.
• Reserve auf Blackwell: acht Server-Edition-Karten als zwei NVFP4-Kopien, rund 102 Gespräche, oder FP8 mit TP=8, rund 64.
• Zwei Karten: zu wenig für beide Checkpoints; ein kleineres Modell wie GLM-4.7-Flash passt auf eine Karte, wie unser GLM-Leitfaden zeigt.

Der Vergleich 4× RTX PRO 6000 oder 4× H200 NVL behandelt die Hardware allgemein, und 300B-MoE-Modelle auf vier RTX PRO 6000 stellt GLM-5.3-Flash auf demselben Server neben Beam-1.0, DeepSeek-V4-Flash, Qwen3.8-Flash-Next und MiMo-V2.6-Flash.

Strom, Arbeitsspeicher und Datenträger

Mit den vier Karten bei 600 W und zwei AMD EPYC 9355 mit je 280 W schätzen wir rund 3,4 kW an der Steckdose, mit der 450-W-Begrenzung der Karten rund 2,7 kW: Karten und Prozessoren plus 15 Prozent für Speicher, Laufwerke, Lüfter und Wandlungsverluste. Bei 600 W liegt das über den 2,94 kW, die wir je 230-V-Anschluss mit 16 A einplanen, der Rackplatz braucht also 32 A oder Drehstrom; mit der Begrenzung bleibt er darunter. Vier H200 NVL bei 600 W ergeben dieselbe Schätzung. Eine Messung am gelieferten System bestätigt oder ersetzt diese Werte, und unsere Seite zu 600, 450 oder 300 W für die Server Edition zeigt, was die Begrenzung kostet.

NVIDIAs Leitfaden für zertifizierte Systeme verlangt mindestens doppelt so viel Arbeitsspeicher wie GPU-Speicher: 768 GB DDR5 ECC für vier Server-Edition-Karten, der Inferenzknoten auf unserer Seite KI-Server. Beide Checkpoints zusammen belegen 533 GB NVMe; die BF16-Gewichte, die das Rezept von vLLM mit rund dem doppelten Gewichtsspeicher von FP8 ansetzt, kommen für Feintuning hinzu.

Was wir liefern

Sie können dieses System bei uns kaufen: Unser Team dimensioniert die Konfiguration nach Ihrer Last und Ihrem Budget und antwortet innerhalb eines Werktages. Wir bauen KI-Server auf Bestellung mit vier oder acht RTX PRO 6000 Server Edition oder vier H200 NVL, vor der Lieferung montiert und getestet, mit EU-Vertrag und EU-Rechnung sowie Herstellergarantie auf jede Komponente, abgewickelt über uns. Mengen und Lieferzeit werden schriftlich mit dem Angebot bestätigt. GLM-5.3-Flash, Retrieval und der Serving-Stack werden über unseren Service Private AI/ML eingerichtet; beschreiben Sie, was das Modell leisten soll, und wir schlagen Server und Checkpoint vor.

FAQ