GLM-5.3 in NVFP4 auf acht NVIDIA RTX PRO 6000 Blackwell Server Edition

Acht Server-Edition-Karten mit NVIDIAs NVFP4-Version von GLM-5.3

GLM-5.3 läuft in NVIDIAs NVFP4-Version auf einem Server mit acht NVIDIA RTX PRO 6000 Blackwell Server Edition. Die 464,1 GB Gewichte belegen 432,3 GiB, und von den 664,3 GiB unserer Regel für Nutzer je Karte bleiben 29,0 GiB je Karte für den Cache. In zwei Pipeline-Stufen zu je vier Karten ist das nach unserer Schätzung Platz für etwa 18 Gespräche mit 32K Token bei 16-Bit-Cache oder 30 mit FP8-Cache, nahe an dem, was acht H200 NVL mit dem FP8-Checkpoint fassen.

Offen ist die Software. NVIDIA hat den Checkpoint auf dem B300 getestet, einer Rechenzentrums-GPU der Blackwell-Generation mit Compute Capability 10.x, und einen veröffentlichten Lauf auf der RTX PRO 6000 mit Compute Capability 12.0 haben wir nicht gefunden. Unser Leitfaden zu den Hardware-Anforderungen von GLM dimensioniert GLM-5.3 in FP8 auf acht H200 NVL und erklärt, warum die FP8-Gewichte nicht auf acht RTX PRO 6000 passen; diese Seite behandelt den Weg über NVFP4 auf acht Server-Edition-Karten.

Was NVIDIAs Checkpoint GLM-5.3-NVFP4 enthält

NVIDIA hat das Repository nvidia/GLM-5.3-NVFP4 am 14. September 2026 angelegt. Die Model Card beschreibt GLM-5.3 als „a Mixture-of-Experts (MoE) model for reasoning, coding, and agentic tasks“ mit „753B in total and 40B activated“ Parametern, quantisiert mit NVIDIA Model Optimizer 0.47.0.

Model Card, config.json und Dateiliste von nvidia/GLM-5.3-NVFP4 (Summe der 50 Safetensors-Dateien, 464.143.549.144 Byte), Hugging-Face-API (angelegt am 14. September 2026, zuletzt geändert am 18. September 2026), gelesen am 24. Oktober 2026.

Die Card hält fest: „Only the weights and activations of the linear operators within transformer blocks in MoE are quantized.“ Die config.json nutzt für die NVFP4-Experten der Schichten 3 bis 77 Blöcke zu 16 Werten, speichert das dichte MLP der Schichten 0 bis 2 in FP8 und nimmt Schicht 78, die Multi-Token-Prediction-Schicht (MTP), von der Quantisierung aus. Der Startbefehl nutzt --tp-size 8, --quantization modelopt_fp4, --context-length 400000 und --mem-fraction-static 0.90.

vLLMs Rezept für GLM-5.3, aktualisiert am 15. Oktober 2026, verweist auf einen zweiten NVFP4-Checkpoint, Inferact/GLM-5.3-NVFP4, der nur die Linearschichten der MoE-Experten neu quantisiert. Das Rezept nennt „~465 GB“, bezeichnet ihn als „Blackwell-only“ mit der Überschrift „(B200/B300)“ und startet ihn mit --tensor-parallel-size 8, --enable-expert-parallel und --kv-cache-dtype fp8_e4m3. Keine der beiden Quellen nennt eine RTX-PRO-Karte. Unsere Liste der NVFP4-Modelle für die RTX PRO 6000 verfolgt solche Checkpoints.

Genauigkeit: NVFP4 gegen FP8 in NVIDIAs Model Card

NVIDIA vergleicht den NVFP4-Checkpoint auf acht Benchmarks mit der FP8-Basis. Der größte Abstand beträgt 1,13 Punkte bei Terminal Bench 2.1, zugunsten von NVFP4; SciCode verliert 0,62 und AA-LCR 0,12.

Model Card von nvidia/GLM-5.3-NVFP4, gelesen am 24. Oktober 2026; „Evaluation runtime: SGLang with tensor parallelism 8 across two 4-GPU nodes“ auf NVIDIAs Testhardware.

Das sind NVIDIAs eigene Messungen auf eigener Hardware. Sie zeigen, dass die 4-Bit-Experten die Qualität des Modells auf öffentlichen Benchmarks halten. Ihre Dokumente, Ihr Code und Ihre Sprachen sind ein eigener Test, und ein Pilotbetrieb auf dem gelieferten Server führt ihn durch. Unser Leitfaden zum Quantisieren eines LLM in NVFP4 oder FP8 erklärt, was die Formate speichern.

Speicher und Gespräche auf acht Server-Edition-Karten

Unsere Regel für Nutzer je Karte nimmt 90 Prozent der 95,6 GiB, die der Treiber meldet, und zieht 3 GiB je Karte ab: 83,0 GiB je Karte, 664,3 GiB für acht. Die NVFP4-Gewichte belegen 432,3 GiB, 54,0 GiB je Karte, und lassen 232,1 GiB frei, 29,0 GiB je Karte. Der FP8-Checkpoint bräuchte 704 GiB und passt nicht.

GLM-5.3 speichert je Schicht und Token einen komprimierten Latent-Vektor, 512 Werte plus einen Positionsteil mit 64 Werten, und einen Schlüssel für seinen Sparse-Attention-Indexer. Unser GLM-Leitfaden kommt über die 78 Schichten auf 97,8 KiB je Token in 16 Bit und 60,0 KiB in FP8: 3,06 und 1,88 GiB je Gespräch mit 32.768 Token. Bei Tensor-Parallelismus hält vLLM diesen Cache vollständig auf jeder Karte, zwei Pipeline-Stufen halbieren ihn je Karte.

Unsere Schätzungen per Rechnung, keine Messungen: gleichzeitige Gespräche in voller Länge, ganze Zahlen abgerundet; 29,0 GiB Cache je Server-Edition-Karte mit NVFP4-Gewichten, 35,35 GiB je H200 NVL mit FP8-Gewichten (unser GLM-Leitfaden); 400K ist der Kontext in NVIDIAs Befehl.

Die Werte für die Server Edition sind Obergrenzen. vLLM misst beim Start seinen eigenen Laufzeitbedarf, und unser Kimi-K2-Leitfaden hält auf acht H200 etwa 7,4 GiB je Karte weniger Cache fest, als unsere Regel lässt; die Token-Zahl, die vLLM beim Start auf dem gelieferten Server ausgibt, liefert den echten Wert. Beim vollen Kontext von 1M braucht ein Gespräch mit FP8-Cache in zwei Stufen etwa 30,0 GiB je Karte, knapp mehr als die 29,0 GiB, die übrig bleiben. Unser Beitrag zur Hardware für LLMs mit langem Kontext behandelt die Auslagerung für solche Längen.

vLLM- und SGLang-Kernel für GLM-5.3 auf Blackwell RTX (SM120)

Zwei Teile von GLM-5.3 entscheiden, ob es auf Compute Capability 12.0 läuft: die NVFP4-Experten und die Sparse-Latent-Attention. Für die Experten hat vLLM 0.30.0 vom 22. September 2026 „W4A4 NVFP4 preferred on SM120/121“ eingeführt, und SGLangs Dokumentation zur Quantisierung wählt für NVFP4 auf SM120 ihr FlashInfer-CUTLASS-Backend, wie unsere Seite zur Software-Unterstützung von Blackwell RTX SM120 festhält.

Enger wird es bei der Attention. vLLMs Tabelle der Attention-Backends, gelesen am 24. Oktober 2026, führt FLASHINFER_MLA_SPARSE_SM120 für 12.x mit den Cache-Typen auto, fp8, fp8_e4m3 und fp8_ds_mla und ohne Decode Context Parallelism (DCP). GLM-5.3 hat den Latent mit 512 plus 64 Werten von DeepSeek-V3.2. Das kleinere GLM-5.3-Flash hat keinen Positionsteil, und vLLM-Issue 53963 vom 26. August 2026 meldet dafür auf der RTX PRO 6000 „no SM120 sparse-MLA path for rope-free MLA“. vLLM 0.31.0 vom 5. Oktober 2026 führte für dieses Modell dann „NoPE sparse MLA on the FlashInfer SM120 backend“, doch am 24. Oktober war das Issue noch offen, mit Nutzerberichten aus dem Oktober über Probleme mit MTP-Entwürfen auf diesem Backend. Helix betrieb das Flash-Modell auf einem Knoten mit acht Server-Edition-Karten über einen festgeschriebenen, experimentellen SGLang-Build, nachdem der Versuch mit vLLM gescheitert war (Blog vom 27. August, aktualisiert am 24. September 2026). Keiner der beiden Berichte betrifft das volle GLM-5.3, dessen Sparse-Pfad auf dieser Karte in öffentlichen Quellen damit unbestätigt ist.

DCP ist die zweite Folge. vLLM 0.30.0 führt „PCP+DCP on sparse-MLA models“ und verlangt: „Attention implementations must explicitly declare DCP support“; das SM120-Sparse-Backend tut das in der Tabelle nicht. Die Tabelle führt außerdem FLASH_ATTN_MLA_SPARSE_FA4 für „Any“ mit DCP, aber nur mit 16-Bit-Cache, und einen veröffentlichten Lauf davon auf dieser Karte haben wir nicht gefunden. Planen Sie diesen Server mit Pipeline-Stufen, die den Cache je Karte halbieren, und lassen Sie DCP weg, bis ein Release es für 12.x führt.

Wir bauen Server mit acht Server-Edition-Karten nach Auftrag und prüfen den Engine-Pfad für Ihr Modell, bevor wir anbieten; nennen Sie uns die GLM-Variante, den Kontext und die gleichzeitigen Nutzer, und unser Team antwortet mit der Aufteilung und den Gesprächen, die sie fasst.

Aufteilungen: zwei Pipeline-Stufen, TP=8 oder Expert-Parallelismus

Die Server-Edition-Karten haben kein NVLink, jede Aufteilung läuft also über PCIe Gen5. Tensor-Parallelismus über acht Karten schickt je Schicht zwei All-Reduces über alle Karten und beide Prozessorsockel, und in der Standardeinstellung schaltet vLLM sein eigenes All-Reduce bei mehr als zwei GPUs ohne NVLink ab; Release 0.30.0 (22. September 2026) brachte ein optionales FlashInfer-All-Reduce über PCIe IPC für solche Systeme. Zwei Pipeline-Stufen zu je vier halten den Verkehr je Schicht in jeder Hälfte des Servers, und in einem Server mit zwei Sockeln kann jede Stufe unter einem Prozessor liegen; zwischen den Stufen gehen nur die Aktivierungen. Unser Vergleich von TP=2, TP=4 und Replikaten ohne NVLink behandelt die Einstellungen.

In vLLM heißt das --tensor-parallel-size 4 --pipeline-parallel-size 2. Release 0.30.0 führt „speculative decoding under pipeline parallelism“. Das zählt, weil vLLMs Rezept GLM-5.3 mit MTP und fünf spekulativen Token betreibt und NVIDIAs Checkpoint die MTP-Schicht unquantisiert lässt. Der NVFP4-Befehl des Rezepts nutzt Expert-Parallelismus über acht Karten, der ganze Experten auf Karten verteilt; in einem PCIe-Server schickt es in jeder MoE-Schicht Token zwischen den Karten hin und her. Messen Sie beide Aufteilungen auf dem gelieferten Server mit Ihren Prompt-Längen; unser Leitfaden zum Abnahmetest von GPU-Servern beschreibt einen solchen Lasttest.

Dieselben 432,3 GiB passen auch auf zwei Server mit je vier Server-Edition-Karten. NVIDIAs eigene Evaluation lief mit Tensor-Parallelismus 8 über zwei Knoten mit je 4 GPUs; über Ethernet würden wir stattdessen nach Pipeline-Stufen aufteilen, wie unser Leitfaden zu einem 600-GB-Modell auf zwei 4-GPU-Servern erklärt.

Acht Server Edition mit NVFP4 oder acht H200 NVL mit FP8

Unsere Schätzungen und die Quellen oben; Werte für H200 NVL aus unserem GLM-Leitfaden; Leistung nach unserer Schätzung wie in unserem Leitfaden zur Leistung von acht Karten (acht Karten mit 600 W, zwei Prozessoren, plus 15 Prozent, für beide Kartentypen); Arbeitsspeicher nach NVIDIAs Konfigurations­leitfaden für NVIDIA-Certified Systems (30. September 2026).

Für ein Unternehmen, das GLM-5.3 auf einem Server betreiben will, fasst der Weg über die Server Edition nach unserer Schätzung etwa vier Fünftel der Gespräche des Wegs über H200 NVL, mit einem Format, das der Herausgeber auf dieser Karte nicht getestet hat. Der Weg über H200 NVL betreibt die originalen FP8-Gewichte mit einem Rezept, das diese Speichergröße nennt; unser Leitfaden zum Server mit acht H200 NVL dimensioniert ihn. Vom Speicher her passten die NVFP4-Gewichte auch auf vier H200 NVL mit etwa 61 GiB Rest, doch die H200 hat keine FP4-Arithmetik und würde sie über einen Weight-only-Ausweichpfad rechnen, den keiner der Herausgeber abdeckt; damit planen wir nicht.

Wenn ein kleineres Modell Ihren Anwendungsfall abdeckt, braucht GLM-5.3-Flash nur vier Karten; unser Beitrag zu GLM-5.3-Flash auf vier Server-Edition-Karten dimensioniert es.

GLM-5.3 License und NVIDIAs Bedingungen

Die GLM-5.3 License erlaubt, „to deal in the Software without restriction“, unter ihren Bedingungen. Ihre Klausel 2 definiert Model as a Service als „giving a third party access to language model inference or fine-tuning (e.g., via API)“ mit maßgeblicher Kontrolle über Eingaben, Parameter oder Trainingsdaten und nimmt „end-user products with model capabilities solely embedded within specific features or harnesses“ aus. Übersteigt ein Lizenznehmer, der ein solches Geschäft betreibt, zusammen mit seinen verbundenen Unternehmen in beliebigen zwölf aufeinanderfolgenden Monaten 10 Milliarden US-Dollar Umsatz, gilt für ihn: Er „must pass Z.AI's security review before using the Software or its derivative works for any commercial purpose“. Eine räumliche Beschränkung haben wir im Text nicht gefunden. Für NVIDIAs Checkpoint gilt das NVIDIA Open Model Agreement, und die Card hält fest: „The NVIDIA Open Model Agreement does not modify or supersede the GLM-5.3 License or its conditions.“ Ob eine Klausel für Ihren Einsatz gilt, beurteilt Ihre Rechtsabteilung.

Was wir liefern

Sie können dieses System bei uns kaufen: Unser Team dimensioniert die Konfiguration nach Ihrer Arbeitslast und Ihrem Budget und antwortet innerhalb eines Werktages. Wir bauen KI-Server nach Auftrag mit acht RTX PRO 6000 Server Edition oder mit acht H200 NVL und ihren NVLink-Brücken, vor der Lieferung montiert und getestet, mit EU-Vertrag und EU-Rechnung sowie Herstellergarantie auf jede Komponente. Mengen und Lieferzeit werden schriftlich mit dem Angebot bestätigt. Unsere Seite zum Kauf eines Servers mit 8× RTX PRO 6000 Server Edition listet die Varianten, und große LLMs auf acht Server-Edition-Karten stellt GLM-5.3 neben andere Modelle. Den Betrieb von GLM-5.3 mit vLLM oder SGLang übernimmt unser Service Private AI/ML, mit Engineering durch unseren Partner Vixen.UNO.

FAQ