Qwen3.8-Flash-Next NVFP4 auf 2× NVIDIA RTX PRO 6000 Blackwell Server Edition

Zwei Karten der Server Edition für Qwen3.8-Flash-Next

Qwen3.8-Flash-Next läuft auf einem Server mit zwei NVIDIA RTX PRO 6000 Blackwell Server Edition, wenn Sie NVIDIAs NVFP4-Checkpoint verwenden und die 51B große N-Gramm-Tabelle des Modells im Arbeitsspeicher des Hosts halten. Jede Karte trägt dann rund 37,9 GiB Gewichte und rund 45 GiB Cache; nach unserer Regel für Nutzer je Karte ist das Platz für rund 157 gleichzeitige Gespräche mit 32.768 Token. NVIDIA hat den Checkpoint nur auf B200 und B300 getestet, planen Sie daher einen Testlauf auf dem gelieferten System ein, bevor Sie sich darauf verlassen.

Unser Leitfaden zu Qwen-Hardware­anforderungen legt Qwens eigene FP8- und BF16-Checkpoints von Flash-Next auf RTX PRO 6000 und H200 NVL aus. Diese Seite behandelt den NVIDIA-Checkpoint, den der Leitfaden noch nicht aufführte, und was er für den Einstiegsserver unter unseren KI-Servern ändert: zwei Karten statt vier.

Das Modell ist ein Mixture-of-Experts-Modell. NVIDIAs Model Card nennt 125B Parameter insgesamt und 6B aktive je Token, dazu ein N-Gramm-Embedding mit 51B und ein Modul für Multi-Token Prediction (MTP) mit 4B. Das Metadaten-Feld derselben Seite zeigt „120B params“, was nicht zum Text passt; wir verwenden den Text der Model Card. Der native Kontext beträgt 262.144 Token, erweiterbar auf 1.000.000.

Was NVIDIAs NVFP4-Checkpoint enthält

NVIDIA hat den Checkpoint mit Model Optimizer 0.46.0 quantisiert und kein Feintuning vorgenommen. Nur die gerouteten Experten des Sprachmodells liegen in NVFP4, der Rest bleibt in höherer Genauigkeit.

NVIDIAs Model Card und config.json von nvidia/Qwen3.8-Flash-Next-NVFP4 auf Hugging Face, gelesen am 24. Oktober 2026. NVIDIA gibt an, dass MTP-Modul und N-Gramm-Tabelle „byte-for-byte“ dem FP8-Checkpoint entsprechen.

Die Dateiliste zeigt zehn Modell-Shards mit zusammen 79,0 GB und eine eigene Datei mit 53,7 GB für MTP-Modul und N-Gramm-Tabelle, zusammen 132,7 GB oder 123,6 GiB. NVIDIA nennt den Checkpoint „approximately 2.7x smaller“ als BF16. Gegenüber Qwens FP8-Checkpoint, den vLLMs Rezept mit 172,78 GiB angibt, spart er rund 49 GiB.

NVIDIA vergleicht die NVFP4-Version mit dem FP8-Modell, nicht mit BF16. Bei GPQA Diamond erreicht sie 91,5 gegenüber 92,0, bei τ²-Bench Telecom 90,1 gegenüber 90,8 und bei Terminal-Bench 2.1 82,9 gegenüber 83,3; bei einigen anderen wie AA-LCR und SciCode liegt sie über FP8. NVIDIA nennt einzelne Werte ohne Streuung zwischen mehreren Läufen; prüfen Sie beide Versionen daher mit Ihrem eigenen Testsatz.

Wohin die 51B große N-Gramm-Tabelle kommt

Die N-Gramm-Tabelle ist der Grund, warum Flash-Next mehr Speicher braucht, als seine 6B aktiven Parameter vermuten lassen. Die config.json setzt ein N-Gramm-Vokabular von 20.000.000 Einträgen zu je 2.560 Werten. Mit einem Byte je Wert in FP8 sind das nach unserer Rechnung 51,2 GB oder rund 47,7 GiB; unser Qwen-Leitfaden rundet auf 47,5 GiB.

vLLMs Rezept zu Flash-Next, aktualisiert am 13. Oktober 2026, beschreibt die Tabelle als „a 51B lookup memory“, die „can be asynchronously offloaded to host memory“. Es hält fest, dass vLLM die Auslagerung standardmäßig aktiviert, dass --engram-config '{"cpu_offload":true}' sie ausdrücklich setzt und dass sie „currently only runs on Nvidia devices“. Für den Host verlangt es „at least 51 GB plus runtime headroom“. Unsere Einstiegskonfiguration hat 384 GB DDR5, die Tabelle belegt also nur einen kleinen Teil davon.

Für acht H100 stellt das Rezept außerdem fest: „H100's 80GB/GPU is not enough headroom for the 51B N-gram/PLE embedding table“, und seine Fehlerbehebung vermerkt, dass reines TP=4 auf vier H100 mit 80 GB ohne die Auslagerung schon beim Start keinen Speicher mehr hat. Wie in unserem Qwen-Leitfaden lesen wir das als eine Kopie der Tabelle auf jeder GPU. Nach dieser Lesart bräuchte eine TP=2-Kopie auf zwei Karten der Server Edition je Karte 47,7 GiB Tabelle plus 37,9 GiB, die Hälfte der übrigen 75,8 GiB: 85,6 GiB gegenüber den 83,0 GiB, die unsere Regel zulässt. Auf zwei Karten ist die Auslagerung also zwingend.

Das Rezept beschreibt die Auslagerung für Qwens Checkpoints. NVIDIAs NVFP4-Model-Card erwähnt sie nicht. Da die Tabelle im NVIDIA-Repository dieselbe FP8-Tabelle ist, erwarten wir denselben Weg, doch das gehört zu den Punkten, die der Testlauf bestätigen muss.

Speicher und Gespräche je Aufteilung

Unsere Regel für Nutzer je Karte nimmt 90 Prozent der 95,6 GiB, die der Treiber meldet, und zieht je Karte 3 GiB ab; so bleiben 83,04 GiB je RTX PRO 6000 Server Edition. Was nach den Gewichten übrig ist, wird Cache. Die Herleitung steht in unserem Leitfaden, wie viele Nutzer eine RTX PRO 6000 bedient.

Flash-Next hält einen vollständigen Cache nur in 12 seiner 48 Schichten. Jede hat zwei KV-Heads mit 256 Werten, in FP8 12 KiB je Token. Der Indexer der Sparse Attention fügt je Schicht einen 128 Werte breiten Schlüssel hinzu, den wir mit bis zu 1,5 KiB je Token ansetzen, und die 36 Linear-Attention-Schichten halten 48 Value-Heads mit je 128 × 128 Werten in float32, 108 MiB je Gespräch, unabhängig von dessen Länge. Auf zwei Karten verteilt hält jede Karte einen KV-Head, eine eigene Kopie des Indexer-Schlüssels und die Hälfte des Linear-Attention-Zustands: nach unserer Rechnung rund 0,29 GiB je Karte für ein Gespräch mit 32K.

Unsere Schätzungen nach der Regel für Nutzer je Karte, keine Messungen; Aufteilung = Zahl der Karten × Checkpoint, N-Gramm-Tabelle im Host-RAM oder auf den GPUs; gleichzeitige Gespräche mit 32.768 Token in voller Länge, KV-Cache und Indexer-Cache in FP8, wie vLLMs Rezept sie setzt. Gewichte aus der Dateiliste von nvidia/Qwen3.8-Flash-Next-NVFP4 (132,7 GB) und den 172,78 GiB von Qwens FP8-Checkpoint im vLLM-Rezept, gelesen am 24. Oktober 2026. Die FP8-Zeile stammt aus unserem Qwen-Leitfaden.

Die Befehle des Rezepts setzen --max-num-seqs 256, und es rät, diesen Wert beizubehalten, wenn beim Start ein Mamba-Cache-Fehler auftritt. Auf zwei Karten begrenzt dieser Wert, nicht der Speicher, die Zahl der Gespräche mit 8K: Vom Speicher her hielten zwei Karten rund 400 davon.

Gezählt werden Anfragen, die im selben Moment laufen, nicht namentliche Nutzer. Mit den Beispielwerten unseres Leitfadens zum privaten ChatGPT-Server nach Unternehmens­größe erzeugen 500 Beschäftigte zur Spitze rund 20 gleichzeitige Anfragen; 157 Gespräche decken vom Speicher her also mehrere tausend Beschäftigte ab. Welche Geschwindigkeit jeder Nutzer bei dieser Last sieht, misst der Testlauf.

Wir liefern diesen Server mit zwei RTX PRO 6000 Server Edition und richten das Modell auf Wunsch ein; schicken Sie uns die Kontextlänge und die erwartete Spitze laufender Anfragen, und unser Team antwortet mit einer Aufteilung und dem nötigen Arbeitsspeicher.

Software auf SM120 vor dem Kauf prüfen

Die RTX PRO 6000 ist eine Blackwell-Karte mit Compute Capability 12.0, der SM120-Familie; B200 und B300 sind Chips der SM100-Klasse mit anderen Kerneln. NVIDIAs Model Card führt B200 und B300 als unterstützt und getestet, nennt vLLM als Engine und verwendet in ihren Befehlen --tensor-parallel-size 8, --quantization modelopt und --trust-remote-code. Sie verlangt Transformers 5.16.0 oder neuer und nennt statt eines Releases einen vLLM-Commit; spekulatives Decoding mit MTP braucht zusätzlich einen vLLM-Pull-Request (#55513), bis dieser übernommen ist.

vLLMs Rezept hält fest: „Stable ≥0.30.0 runs the model“, „tuned and verified on nightly“. Getestet wurde auf GB300, H200, H100 und MI355X; eine NVFP4-Variante erwähnt es nur für eine einzelne GB200, einen Befehl für RTX PRO enthält es nicht. Drei Punkte aus vLLMs Release Notes sind für diese Karten wichtig:

1. NVFP4-Experten. vLLM 0.30.0 vom 22. September 2026 machte „W4A4 NVFP4 over weight-only kernels on SM120/121“ zum Standard (Pull-Request #55170). Ein Community-Beitrag im vLLM-Forum vom April 2026 beschrieb, dass die NVFP4-Kernel für Experten auf vier RTX PRO 6000 ungenannter Ausführung nicht initialisierten und auf Weight-only-Kernel von Marlin zurückfielen; welcher Weg läuft, hängt also von der vLLM-Version ab.
2. FP8-Blöcke in den MTP-Experten. vLLM 0.30.0 führt eine Optimierung für blockweises FP8 auf SM12x, gedacht für GB10, und vLLMs Rezept zu Qwen3.8-27B hält für SM120-Karten fest: „The block-scaled FP8 checkpoint needs no workaround“. TensorRT-LLMs Quantisierungsmatrix (1.4.0rc1) führt für SM120 keine FP8-Blockskalierung, auf diesen Karten ist das Modell also eine Aufgabe für vLLM oder SGLang.
3. Remote Code. Der NVIDIA-Befehl lädt Remote Code. vLLM 0.31.0 hat die Sicherheitslücke aus dem Advisory GHSA-h3rc-6mm3-gc2m zu --trust-remote-code behoben, verwenden Sie daher 0.31.0 oder neuer.

StorageReviews GPU-Übersicht vom 14. Oktober 2026 mit vLLM 0.27.1 stellte für ein dichtes NVFP4-Modell fest, dass der FP4-Vorteil der Blackwell-Karten „has not reached the serving stack yet“. Spätere Releases haben die Voreinstellungen geändert, ein weiterer Grund, mit genau der Version zu messen, die Sie einsetzen. Unser Leitfaden zur Softwareunterstützung für Blackwell RTX und SM120 verfolgt diese Änderungen.

Das Modell auf zwei PCIe-Karten verteilen

Die Server Edition hat kein NVLink, die beiden Karten tauschen Teilergebnisse also über PCIe Gen5 aus. Bei genau zwei GPUs behält vLLM seinen Custom-All-Reduce, sofern der Peer-to-Peer-Test beim Start besteht; bei mehr als zwei GPUs nur mit PCIe ist er standardmäßig abgeschaltet. vLLM 0.30.0 (Release Notes vom 22. September 2026) brachte einen optionalen FlashInfer-PCIe-IPC-All-Reduce für Server ohne NVLink (#53576). Unser Leitfaden RTX PRO 6000 ohne NVLink erklärt beides.

Bei Mixture-of-Experts-Modellen ist Expert-Parallelismus der andere Weg der Verteilung. vLLMs Rezept betreibt acht GPUs als TEP8, Tensor-Parallelismus mit Expert-Parallelismus, weil beim FP8-Checkpoint „plain TP8 is incompatible with its 128-wide quantization blocks“, und NVIDIAs MTP-Befehl ergänzt --enable-expert-parallel. Auf zwei Karten lohnt es sich, im Testlauf sowohl TP=2 als auch Expert-Parallelismus zu probieren. In einem Server mit zwei Sockeln zeigt nvidia-smi topo -m, ob das Paar an einem Prozessor hängt, und unser Leitfaden zu P2P, IOMMU und ACS für NCCL behandelt die Einstellungen in BIOS und Kernel.

Eine Karte für die Entwicklung

Mit der Tabelle im Host-RAM kommen die NVFP4-Gewichte auf rund 75,8 GiB auf der GPU; eine Karte der Server Edition hält sie mit rund 7,2 GiB Rest, nach unserer Regel Platz für rund 13 Gespräche mit 32K. vLLMs Rezept erwähnt den Betrieb der NVFP4-Variante auf einer einzelnen GPU für eine GB200, nicht für eine RTX-PRO-Karte. Ein Entwickler kann so Prompts, Werkzeuge und die MTP-Einstellung erproben, ein Dienst für ein Team gehört auf zwei Karten.

Server, Arbeitsspeicher und Strom

Die Einstiegskonfiguration unter unseren KI-Servern hat zwei RTX PRO 6000 Server Edition, zwei AMD-EPYC-Prozessoren, 384 GB DDR5 mit ECC und zwei NVMe-Laufwerke. NVIDIAs Konfigurations­leitfaden für NVIDIA-Certified Systems verlangt mindestens doppelt so viel Arbeitsspeicher wie GPU-Speicher, für zwei Karten mit 96 GB also 384 GB, und die N-Gramm-Tabelle braucht davon mindestens 51 GB. Unser Leitfaden, wie viel RAM ein GPU-Server braucht, erklärt die Regel, und KV-Cache-Auslagerung in CPU-Speicher und NVMe behandelt die andere Verwendung des Host-Speichers.

Der Checkpoint belegt 132,7 GB auf der Platte; wer Qwens FP8-Checkpoint zum Vergleich daneben hält, braucht rund 186 GB mehr. Mit zwei EPYC 9135 zu 16 Kernen und Karten mit 600 W schätzen wir rund 1,8 kW an der Steckdose, innerhalb der 2,94 kW, die wir je 230-V-Anschluss mit 16 A planen, wie unsere Seite zum Server mit zwei Karten der Server Edition vorrechnet. Eine Messung am gelieferten System bestätigt den Wert.

Lizenz: NVIDIA Open Model License und Qwen Community License

NVIDIAs Model Card hält fest, dass für das Repository die NVIDIA Open Model License gilt, ergänzt um die Qwen Community License 1.0 des Basismodells. Klausel 2 der Qwen-Lizenz lautet: „If the licensee or any of its affiliates conducts a Model as a Service or AI Work Assistant business, the licensee shall obtain a separate license from Qwen before Using the Software or its derivative works for any commercial purpose.“ Ausgenommen ist die interne Nutzung, die weder die Software noch ihre Ausgaben noch ihre Modellfähigkeiten Dritten zugänglich macht.

Die Lizenz definiert Model as a Service als „giving a third party access to language model inference or fine-tuning (e.g., via API or a hosted endpoint)“ und einen AI Work Assistant als „an independent AI-powered product primarily designed for AI-assisted coding or office productivity“. Produkte mit mehr als 100 Millionen monatlich aktiven Nutzern oder 20 Millionen US-Dollar Monatsumsatz müssen den Modellnamen anzeigen. Gelesen am 24. Oktober 2026 enthält der Text keine räumliche Einschränkung und nennt kein anwendbares Recht. Ob eine Klausel für Ihr Unternehmen gilt, bestätigt Ihre Rechtsberatung.

Wann vier Karten oder H200 NVL besser passen

Vier RTX PRO 6000 Server Edition halten die NVFP4-Version mit der Tabelle auf jeder GPU und rund 62 Gesprächen mit 32K, ohne Abhängigkeit vom Host-Speicher, oder rund 245 mit Auslagerung. Sie passen zu längeren Kontexten oder einem zweiten Modell neben Flash-Next, wie unsere Seite zu 4× RTX PRO 6000 Server Edition zeigt. Zwei Karten der H200 NVL mit NVLink-Brücke betreiben Qwens FP8-Checkpoint mit der Tabelle im Host-RAM und behalten nach unserem Qwen-Leitfaden rund 60,7 GiB je Karte für den Cache; FP4-Arithmetik haben sie nicht. Unsere Liste der NVFP4-Checkpoints für die RTX PRO 6000 sammelt die übrigen Modelle in diesem Format.

Was wir liefern

Dieses System können Sie bei uns kaufen: Unser Team legt die Konfiguration auf Ihre Arbeitslast und Ihr Budget aus und antwortet innerhalb eines Werktages. Wir bauen KI-Server auf Bestellung mit zwei bis acht RTX PRO 6000 Server Edition und dem Arbeitsspeicher, den das Modell braucht, vor der Lieferung montiert und getestet, mit einem EU-Vertrag und einer EU-Rechnung und mit Herstellergarantie auf jede Komponente. Konfiguration und Bestellablauf stehen auf unserer Seite Server mit 2× RTX PRO 6000 Server Edition kaufen. Die Einrichtung von Qwen3.8-Flash-Next mit Retrieval und Zugriffssteuerung gehört zu unserem Service Private AI/ML; beschreiben Sie, wie Sie das Modell nutzen wollen, und wir schlagen den Testlauf vor.

FAQ