300B-MoE-Modelle auf 4× NVIDIA RTX PRO 6000 Blackwell Server Edition im Vergleich

Fünf Modelle, die auf vier Server-Edition-Karten passen

Vier NVIDIA RTX PRO 6000 Blackwell Server Edition bieten nach unserer Regel für Nutzer je Karte 332,2 GiB für Gewichte und Cache, und fünf offene Mixture-of-Experts-Modelle mit 150 bis 500 Mrd. Parametern passen darauf. MiMo-V2.6-Flash hält nach unserer Rechnung die meisten Gespräche, GLM-5.3-Flash in NVIDIAs NVFP4-Version folgt mit FP8-Cache; Beam-1.0, das größte, passt nur in NVFP4 und lässt den wenigsten Speicher frei.

DeepSeek-V4-Flash ist auf diesen Karten am besten dokumentiert, mit einem vLLM-Rezept, das auf acht von ihnen verifiziert ist. Qwen3.8-Flash-Next aktiviert je Token die wenigsten Parameter, unter einer Lizenz mit einer Klausel für Dienstanbieter.

Diese Seite vergleicht die Modelle für einen Vier-Karten-Server, den Sie schon gewählt haben oder bestellen wollen, etwa den Inferenzknoten auf unserer Seite KI-Server. Jedes Modell hat hier eine Zeile; die Details stehen auf den Seiten je Modell: Beam-1.0 auf 4× RTX PRO 6000 Server Edition, GLM-5.3-Flash auf 4× RTX PRO 6000 Server Edition, unser Leitfaden zu den DeepSeek-Hardware-Anforderungen und unser Leitfaden zu den Qwen-Hardware-Anforderungen.

Unsere Schätzungen nach der Regel für Nutzer je Karte, 83,04 GiB je Karte, eine tensorparallele Kopie über vier Karten, Gespräche mit 32.768 Token in voller Länge mit 16-Bit-Cache, sofern nicht anders angegeben. Checkpoints: Summen der Safetensors-Dateien auf Hugging Face, gelesen am 24. Oktober 2026; Qwen3.8-Flash-Next aus unserem Qwen-Leitfaden (vLLM-Rezept vom 13. Oktober 2026).

Die Gesprächszahlen folgen dem Cache-Aufbau des jeweiligen Modells, der sich stärker unterscheidet als die Gewichte. GLM-5.3-Flash hält einen komprimierten Latent, den vLLM auf jeder Karte einer tensorparallelen Kopie vollständig speichert, seine Zahl hängt also vom Speicher einer Karte ab. Beam-1.0 und MiMo-V2.6-Flash halten in wenigen Schichten mit voller Attention einen normalen Grouped-Query-Cache, der sich auf die Karten verteilt. Die Gesprächszahlen für DeepSeek-V4-Flash werden in unseren Artikeln derzeit überprüft und fehlen hier; seine 44,2 GiB je Karte sind nur der Speicher.

Die Modelle in Zahlen

Modellkarten, config.json und Dateilisten auf Hugging Face (zai-org, nvidia, deepseek-ai, Qwen, reflection, XiaomiMiMo), gelesen am 24. Oktober 2026; Parameter von DeepSeek-V4-Flash wie in unserem DeepSeek-Leitfaden (die Metadaten auf Hugging Face zeigen 304 Mrd.).

Alle fünf bieten einen Kontext von mindestens 262.144 Token; GLM-5.3-Flash, Beam-1.0 und MiMo-V2.6-Flash-RL nennen 1M. Die Spalte Checkpoint entscheidet, ob ein Modell passt; die Spalte Aktiv entscheidet, was jedes erzeugte Token kostet. Ein MoE-Modell liest seine gemeinsamen Schichten und nur die Experten, die der Router wählt, Qwen3.8-Flash-Next mit 6 Mrd. aktiven Parametern liest je Token also weit weniger als Beam-1.0 mit 23,4 Mrd. Für den NVFP4-Checkpoint von Beam ergeben die Dateigrößen nach unserer Schätzung rund 23 GB je Token, eine Obergrenze von rund 275 Token pro Sekunde für einen einzelnen Strom auf vier Karten. Gebündelte Anfragen treffen je Schritt mehr Experten, solche Werte sind daher nach unserer Schätzung eine Obergrenze. Unser Leitfaden zu MoE-Modellen: Gesamt- gegen aktive Parameter erklärt die Rechnung.

Die fünf Modelle im Einzelnen

GLM-5.3-Flash. Das Modell von Z.ai mit 320 Mrd. Parametern, 18 Mrd. aktiv, 34 Schichten mit linearer und 11 mit Sparse Attention sowie Eingabe von Bildern und Videos. NVIDIAs NVFP4-Checkpoint mit 204,4 GB legt 47,6 GiB auf jede der vier Karten und lässt 35,4 GiB frei. Auch der FP8-Checkpoint von Z.ai passt, mit nur 6,6 GiB Rest je Karte. Die oben verlinkte Seite zu GLM-5.3-Flash rechnet beide Checkpoints, den Cache je Karte und die Alternative H200 NVL durch.

DeepSeek-V4-Flash-0731. Das offizielle Juli-Release des DeepSeek-Modells mit 284 Mrd. Parametern, 13 Mrd. aktiv, ein Checkpoint mit 166,9 GB, FP4-Experten und FP8 für den Rest. Es ist das kleinste der fünf und lässt 44,2 GiB je Karte frei. Unser DeepSeek-Leitfaden zitiert das vLLM-Rezept vom 29. September 2026: Der Betrieb „was verified on 8× RTX PRO 6000 (PCIe, no NVLink)“. Unsere Seite zum Server mit vier RTX PRO 6000 Server Edition nennt einen veröffentlichten TP=4-Lauf auf vier dieser Karten.

Qwen3.8-Flash-Next. Das Qwen-Modell mit 125 Mrd. Parametern, 6 Mrd. aktiv, einer N-Gramm-Embedding-Tabelle mit 51 Mrd. und einem Modul für Multi-Token-Prediction mit 4 Mrd. Der FP8-Checkpoint von Qwen hat 185,5 GB, 172,78 GiB. Unser Qwen-Leitfaden liest das vLLM-Rezept vom 13. Oktober 2026, das die Tabelle standardmäßig in den Arbeitsspeicher verlegt: Vier Karten behalten dann je 51,7 GiB, nach der Schätzung dieses Leitfadens genug für 100 Gespräche mit 32K. Mit der Tabelle auf jeder Karte bleiben je 4,2 GiB. NVIDIAs NVFP4-Version mit 132,7 GB ist kleiner, ihre Karte nennt aber B200 und B300 mit TP=8 als Testhardware.

Beam-1.0-501B-A23B. Das Modell von Reflection mit 501,3 Mrd. Parametern, 23,4 Mrd. aktiv, das größte der fünf und das einzige unter Apache 2.0. Nur der NVFP4-Checkpoint passt auf vier Karten; er lässt 14,7 GiB je Karte frei, rund 97 Gespräche mit 32K mit dem FP8-Cache, den das vLLM-Rezept setzt. Neun seiner 52 Schichten halten den vollen Kontext, das hält den Cache klein.

MiMo-V2.6-Flash-RL. Das Modell von Xiaomi mit 309 Mrd. Parametern, 15 Mrd. aktiv, laut Fachpresse am 22. September 2026 veröffentlicht. Seine config.json nennt 48 Schichten, neun mit globaler Attention über 4 KV-Köpfe und 39 mit einem Sliding Window von 128 Token. Sein Checkpoint mit 172,9 GB ist FP8 in Blöcken von 128 × 128 mit dem Speichertyp MXFP4. Nach unserer Rechnung aus der config.json, mit Values in ihrer eigenen Breite von 128, braucht ein Gespräch mit 32K rund 0,73 GiB 16-Bit-Cache, verteilt auf vier Karten, was mit 42,8 GiB je Karte die höchste Zahl der Tabelle ergibt. Eine Engine, die die Values auf die Key-Breite von 192 auffüllt, braucht rund ein Fünftel mehr; lesen Sie die Cache-Größe ab, die vLLM beim Start meldet. Der vLLM-Befehl der Modellkarte nutzt Tensor-Parallelismus über vier.

Software auf der RTX PRO 6000 (SM120)

Die RTX PRO 6000 hat Compute Capability 12.0, in der Software SM120 genannt, und ein Rezept für die B200 (SM100) überträgt sich nicht von selbst. Der Stand für die fünf Modelle unterscheidet sich.

Release Notes von vLLM v0.31.0 (5. Oktober 2026) und v0.32.0 (18. Oktober 2026); vLLM-Rezepte für GLM-5.3-Flash (8. Oktober), Beam-1.0 (16. Oktober), Qwen3.8-Flash-Next (13. Oktober, über unseren Qwen-Leitfaden) und DeepSeek-V4-Flash (29. September, über unseren DeepSeek-Leitfaden); Modellkarten auf Hugging Face; gelesen am 24. Oktober 2026.

vLLM 0.30.0 hat native W4A4-Kernel für NVFP4 auf SM120 zum Standard gemacht, die NVFP4-Checkpoints von GLM-5.3-Flash, Qwen3.8-Flash-Next und Beam-1.0 rechnen auf diesen Karten also in FP4, sofern die übrigen Kernel des Modells einen SM120-Weg haben. Sparse MLA, die Attention von GLM-5.3-Flash und DeepSeek-V4-Flash, ist der Bereich, in dem SM120 zuletzt unterstützt wurde; unser Leitfaden zur Software für SM120 hält den Ablauf von August bis Oktober 2026 fest. Die Karte von MiMo warnt „Stable vLLM may lag“ und verweist auf ein eigenes Image, und Beam braucht das Image reflection-beam, bis ein vLLM-Release es enthält. Lesen Sie bei allen fünf die Attention- und MoE-Backends, die vLLM wählt, im Startprotokoll des gelieferten Servers ab.

Wir liefern den Vier-Karten-Server und richten das gewählte Modell darauf ein; senden Sie uns die Modelle Ihrer engeren Wahl und Ihre Kontextlänge, und unser Team antwortet mit der Konfiguration und den Speicherzahlen für jedes Modell.

Lizenzen für den Einsatz im Unternehmen

Keiner der Lizenztexte und keine der Modellkarten, die wir am 24. Oktober 2026 gelesen haben, schließt ein Gebiet aus; keines schließt also ein Unternehmen in der EU aus, das das Modell auf eigenen Servern betreibt. Die Bedingungen unterscheiden sich.

• Apache 2.0, Beam-1.0: der Standardtext; Lizenz und Hinweise bleiben bei weitergegebenen Kopien.
• MIT, GLM-5.3-Flash und DeepSeek-V4-Flash: Die Lizenzdateien von Z.ai und DeepSeek sind der Standardtext der MIT-Lizenz; Copyright- und Erlaubnishinweis bleiben bei Kopien.
• MIT-Kennzeichnung, MiMo-V2.6-Flash-RL: Die Modellkarte ist mit MIT gekennzeichnet und die Presse nennt MIT, das Repository hat aber keine LICENSE-Datei; fragen Sie vor dem Produktivbetrieb nach dem Lizenztext.
• Qwen Community License 1.0, Qwen3.8-Flash-Next: Klausel 2 verlangt eine eigene Lizenz von Qwen für Lizenznehmer, die „a Model as a Service or AI Work Assistant business“ betreiben, mit einer Ausnahme für interne Nutzung, die weder die Software noch ihre Ausgaben oder Fähigkeiten Dritten zugänglich macht. Klausel 1 verlangt bei Produkten mit mehr als 100 Mio. monatlich aktiven Nutzern oder mehr als 20 Mio. US-Dollar Monatsumsatz die Anzeige des Modellnamens. NVIDIAs NVFP4-Version fügt die NVIDIA Open Model License hinzu.

Ob eine Klausel für Ihren Einsatz gilt, bestätigt Ihre Rechtsabteilung. Unser Leitfaden zu offenen LLM-Lizenzen für Unternehmen behandelt die Lizenzarten.

Welches Modell für welche Aufgabe

• Die meisten Gespräche auf einem Vier-Karten-Server: MiMo-V2.6-Flash-RL nach Speicher, nach einem Starttest, da kein Anbieter SM120-Unterstützung nennt, und sobald der Lizenztext von Xiaomi bestätigt ist; GLM-5.3-Flash in NVFP4 mit seinem dokumentierten SM120-Backend und MIT-Lizenzdatei.
• Am besten dokumentiert auf diesen Karten: DeepSeek-V4-Flash-0731, mit der Verifikation durch vLLM auf acht RTX PRO 6000 und dem kleinsten Checkpoint.
• Die wenigsten aktiven Parameter je Token: Qwen3.8-Flash-Next mit 6 Mrd. aktiv, für die interne Nutzung oder nach einer Lizenzprüfung, wenn Sie einen Dienst für Dritte anbieten.
• Das größte Modell: Beam-1.0 in NVFP4, mit 14,7 GiB Rest je Karte und einem eigenen vLLM-Image; für mehr Nutzer oder FP8 acht Karten, wie die Seite zu Beam rechnet.
• Mehr als eines davon: Zwei dieser Modelle teilen sich keine vier Karten; ein Server mit acht Karten oder zwei Server mit vier tragen zwei, wie unser Artikel ein 8-GPU-Server oder zwei 4-GPU-Server vergleicht.

Benchmark-Werte fehlen hier mit Absicht: Die Modellkarten melden sie mit unterschiedlichen Einstellungen, und das passende Modell hängt von Ihren Aufgaben und Ihrer Sprache ab. Testen Sie zwei Kandidaten mit Ihren eigenen Daten, bevor Sie entscheiden; unser Leitfaden zur Wahl eines offenen LLM für einen Unternehmensassistenten beschreibt einen solchen Test.

Server, Arbeitsspeicher und Strom für alle fünf Modelle

Jede Zeile setzt dieselbe Hardware voraus: vier Server-Edition-Karten an PCIe Gen5 ohne NVLink, zwei AMD-EPYC-Prozessoren und 768 GB DDR5 ECC, doppelt so viel wie der GPU-Speicher, wie NVIDIAs Leitfaden für zertifizierte Systeme verlangt. Mit den Karten bei 600 W und zwei EPYC 9355 mit 280 W schätzen wir rund 3,4 kW an der Steckdose, mit der 450-W-Begrenzung der Karten rund 2,7 kW; das entscheidet zwischen einem Anschluss mit 16 A und einem mit 32 A oder Drehstrom. Eine Messung am gelieferten System bestätigt oder ersetzt diese Werte. Qwen3.8-Flash-Next mit der N-Gramm-Tabelle im Arbeitsspeicher braucht dafür mindestens 51 GB, die 768 GB decken das ab.

Tensor-Parallelismus über vier Karten schickt in jeder Schicht ein All-Reduce über PCIe, Expert-Parallelismus schickt Token zu den Karten mit ihren Experten. Unser Artikel zur RTX PRO 6000 ohne NVLink vergleicht die Aufteilungen. Braucht ein Modell mehr Speicher je Karte, als diese übrig lassen, zeigt der Vergleich 4× RTX PRO 6000 oder 4× H200 NVL, was der Server mit H200 NVL ändert.

Was wir liefern

Sie können dieses System bei uns kaufen: Unser Team dimensioniert die Konfiguration nach Ihrer Last und Ihrem Budget und antwortet innerhalb eines Werktages. Wir bauen KI-Server auf Bestellung mit vier oder acht RTX PRO 6000 Server Edition, vor der Lieferung montiert und getestet, mit EU-Vertrag und EU-Rechnung sowie Herstellergarantie auf jede Komponente, abgewickelt über uns; Mengen und Lieferzeit werden schriftlich mit dem Angebot bestätigt. Auswahl und Einrichtung des Modells, Retrieval und Serving-Stack gehören zu unserem Service Private AI/ML; beschreiben Sie die Aufgaben, die das Modell übernehmen soll, und wir schlagen ein Modell und eine Aufteilung für Ihren Server vor.

FAQ