30B-MoE-Modelle auf GPUs mit 24 GB: NVIDIA L4 oder RTX PRO 4000 Blackwell im Server

Welche 30B-MoE-Modelle auf eine 24-GB-Karte passen

Auf einer einzelnen 24-GB-Karte passen die meisten aktuellen Mixture-of-Experts-Modelle (MoE) der 30B-Klasse entweder gar nicht oder nur mit Platz für ein bis drei Gespräche, auch in 4 Bit. Praktisch nutzbar werden sie auf zwei Karten: Ein Paar aus RTX PRO 4000 Blackwell oder L4 hält Nemotron 3.5 Lightning oder Qwen3.6-35B-A3B in NVFP4 mit Dutzenden Gesprächen, Server und Workstations mit vier oder acht 24-GB-Karten betreiben sie deshalb als TP=2-Paare. Das einzige Modell dieser Klasse, das mit mehreren Gesprächen auf eine Karte passt, ist gpt-oss-20b.

Die Grenze ist der Speicher. Ein MoE-Modell mit rund 3B aktiven Parametern rechnet wie ein 3B-Modell, aber alle seine Parameter liegen im GPU-Speicher, wie unser Artikel zu aktiven und gesamten Parametern bei MoE erklärt. Qwen3.6-35B-A3B hat als FP8-Checkpoint 37,5 GB und in NVFP4 noch 23,4 GB, bei 24 GB auf der Karte.

Modellkarten und Dateilisten auf Hugging Face (Summe der Safetensors-Dateien; Gesamtgröße des Repositorys bei Qwen FP8 und Lightning, deren Liste die Seite kürzt), gelesen am 24. Oktober 2026. GLM-4.7-Flash: „30B-A3B“ laut Modellkarte, 31B in den Metadaten.

Die Lizenzen unterscheiden sich im Detail. Apache 2.0 und MIT enthalten keine Nutzungsbeschränkung. OpenMDW-1.1 verlangt bei der Weitergabe des Modells eine Kopie der Vereinbarung und die Urheberrechtshinweise, und NVIDIAs Lightning-Karte nennt das Modell „ready for commercial use“. Die NVIDIA Nemotron Open Model License von Nemotron 3 Nano hält fest, dass Werke „commercially usable“ sind, wie unser Leitfaden zur Nemotron-Hardware zitiert. Ob eine Klausel für Ihr Unternehmen gilt, bestätigt Ihre Rechtsabteilung.

Wie viel von 24 GB Gewichte und Cache aufnimmt

Unsere Regel für Nutzer je Karte nimmt 90 Prozent des Speichers, den der Treiber meldet, und zieht je Karte 3 GiB für CUDA-Kontext, CUDA Graphs und Aktivierungen ab. Eine RTX PRO 6000 mit 96 GB meldet 95,6 GiB; auf 24 GB skaliert sind das rund 23,9 GiB, also 0,9 × 23,9 − 3 = 18,5 GiB für eine RTX PRO 4000. Die L4 hat GDDR6, bei dem ECC laut NVIDIAs CUDA Best Practices Guide 6,25 Prozent der Kapazität belegt; sie kommt mit eingeschaltetem ECC auf 17,2 GiB und ohne ECC auf 18,5 GiB, wie unsere Seite zum Server mit 8× L4 herleitet. Prüfen Sie den Wert mit nvidia-smi -q an Ihrer eigenen Karte. Die Regel stammt aus unserem Leitfaden Wie viele Nutzer schafft eine RTX PRO 6000?.

Der Cache je Gespräch ist bei diesen Modellen klein, weil die meisten ihrer Schichten keinen wachsenden Cache halten. Qwen3.6-35B-A3B hat 40 Schichten, davon 10 mit voller Attention und zwei KV-Heads der Dimension 256; die übrigen 30 sind Gated-DeltaNet-Schichten mit festem Zustand. Nemotron 3 Nano und 3.5 Lightning haben 52 Schichten: 23 Mamba-2-, 23 MoE- und 6 Attention-Schichten mit zwei KV-Heads der Dimension 128.

Unsere Rechnung aus der config.json jedes Modells auf Hugging Face, gelesen am 24. Oktober 2026: 2 × Schichten mit vollem Cache × KV-Heads × Head-Größe × Bytes; der feste Zustand ist der rekurrente float32-Zustand der linearen bzw. Mamba-Schichten. Gemma 4 26B A4B aus unserem Gemma-Leitfaden (eine Obergrenze). gpt-oss-20b: 12 von 24 Schichten halten den vollen Kontext, 8 KV-Heads zu 64; die anderen 12 nutzen ein Fenster von 128 Token.

Eine Karte: was passt und was nicht

Mit diesen Werten bleibt auf einer Karte neben den Gewichten Platz für so viele gleichzeitige Gespräche zu 32.768 Token. Zeilen, die mehr als den nutzbaren Speicher brauchen, sind markiert.

Unsere Schätzungen nach der Regel für Nutzer je Karte, keine Messungen: 18,5 GiB nutzbar auf der RTX PRO 4000 und 17,2 GiB auf der L4 mit eingeschaltetem ECC, Cache je Gespräch wie in der Tabelle oben, abgerundet.

Zwei Zeilen zeigen die Rechnung. gpt-oss-20b lässt auf einer RTX PRO 4000 18,5 − 12,8 = 5,7 GiB frei, und 5,7 ÷ 0,75 ergibt 7 Gespräche. Nemotron 3 Nano in NVFP4 lässt 0,5 GiB frei, drei Gespräche zu je 0,14 GiB. Ohne ECC erreicht auch die L4 18,5 GiB und nimmt Gemma und Nano mit einem bzw. drei Gesprächen auf.

Die Regel hält eine Reserve, und eine Engine, die mit einem höheren Speicheranteil und kurzem Kontext startet, kann Lightning oder Qwen3.6 in NVFP4 auf eine Karte laden. Dann bleibt kein Platz für die 128K Kontext, die Qwens FP8-Karte empfiehlt, um die „thinking capabilities“ zu erhalten, und kein Platz für einen zweiten Nutzer mit langem Kontext. NVIDIAs NIM-Support-Matrix nennt laut unserem Nemotron-Leitfaden für Lightning in NVFP4 bei TP1 mindestens 30 GB je GPU. Gemma 4 26B A4B hat eine weitere Grenze: NVIDIAs NVFP4-Karte hält fest, dass vLLM derzeit nur mit TP=1 funktioniert, dieser Checkpoint lässt sich also nicht auf ein Paar aufteilen.

Zwei, vier oder acht Karten: Mit Paaren funktionieren diese Modelle

Ein TP=2-Paar teilt jede Schicht auf zwei Karten auf, und bei zwei KV-Heads hält jede Karte einen, der Cache je Gespräch wächst also nicht. Zwei RTX PRO 4000 bieten nach unserer Regel 37,0 GiB, zwei L4 34,4 GiB.

Unsere Schätzungen nach der Regel für Nutzer je Karte, keine Messungen: gleichzeitige Gespräche zu 32.768 Token mit FP8-KV-Cache, ECC an bei der L4. Letzte Spalte: zwei Paare auf vier RTX PRO 4000 und vier Paare auf acht L4; für Qwen3.6 in FP8 eine TP=4-Kopie auf vier RTX PRO 4000 und zwei TP=4-Kopien auf acht L4, bei denen seine zwei KV-Heads doppelt gehalten werden.

Für Lightning auf zwei RTX PRO 4000 gilt: 37,0 − 20,1 = 16,9 GiB, und 16,9 ÷ 0,14 ergibt 121 Gespräche. Qwen3.6-35B-A3B in NVFP4 lässt auf demselben Paar 15,2 GiB frei, 40 Gespräche zu 0,37 GiB. In FP8 füllt Qwen3.6 mit 34,9 GiB ein Paar aus RTX PRO 4000 fast vollständig und übersteigt ein Paar aus L4; vier Karten halten es mit Platz für rund 57 Gespräche. GLM-4.7-Flash, nur in BF16 mit 62,5 GB veröffentlicht, braucht vier Karten und lässt auf vier RTX PRO 4000 rund 15,8 GiB frei. Es nutzt Multi-Head Latent Attention, deren komprimierten Cache vLLM auf jeder Karte einer aufgeteilten Kopie vollständig hält, wie unser Kimi-K2-Leitfaden für denselben Mechanismus erklärt; nach unserer Schätzung sind das rund zwei Gespräche zu 32K mit 16-Bit-Cache.

Diese Werte zählen gleichzeitig laufende Anfragen, keine benannten Nutzer. Unser Leitfaden zum privaten ChatGPT-Server nach Unternehmens­größe rechnet in der Spitzenzeit mit rund 20 gleichzeitigen Anfragen bei 500 Beschäftigten und rund 40 bei 1.000. Nach diesen Beispielwerten decken zwei RTX PRO 4000 mit Lightning vom Speicher her ein großes Unternehmen ab, und Qwen3.6 in NVFP4 reicht auf einem Paar für rund 1.000 Beschäftigte.

Wir liefern die L4 und die RTX PRO 4000 und bauen Server und Workstations mit vier oder acht davon; schicken Sie uns Modell, Kontextlänge und die Spitzenzahl gleichzeitiger Anfragen, und unser Team antwortet mit einer Aufteilung je Kartenpaar.

Formate: NVFP4 auf Blackwell, FP8 und Weight-only-FP4 auf Ada

Die RTX PRO 4000 ist eine Blackwell-Karte mit Compute Capability 12.0 und Tensor-Cores der fünften Generation, die FP4 rechnen; NVFP4-Checkpoints laufen auf ihr in FP4-Arithmetik. Die L4 ist eine Ada-Karte mit Compute Capability 8.9: Sie rechnet FP8 nativ und hat keine FP4-Tensor-Cores.

NVIDIA-Liste der Compute Capabilities und Produktseiten; vLLM-Dokumentation und gpt-oss-Rezept, zusammengefasst in unserem FP4-Artikel, gelesen im Oktober 2026.

Auf der L4 lädt vLLM einen NVFP4-Checkpoint und weicht auf die Weight-only-Ausführung über seine Marlin-Kernel aus: Die Gewichte bleiben im Speicher in 4 Bit, gerechnet wird in 16 Bit, wie unser Artikel zu FP4-Modellen auf GPUs ohne FP4-Tensor-Cores belegt. Die Speicherersparnis bleibt, die Paar-Tabelle oben gilt also auch für die L4. Die Modellkarten nennen andere Hardware. Qwen3.6-35B-A3B-NVFP4 führt „NVIDIA Hopper and NVIDIA Blackwell“ und wurde auf einer GB300 getestet; die NVFP4-Karte von Gemma 4 26B A4B nennt Blackwell, getestet auf einer B200; die Lightning-Karte nennt DGX Spark, GB200, H100 und H200 sowie Ampere „via W4A16“. Keine nennt die L4 oder die RTX PRO 4000, ein kurzer Lasttest mit genau dem Checkpoint und der Engine-Version gehört deshalb in den Plan. Unsere Seite zur Software-Unterstützung für Blackwell RTX behandelt die Engines auf Compute Capability 12.0.

Qwens FP8-Checkpoint nutzt eine „fine-grained fp8 quantization with block size of 128“. Dieses Format braucht Kernel für blockskaliertes FP8, die die Support-Matrix von TensorRT-LLM für Ada nicht führt; prüfen Sie also, ob Ihre Engine es auf der L4 ausführt, bevor Sie damit planen. Die FP8-Karte von Nemotron 3 Nano nennt H100 und A100 als unterstützte Hardware und quantisiert auch den KV-Cache auf FP8. Unser Leitfaden zu FP8, NVFP4, MXFP4, INT4 und GGUF erklärt die Formate selbst.

Geschwindigkeit: Warum 3B aktive Parameter zu 24-GB-Karten passen

Für ein einzelnes Gespräch hängt das Decoding davon ab, wie schnell die Karte die Gewichte liest, die jedes Token braucht. Ein dichtes 32B-Modell in FP8 liest je Token rund 34 GB; Nemotron 3 Nano in FP8 mit 3,5B aktiven Parametern rund 3,5 GB plus seine gemeinsamen Schichten.

Unsere Rechnung, Speicherbandbreite (300 GB/s L4, 672 GB/s RTX PRO 4000) ÷ gelesene Bytes je Token, nur aktive Gewichte. Nach unserer Schätzung Obergrenzen: Reales Decoding erreicht einen Bruchteil, ein Paar verliert Zeit beim All-Reduce über PCIe, die dichte Zeile stammt von unserer Seite zu vier RTX PRO 4000.

In einem Batch werden die Token verschiedener Gespräche an unterschiedliche Experten geleitet, ein Schritt liest also mehr als die aktiven Gewichte eines Tokens, und die MoE-Werte sind nach unserer Schätzung eine Obergrenze. Die Reihenfolge bleibt: Auf Karten mit 300 oder 672 GB/s antwortet ein Modell mit 3B aktiven Parametern mehrfach schneller als ein dichtes Modell ähnlicher Qualität, und genau das spricht für diese Klasse auf 24-GB-Karten.

Veröffentlichte Messungen auf 24-GB-Karten sind selten. StorageReview hat am 24. September 2026 Gemma 4 26B A4B in NVFP4 mit FP8-Cache auf der RTX PRO 4500 Blackwell Server Edition mit 32 GB betrieben und 1.613 Ausgabe-Token pro Sekunde bei 32 gleichzeitigen Anfragen mit Prompts und Antworten von 256 Token gemeldet; auf der L4, die keine FP4-Hardware hat, lief das Modell nicht. Für diese Modelle auf einer RTX PRO 4000 haben wir kein veröffentlichtes Ergebnis gefunden; betrachten Sie den Durchsatz deshalb bis zu einem Test mit Ihren Prompts als unbekannt. Unsere Benchmarks der RTX PRO 4500 sammeln, was auf der Nachbarkarte gemessen wurde.

Acht L4 im Server oder vier RTX PRO 4000 in der Workstation

Die beiden Karten gehören in unterschiedliche Maschinen. Die L4 ist eine passiv gekühlte Rechenzentrumskarte in Low-Profile-Bauform mit einem Slot und 72 W; acht davon passen in einen 2U- oder 3U-Server, dessen Hersteller sie führt, Lenovo etwa nennt acht im SR650 V3, wie unsere Seite zum Server mit 8× L4 zeigt. Die RTX PRO 4000 ist eine aktiv gekühlte Workstation-Karte mit einem Slot und 145 W; Dells Konfigurator für die Precision 7960 bietet vier an, wie unsere Seite zu vier RTX PRO 4000 in einer Workstation auflistet. Das Datenblatt des Supermicro SYS-322GA-NR, gelesen am 24. Oktober 2026, führt die RTX PRO 4000 Blackwell unter den GPUs dieses 3U-Servers, und ein Server nimmt eine aktiv gekühlte Karte nur dort auf, wo sein Hersteller sie führt.

NVIDIA-Produktseiten und Datenblätter; nutzbarer Speicher, Gespräche und Strom nach unserer Schätzung wie auf unseren Seiten zu 8× L4 und 4× RTX PRO 4000 (Karten plus Prozessoren plus 15 Prozent).

Der L4-Server hat mehr Speicher und vier Paare, er hält also mehr Gespräche; jedes Paar aus RTX PRO 4000 antwortet je Token schneller und rechnet NVFP4 nativ. Beide bleiben unter den 2,94 kW, die wir je 230-V-Anschluss mit 16 A einplanen. Eine Messung am gelieferten System bestätigt die Stromschätzung. Sagen Sie uns, ob die Maschine ins Rack oder unter den Schreibtisch kommt, und wir nennen das Gehäuse, das diese Karten führt.

Wann eine andere Karte besser passt

Soll eine einzelne Karte eines dieser Modelle mit Platz für Nutzer halten, hilft mehr Speicher je Karte. Eine RTX PRO 4500 Blackwell Server Edition nimmt nach unserer Regel 25,7 GiB auf: Lightning in NVFP4 mit rund 39 Gesprächen zu 32K und Qwen3.6-35B-A3B in NVFP4 mit rund 10, auf einer Karte, mit MIG-Hälften für kleine Modelle, wie unsere Seite zum Server mit 8× RTX PRO 4500 Server Edition zeigt. Eine RTX PRO 6000 Server Edition mit 83,0 GiB hält Qwen3.6-35B-A3B in FP8 mit rund 129 Gesprächen zu 32K.

Den Vergleich der beiden platzsparenden Karten bringt unser Artikel zu Single-Slot-GPUs: RTX PRO 4000 oder RTX PRO 4500 Server Edition. Für dichte Modelle bis rund 14B Parameter auf einer 24-GB-Karte enthält unser Leitfaden zu kleinen Sprachmodellen auf der L4 die Tabellen je Modell, und die Qwen-Familie ist in unserem Qwen-Hardware-Leitfaden dimensioniert.

Was wir liefern

Sie können dieses System bei uns kaufen: Unser Team dimensioniert die Konfiguration für Ihre Last und Ihr Budget und antwortet innerhalb eines Werktages. Wir liefern die L4 und die RTX PRO 4000 Blackwell als Karten für Ihre vorhandenen Server und Workstations und bauen Server mit acht L4 und Workstations mit vier RTX PRO 4000 auf Bestellung, vor der Lieferung montiert und getestet, auf Wunsch mit Betriebssystem, NVIDIA-Treiber, CUDA und Container-Laufzeit. Jede Komponente hat die Herstellergarantie, abgewickelt über uns, auf einem EU-Vertrag und einer Rechnung; Stückzahlen und Lieferzeit werden mit dem Angebot schriftlich bestätigt. Die Bestellschritte stehen auf unseren Seiten L4-Server kaufen und RTX PRO 4000 Workstation kaufen.

FAQ