gpt-oss-puzzle-88B Hardware-Anforderungen: VRAM, Nutzer und eine NVIDIA RTX PRO 5000 72 GB

Wie viel GPU-Speicher gpt-oss-puzzle-88B braucht

gpt-oss-puzzle-88B braucht 46,6 GiB GPU-Speicher für die Gewichte und dazu rund 0,75 GiB 16-Bit-KV-Cache für jedes laufende Gespräch mit 32.768 Token. Eine NVIDIA RTX PRO 5000 Blackwell 72 GB hält es deshalb nach unserer Auslegungsregel mit Cache für rund 19 gleichzeitige Gespräche dieser Länge, mit FP8-Cache für 39. Das Ausgangsmodell gpt-oss-120b lädt auf derselben Karte mit 0,7 GiB Rest, und darin hat kein einziges Gespräch Platz.

NVIDIA hat das Modell am 26. März 2026 als Version 1.0 auf Hugging Face veröffentlicht und beschreibt es als „a deployment-optimized large language model developed by NVIDIA, derived from OpenAI's gpt-oss-120b“. Die Dateiliste zeigt elf Safetensors-Dateien mit zusammen 50,00 GB, das sind 46,57 GiB; den Ordner gibt die Seite mit 50 GB an. Die Model Card nennt rund 88B Parameter und erklärt die 91B auf dem Hub damit, dass die automatische Zählung „includes additional MXFP4 quantization scale tensors“. Unsere Hardware-Anforderungen für gpt-oss-120b führen das Modell als eine Zeile; diese Seite rechnet es Karte für Karte durch.

Was NVIDIA an gpt-oss-120b verkleinert hat

Die config.json behält den Aufbau von gpt-oss-120b: 36 Schichten, eine Hidden Size von 2.880, 64 Attention-Heads, 8 KV-Heads mit Dimension 64 und 4 Experten je Token. Geändert sind die Zahl der Experten und das Attention-Muster. Die ersten 15 Schichten und drei weitere behalten alle 128 Experten, die übrigen 18 Schichten haben 64. Das ergibt 3.456 Experten statt 4.608 im Ausgangsmodell. Die Expertengewichte bleiben in MXFP4, Attention, Router, Embeddings und Ausgabeschicht in BF16, wie der Quantisierungsblock der Konfiguration aufführt.

Model Cards, Dateilisten und config.json von openai/gpt-oss-120b und nvidia/gpt-oss-puzzle-88B auf Hugging Face, gelesen am 24. Oktober 2026; Checkpoint ist die Summe der Safetensors-Dateien auf oberster Ebene.

Jedes Token läuft weiterhin durch 4 gleich große Experten in jeder Schicht. Nach unserer Lesart der Konfiguration liest das Modell je erzeugtem Token also fast so viele Gewichte wie das Ausgangsmodell; die Einsparung liegt im gehaltenen Speicher und im Cache. Eine Zahl aktiver Parameter nennt NVIDIA nicht.

NVIDIA schreibt in der Model Card, das Modell „matches or slightly exceeds parent accuracy across reasoning efforts“, gemessen mit MMLU-Pro, GPQA-Diamond, HLE, AIME25, IFBench, SciCode, AA-LCR und RULER 128K. Die Werte stehen nur in Diagrammen, deshalb geben wir sie nicht wieder. Die drei Reasoning-Stufen von gpt-oss bleiben erhalten und werden mit reasoning_effort gesetzt.

KV-Cache je Gespräch aus block_configs

Die Konfiguration hat für jede Schicht einen Eintrag in block_configs. Zehn Schichten halten den vollen Kontext, acht ein Fenster von 8.192 Token und achtzehn ein Fenster von 128 Token. Jede Schicht speichert Keys und Values für 8 Heads mit je 64 Werten, 2 KiB je Token in 16 Bit oder 1 KiB in FP8. Der Cache einer vollen Schicht wächst mit dem Gespräch, der einer Fenster-Schicht nur bis zur Fenstergröße.

Unsere Rechnung aus der config.json: Schichten × 2 (Keys und Values) × 8 KV-Heads × 64 × Bytes je Wert × gehaltene Token, die Fenster von 8.192 und 128 Token mit ihrer Fenstergröße. gpt-oss-120b aus unserem gpt-oss-Leitfaden.

Bei 32K sind das 10 × 2 KiB × 32.768 = 640 MiB für die vollen Schichten, 8 × 2 KiB × 8.192 = 128 MiB für die Schichten mit 8K-Fenster und 4,5 MiB für die kurzen Fenster, zusammen 772,5 MiB. Bei 8K spart das Puzzle-Modell nichts, weil ein Fenster von 8.192 Token das ganze Gespräch aufnimmt; bei 131K braucht es 42 Prozent weniger Cache als gpt-oss-120b, passend zu den „~40%“, die NVIDIA für lange Kontexte angibt. Der FP8-Cache der Model Card mit kalibrierten Skalen halbiert die Werte noch einmal, NVIDIA spricht von „~2× KV-cache token capacity“.

Die Tabelle setzt voraus, dass die Engine für Fenster-Schichten nur das Fenster reserviert. Legt eine Engine für die Schichten mit 8K-Fenster Cache in voller Länge an, braucht ein Gespräch mit 32K nach unserer Rechnung 1,13 GiB in 16 Bit, so viel wie bei gpt-oss-120b. Maßgeblich sind die Cache-Größe und die Parallelität, die vLLM beim Start meldet, wie unser Leitfaden zu KV-Cache-Größe und maximaler Parallelität in vLLM erklärt.

Eine RTX PRO 5000 72 GB: Gewichte, Cache und Gespräche

Unsere Regel für Nutzer je Karte nimmt 90 Prozent des Speichers, den der Treiber meldet, und zieht je Karte 3 GiB für Aktivierungen und Laufzeit ab. Für die 72-GB-Karte sind das 0,9 × 71,7 − 3 = 61,5 GiB, wie auf unserer Seite zur Workstation mit vier RTX PRO 5000 72 GB. Nach 46,6 GiB Gewichten bleiben 14,9 GiB für den Cache.

Unsere Schätzung nach der Regel für Nutzer je Karte: gleichzeitige Gespräche, die jeweils einen vollen Kontext von 32.768 Token halten, 0,75 GiB in 16 Bit oder 0,38 GiB in FP8; die zwei 48-GB-Karten betreiben eine Kopie mit TP=2. Nutzbarer Speicher wie auf unseren Seiten zu RTX PRO 5000, RTX PRO 6000 und H200 NVL.

Zum Vergleich: gpt-oss-120b bedient nach derselben Regel auf einer RTX PRO 6000 Max-Q 19 Gespräche mit 32K und auf einer H200 NVL 55. Das Puzzle-Modell schafft auf einer 72-GB-Karte also, was sein Ausgangsmodell auf einer 96-GB-Karte schafft. Beim vollen Kontext von 131.072 Token hält die 72-GB-Karte 5 Gespräche mit 16-Bit-Cache und 11 mit FP8.

Gezählt sind Anfragen, die im selben Moment laufen, nicht Mitarbeitende. Eine Abteilung mit 200 Personen, die den Assistenten offen haben, erzeugt weit weniger gleichzeitige Generierungen; maßgeblich ist die Spitze an Ihrem Gateway, wie unser Artikel Wie viele Nutzer schafft eine RTX PRO 6000? zeigt. Eine höhere Reasoning-Stufe macht jede Anfrage länger und hält sie länger aktiv.

Die 48-GB-Karte kann die Gewichte allein nicht aufnehmen: 40,0 GiB sind weniger als 46,6. Zwei dieser Karten teilen eine Kopie mit Tensor-Parallelismus über PCIe; die 8 KV-Heads verteilen sich gleichmäßig auf zwei Karten, der Cache beider Karten summiert sich also. Unser Vergleich RTX PRO 5000 48 GB oder 72 GB behandelt die Unterschiede bei Preisklasse und MIG.

Wir liefern die RTX PRO 5000 72 GB als Karte und in Workstations auf Bestellung; nennen Sie uns Modell, Kontext und die Spitze gleichzeitiger Anfragen, und unser Team antwortet mit Kartenzahl und Konfiguration.

Software: der vLLM-Build der Model Card und die genannte Hardware

Die Model Card nennt vLLM als Laufzeit-Engine und führt „NVIDIA B200“ und „NVIDIA H100-80GB“ als unterstützte Hardware auf, Linux als Betriebssystem. Die Anleitung startet mit dem Container-Image vllm/vllm-openai:v0.17.1, installiert FlashInfer 0.6.6 und einen vLLM-Build, der auf einen Git-Commit festgelegt ist, und startet das Modell mit --trust-remote-code. Das Repository bringt eigenen Modellcode mit; die Liste unterstützter Modelle von vLLM, gelesen am 24. Oktober 2026, hat eine Zeile für gpt-oss, aber keine für die Puzzle-Architektur.

Der Beispielbefehl der Model Card setzt --kv-cache-dtype fp8, --gpu-memory-utilization 0.95, --max-num-seqs 8 und --max-model-len 131072. Zwei davon wirken sich auf die Auslegung aus. Mit 0,95 bekommt die 72-GB-Karte rund 3,6 GiB mehr Cache als mit unserer Regel von 0,9, und --max-num-seqs 8 begrenzt den Server auf acht gleichzeitige Anfragen; für einen gemeinsam genutzten Dienst setzen Sie den Wert höher. Auf der B200 ergänzt die Model Card VLLM_USE_FLASHINFER_MOE_MXFP4_MXFP8=1.

Die RTX PRO 5000 hat wie jede RTX-PRO-Blackwell-Karte die Compute Capability 12.0, bei den Engines SM120. vLLM 0.32.0 vom 18. Oktober führt „OAI Triton MXFP4 MoE on SM12x“ und einen Rückfall für „MXFP4 W4A4 checkpoints“ auf W4A16, „when no W4A4 kernel exists“; die Quantisierungsmatrix von TensorRT-LLM listet MXFP4 für sm120. Die Model Card nennt für dieses Modell keine der beiden Angaben, deshalb steht ein Lauf des festgelegten Builds auf einer RTX PRO 5000 vor einer Bestellung mehrerer Karten. Unser Leitfaden zur Software-Unterstützung für Blackwell RTX auf SM120 verfolgt die Kernel.

Generierungs­geschwindigkeit bei 1.344 GB/s

Jedes neue Token liest die aktiven Gewichte einmal, deshalb setzt die Speicherbandbreite eine Obergrenze für einen Nutzer. gpt-oss-120b liest rund 5 GB je Token, und das Puzzle-Modell mit denselben 4 Experten je Schicht etwa gleich viel. Mit den 1.344 GB/s einer RTX PRO 5000 ergibt das rund 270 Token pro Sekunde für eine Anfrage und mit den 1.792 GB/s einer RTX PRO 6000 Max-Q rund 360, nach unserer Schätzung eine Obergrenze, weil Token im Batch verschiedene Experten treffen und die Attention eigene Lesezugriffe hat.

NVIDIAs eigene Durchsatzangaben vergleichen das Modell mit gpt-oss-120b: das 1,63-Fache bei 64K Ein- und Ausgabe auf einem Knoten mit 8 × H100, das 1,22-Fache bei 4K und bis zum 2,82-Fachen auf einer einzelnen H100. Nach unserer Lesart folgen sie aus dem kleineren Cache, der Platz für größere Batches lässt. Eine veröffentlichte Messung des Puzzle-Modells auf einer RTX-PRO-Karte haben wir nicht gefunden.

Workstation oder Server für das Puzzle-Modell

Eine RTX PRO 5000 72 GB nimmt 300 W auf. Mit einem Workstation-Prozessor zu 350 W und 15 Prozent für den Rest kommt eine Workstation mit einer Karte nach unserer Schätzung auf rund 0,75 kW aus dem Netz, mit zwei Karten auf rund 1,1 kW, beides problemlos an einem normalen Bürostromkreis. Vier Karten in einem Tower betreiben vier unabhängige Kopien, 76 Gespräche mit 32K bei 16-Bit-Cache oder 156 mit FP8, bei rund 1,8 bis 2 kW, wie unsere Seite RTX PRO 5000 72 GB Workstation kaufen ausführt.

MIG hilft bei diesem Modell nicht: Das Datenblatt teilt die 72-GB-Karte in zwei Hälften zu 36 GB, kleiner als die Gewichte. Für virtuelle Maschinen steht die 72-GB-Karte ab Release 20.2 auf NVIDIAs vGPU-Liste, als einziger Hypervisor ist Red Hat Enterprise Linux mit KVM aufgeführt. Ein Dienst für mehrere Abteilungen im Dauerbetrieb gehört in ein Rack, mit RTX PRO 6000 Server Edition oder mit der RTX PRO 5000 in den Gehäusen, die unsere Seite zum Rack-Server mit RTX PRO 5000 behandelt.

Zwischen einer RTX PRO 6000 Max-Q und einer RTX PRO 5000 72 GB entscheidet hier der Cache: 36,4 GiB gegenüber 14,9 GiB nach denselben Gewichten, dazu ein Drittel mehr Bandbreite bei der Max-Q. Unser Vergleich zwei RTX PRO 5000 72 GB oder eine RTX PRO 6000 Max-Q rechnet diese Entscheidung für andere Modelle durch.

Lizenz: NVIDIA Open Model License

Die Model Card sagt, die Nutzung „is governed by the NVIDIA Open Model License“ und das Modell „is ready for commercial use“; als Einsatzgebiet nennt sie „Global“. Die Lizenzseite in der Fassung vom 24. Oktober 2025 schreibt „Models are commercially usable“ und gewährt eine Lizenz, die „perpetual, worldwide, non-exclusive, no-charge, royalty-free, revocable“ ist. Wer das Modell weitergibt, legt eine Notice-Datei mit dem Text „Licensed by NVIDIA Corporation under the NVIDIA Open Model License“ bei.

Zwei Klauseln beenden die Rechte. Sie erlöschen automatisch, wenn Sie einen Sicherheitsmechanismus umgehen oder abschwächen, ohne einen im Wesentlichen gleichwertigen einzusetzen, und sie enden mit dem Tag, an dem Sie wegen des Modells eine Urheberrechts- oder Patentklage erheben. NVIDIA „claims no ownership rights in outputs“, die Lizenz verlangt die Einhaltung von Export- und Sanktionsrecht, und sie unterliegt dem Recht der Vereinigten Staaten und des Bundesstaats Delaware. gpt-oss-120b selbst steht unter Apache 2.0. Ob die Bedingungen zu Ihrem Einsatz passen, klärt Ihre Rechtsberatung; unser Überblick über offene LLM-Lizenzen für Unternehmen vergleicht die gängigen.

Wann gpt-oss-120b oder eine andere Karte besser passt

Nehmen Sie gpt-oss-120b, wenn Sie OpenAIs Release unverändert brauchen, etwa um Ergebnisse mit veröffentlichten Arbeiten zu vergleichen, oder wenn Sie davon ausgehend feintunen wollen, wie unser Leitfaden zum Feintuning von gpt-oss-120b beschreibt. Auf einer Karte mit 96 GB oder 141 GB läuft das Ausgangsmodell mit Platz für Cache, dort wird das Speicherargument für das Puzzle-Modell schwächer. Am stärksten ist es bei 72 GB und bei einem Paar von 48-GB-Karten, auf dem das Ausgangsmodell 19,2 GiB für den Cache lässt, das Puzzle-Modell dagegen 33,4 GiB.

Für die L40S und andere Ada-Karten haben wir keine Engine-Dokumentation zur MXFP4-Unterstützung dieses Modells gefunden, deshalb rechnen wir sie hier nicht. Bei Hopper speichert die H100-80GB aus der Liste der Model Card die MXFP4-Gewichte und rechnet in höherer Präzision; die H200 NVL mit 141 GB HBM3e bei 4,8 TB/s nimmt das Modell nach unserer Regel mit Platz für rund 100 Gespräche mit 32K auf.

Was wir liefern

Sie können diese Konfiguration bei uns kaufen: Unser Team legt die Konfiguration auf Ihre Arbeitslast und Ihr Budget aus und antwortet innerhalb eines Werktages. Wir liefern die RTX PRO 5000 Blackwell 72 GB und 48 GB als Karten für eine vorhandene Workstation und bauen Workstations mit einer bis vier Karten auf Bestellung, vor der Lieferung montiert und getestet, mit Betriebssystem, Treiber, CUDA und Container-Laufzeit auf Wunsch, mit einem EU-Vertrag und einer Rechnung und Herstellergarantie auf jede Komponente. Alle Karten stehen auf unserer Seite zu professionellen NVIDIA-GPUs. Schreiben Sie uns, welche Workstation oder welchen Server Sie planen, und wir prüfen Steckplätze, Netzteil und Stromkreis, bevor wir ein Angebot machen.

FAQ