gpt-oss-120b feintunen auf H200 NVL oder NVIDIA RTX PRO 6000 Blackwell Server Edition

gpt-oss-120b feintunen: welche Hardware für welche Methode

gpt-oss-120b lässt sich mit QLoRA auf einer einzelnen Karte mit 96 GB oder 141 GB feintunen, mit LoRA auf einer BF16-Basis über vier Karten und vollständig nur auf einem Server mit acht Karten, der den Optimierer im Hauptspeicher hält. Der Grund: Trainings-Frameworks wandeln die MXFP4-Experten des Modells zuerst nach BF16, und aus einem Checkpoint von rund 65 GB werden 233,7 GB Gewichte. Für ein BF16-LoRA empfehlen wir vier NVIDIA H200 NVL an einer 4-Wege-NVLink-Brücke; vier Karten der NVIDIA RTX PRO 6000 Blackwell Server Edition halten denselben Lauf über PCIe, mit geringerer Schrittrate.

Dieser Artikel behandelt, was an gpt-oss-120b als Mixture-of-Experts-Modell besonders ist. Die Regeln je Parameter für dichte Modelle von 8B bis 70B stehen in unserem Leitfaden zum GPU-Speicher für Fine-Tuning, der Betrieb des Modells, Nutzer je Karte und der KV-Cache in unserem Beitrag zu den Hardware-Anforderungen von gpt-oss-120b.

QLoRA-Wert aus dem gpt-oss-Fine-Tuning-Tutorial von Unsloth, gelesen am 24. Oktober 2026; übrige Zeilen nach unserer Rechnung aus den 116,83 Milliarden Parametern der OpenAI-Modellkarte (arXiv 2508.10925): 2 Byte je eingefrorenem BF16-Gewicht, 16 Byte je Parameter für ein vollständiges Fine-Tuning mit 32-Bit-Adam und etwa 10 mit 8-Bit-Adam, nach der Zählung des ZeRO-Papiers. Aktivierungen kommen hinzu.

Warum der MXFP4-Checkpoint fürs Training auf 234 GB wächst

OpenAIs Modellkarte nennt für gpt-oss-120b 116,83 Milliarden Parameter, davon 5,13 Milliarden aktiv je Token, und einen Checkpoint von 60,8 GiB. Die geringe Größe kommt von den Expertengewichten: Sie machen mehr als 90 Prozent der Parameter aus und liegen in MXFP4 mit 4,25 Bit je Parameter vor. Attention, Router, Embeddings und Ausgabeschicht bleiben in BF16, wie die config.json des Modells angibt. Dieses Format ist für die Inferenz gemacht. Das Tutorial von Unsloth stellt klar: „No, currently no framework supports fp4 or MXFP4 training.“

Die Rezepte wandeln das Modell deshalb zuerst nach BF16 um. OpenAIs Cookbook für gpt-oss-20b vom 5. August 2025 lädt das Modell mit Mxfp4Config(dequantize=True) in BF16 und läuft auf „a single H100 GPU with 80GB of memory“. Das Tutorial von Databricks für gpt-oss-120b macht es genauso und trainiert auf acht H100 mit FSDP. NVIDIAs Blogbeitrag zum quantisierungsbewussten Training vom 29. August 2025 nennt den Grund: MXFP4 „hasn't yet proven stable accuracy“ beim Fine-Tuning, deshalb wird das Modell in BF16 umgewandelt, „to ensure stable gradient accumulation“.

Nach unserer Rechnung ergeben 116,83 Milliarden Parameter zu je 2 Byte 233,7 GB oder 217,6 GiB. Die BF16-Fassung des Modells, die Unsloth auf Hugging Face veröffentlicht, ist ein Repository von 234 GB, das passt. Das Tutorial von Unsloth nennt für ein BF16-LoRA 210 GB VRAM, nach unserer Zählung weniger als die Gewichte allein; wir planen mit dem größeren Wert.

QLoRA auf einer Karte

QLoRA speichert die eingefrorene Basis in 4 Bit und trainiert darauf einen kleinen Adapter. Das Tutorial von Unsloth gibt für QLoRA „gpt-oss-120b = 65GB VRAM“ an, und unser Artikel zur DGX Spark zitiert seinen Wert von etwa 68 GB auf dieser Plattform. Gemessen an der angegebenen Kapazität der Karten bleiben damit auf einer H200 NVL etwa 76 GB und auf einer RTX PRO 6000 Server Edition etwa 31 GB für längere Sequenzen und größere Batches.

Das ist der günstigste Weg, gpt-oss-120b anzupassen, und er braucht keinen Verkehr zwischen den Karten: Ein Server mit vier Karten führt vier solcher Experimente nebeneinander aus, eines je Karte. Zwei Punkte gehören in die Planung. Die 4-Bit-Basis eines QLoRA-Laufs ist eine eigene Quantisierung der Gewichte, nicht das MXFP4 des Original-Checkpoints, und der Lauf trainiert ein Reasoning-Modell, daher sollten die Trainingsbeispiele dem harmony-Format folgen, mit dem das Modell betrieben wird, samt Analysis- und Final-Kanal, wie auf unserer Seite zu gpt-oss-120b beschrieben. Das Tutorial von Unsloth dokumentiert außerdem, wie man den Adapter mit dem Modell zusammenführt und als 16-Bit-Modell speichert, sowie den Export von QLoRA-Modellen nach GGUF.

Wir liefern die H200 NVL und die RTX PRO 6000 Server Edition als Karten oder in Servern nach Maß; nennen Sie uns die Größe Ihres Datensatzes und die geplante Methode, und unser Team antwortet mit der Kartenzahl und dem freien Speicher je Karte.

LoRA auf BF16-Basis: vier Karten

Will das Team auf der Basis in voller Genauigkeit trainieren, müssen die 233,7 GB eingefrorener Gewichte aufgeteilt werden. Das Rezept von Databricks zeigt den Aufbau: FSDP mit vollem Sharding, Activation Checkpointing, ein Micro-Batch aus einer Sequenz mit 2.048 Token, Rang 32 auf allen linearen Schichten und Rang 8 auf den Expertengewichten. PEFT erreicht die Experten über target_parameters, weil gpt-oss die Experten einer Schicht als einen einzigen Parametertensor speichert statt als getrennte lineare Schichten; OpenAIs Cookbook spricht auf diese Weise die Experten von drei Schichten an.

Die Adapter selbst sind klein. Ein Adapter mit Rang 16 auf den vier Attention-Projektionen von gpt-oss-120b hat über 36 Schichten etwa 11,9 Millionen Gewichte, nach unserer Rechnung aus der Breite 2.880, 64 Query-Köpfen und 8 KV-Köpfen der Dimension 64. Adapter auf den Experten kommen hinzu, und trotzdem belegt die eingefrorene Basis fast den gesamten Speicher.

Unsere Rechnung: 233,7 GB BF16-Gewichte geteilt durch die Zahl der Karten, verglichen mit der angegebenen Kapazität von 141 GB je H200 NVL und 96 GB je RTX PRO 6000 Server Edition. Der Rest nimmt Adapter, ihre Optimiererzustände, Aktivierungen, den CUDA-Kontext und Puffer auf.

Zwei H200 NVL halten den Lauf auf dem Papier, aber 24 GB je Karte sind zu wenig für Aktivierungen und die jeweils gesammelte Schicht. Vier Karten der einen oder anderen Art sind das praktische Minimum.

Was das Sharding eines MoE-Modells über PCIe und NVLink kostet

Hier verhält sich gpt-oss-120b anders als ein dichtes 70B-Modell. FSDP sammelt vor dem Vorwärtsdurchlauf und erneut vor dem Rückwärtsdurchlauf die vollständigen Parameter jeder Schicht ein, und bei gpt-oss gehören dazu alle 128 Experten, obwohl jedes Token nur vier davon nutzt. Die Rechenlast je Token folgt den 5,13 Milliarden aktiven Parametern, der Datenverkehr allen 116,83 Milliarden.

Nach unserer Rechnung hält auf vier Karten jede Karte ein Viertel der 233,7 GB Basis und empfängt die anderen drei Viertel zweimal je Vorwärts- und Rückwärtsdurchlauf, etwa 350 GB. Bei 64 GB/s je Richtung über PCIe Gen5 dauert das mindestens 5,5 Sekunden, über eine 4-Wege-NVLink-Brücke mit 450 GB/s je Richtung mindestens 0,8 Sekunden. Auf acht Karten empfängt jede etwa 409 GB je Durchlauf. Die Rechenlast für einen Micro-Batch mit 2.048 Token ist weit kleiner: etwa 4 × 5,13 Milliarden × 2.048, also 42 TFLOP für Vorwärtsdurchlauf und Rückwärtsdurchlauf durch eingefrorene Gewichte, mit Attention und Activation Checkpointing etwas mehr. Bei den dichten BF16-Spitzenwerten, die NVIDIA angibt, 835,5 TFLOPS für die H200 NVL und 503,8 für die RTX PRO 6000 Workstation Edition, ist das ein Bruchteil einer Sekunde (für die Server Edition veröffentlicht NVIDIA keinen dichten Wert).

Ein über mehrere Karten verteiltes LoRA auf gpt-oss-120b ist also durch die Verbindung zwischen den Karten begrenzt, und die H200 NVL mit NVLink ist dafür die bessere Plattform. Für beide Karten folgen zwei Regeln. Der Verkehr ist für jeden Micro-Batch gleich, unabhängig von seiner Größe, also gehören so viele Token in jeden Micro-Batch, wie der Speicher zulässt, mit gepackten oder längeren Sequenzen. Und der Lauf bleibt innerhalb einer NVLink-Domäne aus vier H200 NVL; auf einem Server mit acht Karten läuft auf den anderen vier ein zweiter Job. Unser Leitfaden zur NVLink-Brücke der H200 NVL zeigt, wie man die Domänen mit nvidia-smi topo -m prüft.

Auf Karten der RTX PRO 6000 Server Edition funktioniert der Lauf mit geringerer Schrittrate. NVIDIAs NCCL-Dokumentation hält fest, dass „CUDA and the NVIDIA driver stack do not support IOMMU-enabled PCIe peer-to-peer memory transfer“; die Peer-to-Peer-Einstellungen gehören daher in den Abnahmetest, wie unser Leitfaden zu P2P auf der RTX PRO 6000 erklärt. Eine veröffentlichte Messung der Schrittzeit eines LoRA auf gpt-oss-120b haben wir für keine der beiden Karten gefunden; die Zahlen oben sind Untergrenzen aus den Übertragungsraten, keine Benchmarks.

Vollständiges Fine-Tuning: nur mit dem Optimierer im Hauptspeicher

Ein vollständiges Fine-Tuning trainiert jedes Gewicht. Mit 16 Byte je Parameter bei 32-Bit-Adam sind das 1.869 GB Modellzustände, mit 8-Bit-Adam etwa 1.168 GB, nach unserer Rechnung. Beides übersteigt die 1.128 GB von acht H200 NVL, noch bevor eine einzige Aktivierung dazukommt. OpenAIs Modellkarte schreibt, gpt-oss-120b „can be fine-tuned on a single H100 node“, ohne die Methode zu nennen.

Auf einem Knoten führt der Weg über DeepSpeed ZeRO Stufe 3 mit Optimierer-Offload. Das ZeRO-Offload-Papier hält die 16-Bit-Parameter auf der GPU und die 32-Bit-Zustände sowie die 16-Bit-Gradienten im Hauptspeicher, 14 Byte je Parameter. Für gpt-oss-120b sind das etwa 1.636 GB Hauptspeicher, und die 233,7 GB BF16-Parameter verteilt auf acht Karten ergeben 29,2 GB je Karte. Unsere Trainingskonfiguration mit acht Karten und 2,3 TB DDR5 hält das; ein Server mit vier Karten und 768 GB oder 1.152 GB nicht. Die Prozessoren führen das Parameter-Update aus, dadurch dauert jeder Schritt länger als auf den GPUs. Wie Hauptspeicher und NVMe für solche Läufe zu bemessen sind, steht in unserem Artikel zum Fine-Tuning-Server mit 2, 4 oder 8 GPUs.

In den meisten Unternehmen ist ein LoRA der bessere Kompromiss. Ein vollständiges Fine-Tuning von gpt-oss-120b schreibt außerdem fortsetzbare Checkpoints von je etwa 1,6 TB bei 14 Byte je Parameter, nach unserer Schätzung.

Zurück zu MXFP4 für den Betrieb auf einer Karte

Nach einem BF16-LoRA ist das zusammengeführte Modell ein BF16-Checkpoint von 233,7 GB. Er passt nicht mehr auf eine Karte und braucht für die Inferenz zwei H200 NVL oder vier Karten der RTX PRO 6000 Server Edition. Für die Rückkehr ins MXFP4-Format mit rund 65 GB, das auf einer Karte läuft, beschreiben NVIDIAs Blogbeitrag und das Beispiel im TensorRT Model Optimizer fünf Schritte: nach BF16 umwandeln, das überwachte Fine-Tuning ausführen, mit Model Optimizer Quantisierer einfügen, ein quantisierungsbewusstes Training mit kleiner Lernrate ausführen (das Beispiel nutzt 1e-5) und den in BF16 trainierten Checkpoint mit dem Skript convert_oai_mxfp4_weight_only.py nach MXFP4 umwandeln.

NVIDIA berichtet, dass der direkte Sprung zu QAT ohne das BF16-Fine-Tuning eine geringere Genauigkeit ergibt und dass die MXFP4-Checkpoints aus diesem Rezept mit SGLang, TensorRT-LLM und vLLM getestet wurden. Für gpt-oss-20b stieg in NVIDIAs Beispiel die Erfolgsquote bei mehrsprachigem Reasoning von 16 auf 98 Prozent. Die Beschreibung desselben Ablaufs bei LMSYS hält fest: „After QAT, the model is still in the adapted BF16 weights“, bis die Umwandlung läuft. Planen Sie den QAT-Durchlauf auf derselben Hardware wie das Fine-Tuning, denn er trainiert das BF16-Modell erneut.

Das fertige Modell bemisst sich dann wie das Original: Eine H200 NVL oder eine RTX PRO 6000 Server Edition hält es, mit den Nutzerzahlen je Karte von unserer Seite zu gpt-oss-120b.

Welche Konfiguration passt

Stil, Format oder Fachvokabular anpassen. QLoRA auf einer Karte. Ein Server mit zwei oder vier Karten der RTX PRO 6000 Server Edition führt mehrere Experimente gleichzeitig aus und betreibt danach das Ergebnis; unsere Seite zum Kauf eines Servers mit 4× RTX PRO 6000 Server Edition beschreibt den Aufbau.

LoRA auf der Basis in voller Genauigkeit, regelmäßig wiederholt. Vier H200 NVL an einer 4-Wege-Brücke mit 1.152 GB Hauptspeicher; siehe unsere Seite zum Kauf eines Servers mit 4× H200 NVL. Seine Leistungsaufnahme aus dem Netz liegt bei 600 W je Karte mit zwei AMD EPYC 9355 bei etwa 3,4 kW und bei einer Begrenzung auf 450 W bei etwa 2,7 kW, nach unserer Schätzung (Karten plus Prozessoren plus 15 Prozent); eine Messung am gelieferten System bestätigt den Wert.

Vollständiges Fine-Tuning oder LoRA plus ein zweiter Job. Acht H200 NVL mit zwei 4-Wege-Brücken, 2,3 TB Hauptspeicher und 400G, nach derselben Schätzung etwa 6,3 kW aus dem Netz; Einzelheiten auf unserer Seite zum Kauf eines Servers mit 8× H200 NVL. Welche Karte zu anderen Modellen und Methoden passt, zeigt unser Vergleich der besten GPU für Fine-Tuning 2026.

gpt-oss-120b steht unter der Lizenz Apache 2.0, mit einer Nutzungsrichtlinie, nach der Nutzer alle geltenden Gesetze einhalten; ob die Bedingungen zu Ihrer Nutzung passen, beurteilt Ihre Rechtsabteilung.

Bestellung bei uns

Sie können dieses System bei uns kaufen: Unser Team legt die Konfiguration nach Ihrer Arbeitslast und Ihrem Budget aus und antwortet innerhalb eines Werktages. Der Server wird vor der Lieferung montiert und getestet und in der EU mit einem Vertrag und einer Rechnung geliefert, mit Herstellergarantie auf jede Komponente; Betriebssystem, Treiber, CUDA und eine Container-Laufzeit installieren wir auf Wunsch. Der Aufbau der Trainingsumgebung und der Betrieb des trainierten Modells gehören zu unserem Service Private AI/ML mit unserem Engineering-Partner Vixen.UNO. Mengen und Lieferzeit werden mit dem Angebot schriftlich bestätigt. Beschreiben Sie Ihr Fine-Tuning-Vorhaben im Formular unten: Methode, Größe des Datensatzes, Sequenzlänge und wie das Modell danach betrieben werden soll.

FAQ