Qwen3.8-27B vollständig feintunen: vier H200 NVL oder acht RTX PRO 6000 Server Edition

Welcher Server für welches Fine-Tuning von Qwen3.8-27B

Ein vollständiges Fine-Tuning von Qwen3.8-27B braucht allein für die Modellzustände etwa 445 GB GPU-Speicher, und das halten vier NVIDIA H200 NVL mit 4-Wege-NVLink-Brücke oder acht Karten der NVIDIA RTX PRO 6000 Blackwell Server Edition. Vier H200 NVL halten den gesamten Verkehr auf NVLink in einer Domäne; acht Karten der Server Edition lassen je Karte mehr Speicher frei, übertragen die verteilten Gewichte aber über PCIe. LoRA und QLoRA auf demselben Modell brauchen eine Karte.

Diese Seite behandelt ein Modell und das vollständige Fine-Tuning. Unser Leitfaden zum Fine-Tuning-Server beschreibt Konfigurationen für dichte Modelle von 8B bis 70B allgemein, und der Vergleich der besten GPU für Fine-Tuning 2026 stellt die Karten selbst gegenüber.

Unsere Rechnung aus den 55,6 GB BF16-Safetensors auf der Dateiseite des Modells bei Hugging Face (gelesen am 24. Oktober 2026): 16 Byte je Parameter mit 32-Bit-Adam und etwa 10 mit 8-Bit-Adam (Zählung des ZeRO-Papiers), bei vollständigem Sharding mit FSDP oder ZeRO-3; Offload hält 14 Byte je Parameter im Hauptspeicher. Der freie Rest bezieht sich auf die angegebenen 141 GB und 96 GB je Karte. Aktivierungen kommen hinzu.

Qwen3.8-27B in Zahlen

Qwens Modellkarte beschreibt Qwen3.8-27B als „Causal Language Model with Vision Encoder“ mit 27B Parametern; die Metadaten von Hugging Face nennen 28B. Der BF16-Checkpoint auf der Dateiseite besteht aus 18 Safetensors-Teilen, die zusammen 55,6 GB ergeben, bei 2 Byte je Parameter nach unserer Zählung etwa 27,8 Milliarden Parameter. Die Karte nennt einen Kontext von „262,144 natively and extensible up to 1,000,000 tokens“ und die Lizenz Apache 2.0.

Das Sprachmodell hat 64 Schichten mit einer Breite von 5.120, angeordnet als „16 × (3 × (Gated DeltaNet → FFN) → 1 × (Gated Attention → FFN))“. Drei von vier Schichten nutzen Gated DeltaNet, eine lineare Attention, daher halten nur 16 Schichten einen KV-Cache je Token; was das für die Inferenz bedeutet, rechnet unsere Seite zu den Hardware-Anforderungen von Qwen vor. Für das Training ist der Aufbau in einem praktischen Punkt wichtig: Die Schichten mit linearer Attention brauchen eigene Kernel, um schnell zu laufen. Die Trainingsseite von Unsloth zu Qwen3.8 schreibt, dass es „Flash Linear Attention kernels for efficient Qwen3.8 training“ nutzt, und verlangt „the latest Transformers v5“. Prüfen Sie, ob Ihr Framework die Architektur Qwen3_5ForConditionalGeneration aus der config.json des Modells unterstützt, bevor Sie einen Zeitplan aufstellen.

Der Vision-Encoder hat laut config.json 27 Blöcke der Breite 1.152 mit einer MLP-Breite von 4.304, nach unserer Rechnung etwa 0,4 Milliarden Parameter in Attention- und MLP-Gewichten, unter 2 Prozent des Modells.

Vollständiges Fine-Tuning: wo 445 GB Platz finden

Nach der Zählung des ZeRO-Papiers hält Mixed-Precision-Training mit Adam je Parameter 2 Byte Gewichte, 2 Byte Gradienten und 12 Byte Optimiererzustand. Für 27,8 Milliarden Parameter sind das 444,8 GB, nach der Zählung von 18 Byte in der Dokumentation von Hugging Face 500,4 GB. Keine einzelne Karte fasst das, und zwei H200 NVL fassen es weder mit 32-Bit- noch mit 8-Bit-Adam.

Vier H200 NVL, 564 GB. Bei vollständigem Sharding hält jede Karte 111,2 GB Zustände und hat etwa 30 GB für Aktivierungen, die gerade gesammelte Schicht und den CUDA-Kontext. Das geht mit Gradient Checkpointing und moderaten Sequenzlängen; lange Sequenzen oder größere Micro-Batches bringen es an die Grenze. Mit 8-Bit-Adam sinken die Zustände auf 69,5 GB je Karte, und der freie Platz wächst auf etwa 72 GB.

Acht RTX PRO 6000 Server Edition, 768 GB. Jede Karte hält 55,6 GB und hat etwa 40 GB frei, mehr Reserve je Karte als bei vier H200 NVL, um den Preis des Verkehrs über PCIe, den der nächste Abschnitt behandelt.

Vier RTX PRO 6000 Server Edition, 384 GB. Mit 32-Bit-Adam zu klein. Mit 8-Bit-Adam hält jede Karte 69,5 GB und behält etwa 27 GB. Der andere Weg ist das Optimierer-Offload von DeepSpeed: Das ZeRO-Offload-Papier hält die 16-Bit-Parameter auf der GPU und 14 Byte je Parameter im Hauptspeicher, hier etwa 389 GB. Jede Karte hält dann 13,9 GB Gewichte, und die 768 GB Hauptspeicher unserer Referenzkonfiguration mit vier Karten nehmen den Rest auf. Die Prozessoren führen dabei das Parameter-Update aus, was jeden Schritt verlangsamt.

Acht H200 NVL, 1.128 GB. Halten den Lauf mit 55,6 GB je Karte und etwa 85 GB Rest, genug für lange Sequenzen oder zwei vollständige Fine-Tunings des 27B nebeneinander, eines je NVLink-Domäne aus vier Karten.

Wir bauen diese Server mit vier oder acht Karten; nennen Sie uns die Sequenzlänge und den Anteil an Bilddaten in Ihrem Trainingsdatensatz, und unser Team antwortet mit der Konfiguration und dem freien Speicher je Karte.

NVLink oder PCIe: was das Sharding eines 27B-Modells bewegt

Bei vollständigem Sharding hält jede Karte einen Teil der Gewichte und empfängt den Rest zweimal je Schritt, vor dem Vorwärts- und erneut vor dem Rückwärtsdurchlauf; danach werden die Gradienten per Reduce-Scatter verteilt. Das ZeRO-Papier setzt das mit dem 1,5-Fachen des Verkehrs von reinem datenparallelem Training an. Nach unserer Rechnung empfängt jede Karte je Vorwärts- und Rückwärtsdurchlauf in BF16 auf vier Karten etwa 125 GB und auf acht etwa 146 GB.

Unsere Rechnung: 3 × 55,6 GB × (N − 1) / N empfangen je Karte; Übertragungsraten nach NVIDIA (NVLink 900 GB/s je GPU, PCIe Gen5 128 GB/s, beides Summen beider Richtungen). Rechnen: 6 × 27,8 Milliarden × 8.192 Token je Karte beim dichten BF16-Spitzenwert von NVIDIA, 835,5 TFLOPS für die H200 NVL und 503,8 für die RTX PRO 6000 Workstation Edition; für die Server Edition, die niedriger taktet, veröffentlicht NVIDIA keinen dichten Wert.

Der Vergleich ist auf beiden Seiten eine Untergrenze, denn echte Läufe erreichen weder die volle Übertragungsrate noch die volle Rechenleistung. Zwei Schlüsse gelten trotzdem. Auf vier H200 NVL ist die Übertragung ein kleiner Bruchteil der Rechenzeit, FSDP oder ZeRO-3 können sie hinter der Berechnung verbergen. Auf acht Karten der Server Edition liegt die Übertragung in derselben Größenordnung wie die Rechenzeit, und die Schrittrate hängt davon ab, wie gut das Framework beides überlappt und ob Peer-to-Peer zwischen den Karten funktioniert. NVIDIAs NCCL-Dokumentation hält fest, dass „CUDA and the NVIDIA driver stack do not support IOMMU-enabled PCIe peer-to-peer memory transfer“; unser P2P-Leitfaden für die RTX PRO 6000 macht daraus eine Abnahmeprüfung.

Bei der reinen Rechenleistung liegen die acht Karten vorn: Achtmal 503,8 TFLOPS zum Wert der Workstation Edition sind etwa 4.030 TFLOPS gegenüber etwa 3.342 für vier H200 NVL, und die Server Edition liegt etwas unter diesem Wert. Einen veröffentlichten Benchmark eines vollständigen 27B-Fine-Tunings auf einer der beiden Konfigurationen haben wir nicht gefunden, daher nennen wir kein gemessenes Verhältnis. Mehr Token je Micro-Batch helfen dem PCIe-Aufbau am meisten, weil der Verkehr je Durchlauf gleich bleibt, während die Rechenzeit wächst. Auch ein Lauf auf acht H200 NVL über beide NVLink-Domänen schickt einen Teil seines Verkehrs über PCIe; unser Leitfaden zur NVLink-Brücke der H200 NVL zeigt, wie man die Domänen mit nvidia-smi topo -m sieht.

LoRA und QLoRA auf einer Karte

Die meisten Teams, die eine Fachversion von Qwen3.8-27B wollen, beginnen mit einem Adapter. Ein LoRA hält die 55,6 GB Basis eingefroren in BF16 und trainiert Matrizen niedrigen Rangs. Auf allen linearen Schichten des Sprachmodells mit Rang 16 zählen wir aus den Schichtgrößen der config.json grob 0,1 Milliarden trainierbare Gewichte, mit Gradienten und Adam-Zuständen zu je 16 Byte etwa 1,9 GB. Der Lauf hält dann etwa 57,5 GB, das lässt auf einer RTX PRO 6000 Server Edition etwa 38 GB und auf einer H200 NVL etwa 83 GB frei.

QLoRA speichert die linearen Schichten der Basis in 4-Bit-NormalFloat mit etwa 0,516 Byte je Gewicht bei doppelter Quantisierung und hält Embeddings und Ausgabeschicht in BF16. Qwen3.8-27B hat ein Vokabular von 248.320 Token und eine eigene, nicht geteilte Ausgabeschicht, diese beiden allein sind 2,54 Milliarden Parameter und 5,1 GB. Mit dem Vision-Teil in BF16 und dem Adapter kommen wir auf etwa 21 GB. Die Trainingsseite von Unsloth nennt einen passenden Wert: „QLoRA works with 24GB and LoRA needs >36GB“. Ihr LoRA-Wert liegt unter unserer Rechnung für eine BF16-Basis, die allein für die Gewichte 55,6 GB braucht; wir planen LoRA auf einer Karte mit 96 GB.

Auf einem Server mit vier Karten der RTX PRO 6000 Server Edition laufen vier LoRA-Jobs nebeneinander, einer je Karte, ganz ohne Verkehr zwischen den Karten. So lässt sich am günstigsten prüfen, ob eine fachliche Anpassung funktioniert, bevor man sich auf ein vollständiges Fine-Tuning festlegt. Unser Leitfaden zum GPU-Speicher für Fine-Tuning erklärt die Regeln je Parameter hinter diesen Werten.

Der Vision-Teil: einfrieren oder mittrainieren

Qwen3.8-27B ist ein Vision-Language-Modell, und ein Fine-Tuning legt fest, was mit dem Bildpfad geschieht. Die Seite von Unsloth schreibt: „Set finetune_vision_layers=False when your dataset is text-only“, und für Bilddaten schaltet sie die Vision-Schichten mit einem Bild-Dialog-Datensatz ein. Die 0,4 Milliarden Vision-Parameter mitzutrainieren kostet in einem vollständigen Fine-Tuning bei 16 Byte je Parameter etwa 6,6 GB Modellzustände, ein kleiner Teil der 445 GB.

Bilder fallen bei den Aktivierungen stärker ins Gewicht als bei den Parametern. Bei einer Patch-Größe von 16 Pixeln wird ein Bild mit 1.024 × 1.024 Pixeln in 4.096 Patches zerlegt, die der Merger des Encoders je zwei mal zwei zusammenfasst (spatial_merge_size 2 in der config.json), zu 1.024 Bild-Token. Diese Token verlängern jede Trainingssequenz, in der sie vorkommen. Bei einem Datensatz mit vielen Bildern je Beispiel sollten Sequenzlänge und Micro-Batch das berücksichtigen. Ein reines Text-Fine-Tuning mit eingefrorenem Vision-Teil behält den Bildpfad des Originalmodells.

Hauptspeicher, Speicherplatz und Strom

NVIDIAs Konfigurations­leitfaden für NVIDIA-Certified Systems verlangt mindestens das Doppelte des GPU-Speichers als Hauptspeicher. Unsere Referenzaufbauten haben 1.152 GB für vier H200 NVL und 1.536 GB für acht Karten der RTX PRO 6000 Server Edition, beides weit über den 389 GB, die das Optimierer-Offload für dieses Modell bräuchte.

Die Checkpoints bestimmen den Speicherplatz. Ein fortsetzbarer Checkpoint eines vollständigen Fine-Tunings enthält die 32-Bit-Master-Gewichte, die Adam-Momente und die 16-Bit-Gewichte, 14 Byte je Parameter nach der ZeRO-Zählung, für Qwen3.8-27B nach unserer Schätzung etwa 389 GB. Die letzten drei aufzubewahren braucht etwa 1,2 TB; das fertige Modell ist wieder ein BF16-Checkpoint von 55,6 GB, den Qwens FP8-Fassung für die Inferenz auf 30,9 GB verkleinert, wie unsere Qwen-Seite angibt.

Unsere Schätzung: 600 W je Karte, zwei AMD EPYC 9355 (280 W) im Server mit vier Karten und zwei EPYC 9555 (360 W) in den Servern mit acht Karten, plus 15 Prozent für Speicher, Laufwerke, Lüfter und Wandlungsverluste; eine Messung am gelieferten System bestätigt den Wert. Wir planen 80 Prozent eines Anschlusses ein: 2,94 kW bei 230 V und 16 A, 5,89 kW bei 32 A.

Ein vollständiges Fine-Tuning hält alle Karten für die Dauer des Laufs nahe der vollen Leistung, der Anschluss ist also für Volllast zu planen. Bei einer Begrenzung auf 450 W kommt der Server mit vier H200 NVL nach derselben Schätzung auf etwa 2,7 kW, mit geringerer Schrittrate.

Empfehlung

Fachliche Anpassung, erstes Projekt. LoRA oder QLoRA auf einer Karte; ein Server mit zwei oder vier Karten der RTX PRO 6000 Server Edition führt mehrere Experimente gleichzeitig aus und betreibt danach das Ergebnis. Siehe unsere Seite zum Kauf eines Servers mit 4× RTX PRO 6000 Server Edition.

Vollständiges Fine-Tuning des 27B als Ziel. Vier H200 NVL mit 4-Wege-Brücke und 1.152 GB Hauptspeicher: Der ganze Lauf bleibt in einer NVLink-Domäne. Unsere Seite zum Kauf eines Servers mit 4× H200 NVL beschreibt den Aufbau.

Vollständiges Fine-Tuning mit langen Sequenzen, oder derselbe Server später für viele Nutzer. Acht Karten der RTX PRO 6000 Server Edition geben je Karte 40 GB Reserve und mehr Gesamtrechenleistung über PCIe; acht H200 NVL geben die größte Reserve über NVLink. Unsere Seiten zum Kauf eines Servers mit 8× RTX PRO 6000 Server Edition und zum Kauf eines Servers mit 8× H200 NVL behandeln beide.

Sie können dieses System bei uns kaufen: Unser Team legt die Konfiguration nach Ihrer Arbeitslast und Ihrem Budget aus und antwortet innerhalb eines Werktages. Der Server wird vor der Lieferung montiert und getestet und in der EU mit einem Vertrag und einer Rechnung geliefert, mit Herstellergarantie auf jede Komponente; Mengen und Lieferzeit werden mit dem Angebot schriftlich bestätigt. Die Trainingsumgebung und der Betrieb des trainierten Modells gehören zu unserem Service Private AI/ML mit unserem Engineering-Partner Vixen.UNO. Schreiben Sie uns Ihren Datensatz und die geplante Methode, und wir vergleichen beide Aufbauten für Ihren Lauf.

FAQ