Fine-Tuning-Server, 2 bis 8 GPUs, 8B bis 70B: RTX PRO 6000 Server Edition oder H200 NVL

Was ein Fine-Tuning-Server tut, einfach erklärt

Ein Fine-Tuning-Server passt ein vorhandenes offenes Modell, etwa Llama 3.3 70B oder ein Qwen3-Modell, an die Dokumente, Begriffe oder Aufgaben eines Unternehmens an. Ein Server mit zwei Karten der NVIDIA RTX PRO 6000 Blackwell Server Edition erledigt das für Modelle von 8B bis 70B mit LoRA und QLoRA; vier Karten führen mehrere solcher Jobs gleichzeitig oder einen größeren Lauf aus; acht H200 NVL mit NVLink-Brücken sind die Konfiguration für vollständiges Fine-Tuning von 32B- und 70B-Modellen. Die Methode bestimmt die Größe des Servers stärker als das Modell.

LoRA und QLoRA trainieren einen kleinen Adapter auf einem eingefrorenen Modell und brauchen einen Bruchteil des Speichers eines vollständigen Fine-Tunings, das jedes Gewicht neu trainiert. Für Llama 3.3 70B ergeben die Modellzustände, also Gewichte, Gradienten und Optimiererzustände, 42,8 GB für QLoRA, 144,4 GB für LoRA auf 16-Bit-Basis und 1.129 GB für ein vollständiges Fine-Tuning, nach den Regeln je Parameter in unserem Leitfaden zum GPU-Speicher für Fine-Tuning. Ob ein Unternehmen überhaupt Fine-Tuning braucht oder eine Suche über seine Dokumente, behandelt unser Vergleich von Fine-Tuning und RAG.

Für die Geschäftsführung läuft die Entscheidung auf zwei Fragen hinaus: welche Methoden das Team in den nächsten zwei Jahren nutzen wird und wie viele Läufe gleichzeitig möglich sein sollen. Die Konfigurationen unten beantworten beides.

Drei Konfigurationen: 2, 4 und 8 Karten

Das sind die drei Ausgangspunkte auf unserer Seite zu KI-Servern. Speicher und Prozessorkerne folgen NVIDIAs Konfigurations­leitfaden für NVIDIA-Certified Systems: mindestens das Doppelte des GPU-Speichers als Hauptspeicher, mindestens sechs Kerne je GPU und zwei Sockel.

Referenz­konfigurationen unserer Seite zu KI-Servern, Oktober 2026; mehr Speicher auf Anfrage. Läufe nach unserer Rechnung in der nächsten Tabelle, nur Modellzustände.

Zwei Varianten liegen dazwischen. Zwei H200 NVL mit 2-Wege-Brücke halten ein vollständiges 8B-Fine-Tuning auf einer Karte und ein 70B-LoRA mit 72,2 GB je Karte über NVLink. Acht Karten der RTX PRO 6000 Server Edition führen acht QLoRA-Jobs aus oder ein vollständiges 32B-Fine-Tuning mit 65,5 GB je Karte, über PCIe.

Welche Läufe auf welche Konfiguration passen

Die Tabelle teilt die Modellzustände jedes Laufs durch die genutzten Karten und vergleicht das Ergebnis mit dem Nennspeicher der Karte: 96 GB auf einer RTX PRO 6000 Server Edition und 141 GB auf einer H200 NVL. Der Rest nimmt Aktivierungen, CUDA-Kontext und Puffer auf, die mit Batchgröße und Sequenzlänge wachsen.

Unsere Rechnung: 16 Byte je Parameter für vollständiges Fine-Tuning mit 32-Bit-Adam und etwa 10 mit 8-Bit-Adam (Zählung des ZeRO-Papers), eingefrorene BF16-Basis mit 2 Byte und NF4-Basis mit 0,516 Byte für lineare Schichten, Adapter mit Rang 16 auf allen linearen Schichten; Llama 3.1 8B, Qwen3-32B und Llama 3.3 70B mit 8,03, 32,76 und 70,55 Milliarden Parametern.

Lesen Sie die Tabelle von unten nach oben. Mit 32-Bit-Adam braucht ein vollständiges 70B-Fine-Tuning 141,1 GB je H200 NVL, die ganze Karte noch vor allen Aktivierungen; es ist daher auf 8-Bit-Adam angewiesen, das die Zustände auf 88,2 GB je Karte senkt, oder einen Optimierer im Hauptspeicher, wie weiter unten beschrieben. Ein vollständiges 32B-Fine-Tuning braucht acht H200 NVL mit 32-Bit-Adam oder vier Karten der RTX PRO 6000 Server Edition mit 8-Bit-Adam. Alles oberhalb dieser Zeilen läuft auf zwei Karten beider Typen.

Wir bauen diese Server mit zwei, vier oder acht Karten; schicken Sie uns Modelle, Methode und Sequenzlänge, und unser Team antwortet mit der Konfiguration, die Ihre Läufe hält, und dem freien Speicher je Karte.

Datenparallel oder FSDP

Es gibt zwei Wege, mehrere Karten für einen Lauf zu nutzen. Beim datenparallelen Training hält jede Karte den ganzen Lauf und trainiert auf ihrem Anteil der Batches; nach jedem Schritt addieren die Karten ihre Gradienten in einem All-Reduce. Die FSDP-Dokumentation von PyTorch beschreibt das als NO_SHARD, bei dem die Zustände „replicated across ranks similar to PyTorch's DistributedDataParallel API“ sind. Beim geshardeten Training teilt der Modus FULL_SHARD von FSDP „parameters, gradients, and optimizer states“ auf die Karten auf und sammelt die Parameter vor dem Vorwärts- und erneut vor dem Rückwärtsdurchlauf ein.

Nutzen Sie Datenparallelität, wann immer der Lauf mit Platz für Aktivierungen auf eine Karte passt. Bei Adaptern ist der Verkehr klein: Ein LoRA mit Rang 16 auf Llama 3.3 70B trainiert 207,1 Millionen Gewichte, 0,41 GB BF16-Gradienten je Schritt, und das ZeRO-Paper zählt für den All-Reduce 2Ψ Datenbewegung, etwa 0,83 GB je Karte und Schritt. Bei 64 GB/s je Richtung über PCIe Gen5 sind das rund 13 ms, nach unserer Rechnung. Mit zwei, vier oder acht Karten der RTX PRO 6000 Server Edition skalieren QLoRA- und LoRA-Läufe auf diese Weise ohne NVLink.

Nutzen Sie FSDP, wenn die Zustände nicht auf eine Karte passen. Es spart Speicher und kostet Verkehr: Das ZeRO-Paper beziffert einen vollständig geshardeten Lauf auf das 1,5-Fache des Verkehrs beim datenparallelen Training, und bei einem 70B-LoRA gehen die Gewichte der eingefrorenen Basis bei jedem Durchlauf über die Verbindung. Auf zwei Karten empfängt jede Karte je Vorwärts- und Rückwärtsdurchlauf etwa 141 GB, auf vier etwa 212 GB. Das sind nach unserer Rechnung mindestens 2,2 und 3,3 Sekunden je Durchlauf über PCIe und etwa 0,3 Sekunden über eine 2-Wege-NVLink-Brücke mit 450 GB/s; FSDP überlappt einen Teil davon mit der Berechnung.

Auch QLoRA lässt sich sharden. Die bitsandbytes-Dokumentation beschreibt FSDP-QLoRA, das „LLMs up to 70B parameters on a dual 24GB GPU system“ trainiert, unter der Bedingung, dass bnb_4bit_quant_storage zum Datentyp der übrigen Schichten passt. Auf einem Server mit 96-GB-Karten gibt es dafür selten einen Grund: Ein 70B-QLoRA passt mit etwa 53 GB frei auf eine Karte, und datenparalleles Training ist einfacher.

Über mehrere Server hinweg bietet PyTorch HYBRID_SHARD, das vollständiges Sharding „within a node“ anwendet und „across nodes“ repliziert; die teuren All-Gathers bleiben damit in jedem Server, und nur Gradienten gehen über das Netzwerk. Das ist die Aufteilung für zwei oder mehr Knoten mit acht Karten im 400G-Netz unserer Trainingskonfiguration.

NVLink-Brücken auf der H200 NVL, PCIe auf der RTX PRO 6000 Server Edition

Die H200 NVL verbindet zwei oder vier Karten über eine NVLink-Brücke mit 900 GB/s je GPU, gegenüber 128 GB/s für PCIe Gen5, beides für zwei Richtungen gerechnet. Eine Brücke verbindet höchstens vier Karten, der Server mit acht Karten hat also zwei NVLink-Domänen mit PCIe dazwischen. Dells technischer Leitfaden zum PowerEdge XE7740 hält fest: „Eight DW H200 GPUs need two bridges“; Puget Systems verbindet zwei Karten mit einer 2-Wege-Brücke, vier mit einer 4-Wege-Brücke und acht mit zwei 4-Wege-Brücken; Ciscos Spezifikationsblatt zum UCS C845A M8 erlaubt für acht Karten vier 2-Wege- oder zwei 4-Wege-Brücken. NVIDIAs Referenzarchitektur ordnet verbrückte Karten demselben Prozessorsockel zu, und Dell nennt Brücken über Prozessoren hinweg „possible but not recommended“.

Für Fine-Tuning ergibt sich daraus eine einfache Regel. Halten Sie jeden geshardeten Lauf in einer NVLink-Domäne. Ein 70B-LoRA auf vier verbrückten H200 NVL hält 36,1 GB je Karte und bewegt seine Gewichte über NVLink; die anderen vier Karten führen einen zweiten Job aus. Ein Lauf, der über alle acht Karten geshardet ist, nutzt für einen Teil seines Verkehrs PCIe; das lohnt sich nur, wenn die Zustände mehr als vier Karten brauchen, wie bei einem vollständigen 32B- oder 70B-Fine-Tuning. Unser Leitfaden zur NVLink-Brücke der H200 NVL zeigt, wie Sie die Domänen mit nvidia-smi topo -m prüfen.

Keine Edition der RTX PRO 6000 hat NVLink. Die Karten tauschen Daten über PCIe aus, Peer-to-Peer, wo die Plattform es zulässt. NVIDIAs NCCL-Dokumentation warnt, dass „CUDA and the NVIDIA driver stack do not support IOMMU-enabled PCIe peer-to-peer memory transfer“, und dass ACS an PCIe-Switches abgeschaltet sein muss; beides gehört deshalb in den Abnahmetest, wie unser Leitfaden zu P2P auf der RTX PRO 6000 erklärt. Für datenparalleles LoRA und QLoRA kostet das wenig. Für FSDP-Läufe ist die H200 NVL die schnellere Plattform, wie unser Vergleich von H200 NVL und RTX PRO 6000 für Fine-Tuning mit Tensor-Raten und Verkehr zeigt.

Hauptspeicher: was der RAM der Prozessoren halten muss

NVIDIAs Konfigurations­leitfaden für NVIDIA-Certified Systems, aktualisiert am 30. September 2026, verlangt Hauptspeicher von „2x times of total GPU memory“. Unsere Referenz­konfigurationen erfüllen das; die Tabelle zeigt, wie jede Größe die 24 Speicherkanäle zweier AMD-EPYC-Prozessoren mit einem Modul je Kanal belegt.

Konfigurations­leitfaden für NVIDIA-Certified Systems, gelesen am 24. Oktober 2026; Modulzahl nach unserer Rechnung für 24 Speicherkanäle. Ciscos Spezifikationsblatt zum UCS C845A M8 empfiehlt für die H200 NVL mindestens das Dreifache des HBM, 4.096 GB für acht Karten.

Fine-Tuning bringt eine Aufgabe für den Hauptspeicher mit, die Inferenz nicht kennt: den Optimierer. Das ZeRO-Offload-Paper hält die 16-Bit-Parameter auf der GPU und legt „all the fp32 model states along with the fp16 gradients on the CPU memory“ ab, 14 Byte je Parameter, und hält „a single copy of the optimizer states on the CPU memory regardless of the data parallel degree“. Nach unserer Rechnung sind das 112,4 GB für ein 8B-Modell, 458,6 GB für ein 32B-Modell und 987,7 GB für Llama 3.3 70B. Die DeepSpeed-Dokumentation bezeichnet das Auslagern des Optimierers für die ZeRO-Stufen 1, 2 und 3 als gültig, und in Stufe 3 sind „the 16-bit model parameters … partitioned across the processes“; ein vollständiges 70B-Fine-Tuning auf acht H200 NVL hält damit etwa 17,6 GB Gewichte je Karte und etwa 1 TB im Hauptspeicher. Die 2,3 TB unseres Trainingsknotens halten das mit Reserve für das Laden der Daten und den Page Cache; die 768 GB eines Servers mit vier Karten würden nicht reichen. Der Prozessor führt dann das Parameter-Update aus, wie das Paper beschreibt.

Die übrigen Regeln für den Host sind einfacher. NVIDIAs Leitfaden verlangt mindestens sechs physische Kerne je GPU, also 12, 24 und 48 Kerne für die drei Konfigurationen, und zwei Sockel. Unsere Leitfäden zur Frage, wie viel RAM ein GPU-Server braucht, und zu CPU, RAM und Storage für einen Server mit 4 GPUs gehen auf Prozessorwahl und Speicherkanäle ein.

NVMe: Datensätze, Checkpoints und Offload

Die Checkpoints bestimmen den Speicherbedarf eines Fine-Tuning-Servers stärker als die Trainingsdaten. Ein fortsetzbarer Checkpoint eines vollständigen Fine-Tunings speichert die 32-Bit-Master-Gewichte und beide Adam-Momente, nach der Rechnung des ZeRO-Papers 12 Byte je Parameter, dazu die 16-Bit-Gewichte mit 2 Byte. Nach unserer Schätzung sind das etwa 112 GB für ein 8B-Modell, 459 GB für ein 32B-Modell und 988 GB für ein 70B-Modell, und ein Team, das die letzten drei Checkpoints eines 70B-Laufs aufbewahrt, braucht allein dafür etwa 3 TB. Ein LoRA-Checkpoint ist klein: Der Adapter mit Rang 16 eines 70B-Modells hat 207,1 Millionen Gewichte, 0,41 GB in BF16, mit seinen Optimiererzuständen etwa 3,3 GB.

NVIDIAs Referenzarchitektur RTX PRO AI Factory vom 18. Mai 2026 empfiehlt für Deep Learning 2 TB NVMe je Prozessorsockel, gegenüber 1 TB für Inferenz, dazu ein Boot-Laufwerk mit 1 TB. Die acht Laufwerke unseres Trainingsknotens bieten Platz für Datensätze, Checkpoints und Basismodelle auf getrennten Laufwerken. DeepSpeed kann Optimiererzustände und Parameter auch auf NVMe auslagern, eine Funktion, die mit ZeRO-Infinity eingeführt wurde; das tauscht Schrittzeit gegen Speicher und passt zu Läufen, die nicht einmal in den Hauptspeicher passen. Unser Leitfaden zu NVMe-Speicher für einen LLM-Server behandelt Laufwerkstypen und Haltbarkeit.

Stromverbrauch und Rackplatz

Training hält die Karten über Stunden oder Tage nahe an voller Leistung, anders als ein Chat-Dienst, der zwischen Anfragen ruht. Planen Sie die Zuleitung für Volllast.

Unsere Schätzung: 600 W je Karte laut NVIDIAs Unterlagen; zwei AMD EPYC 9135 mit je 200 W im Server mit zwei Karten, zwei EPYC 9355 mit je 280 W im Server mit vier Karten und zwei EPYC 9555 mit 64 Kernen und je 360 W im Server mit acht Karten (AMDs Standard-TDP); dazu 15 Prozent für Speicher, Laufwerke, Netzwerkkarten, Lüfter und Wandlungsverluste; eine Messung am gelieferten System bestätigt den Wert.

Wir planen 80 Prozent der Nennleistung einer Zuleitung: 2,94 kW bei 230 V und 16 A, 5,89 kW bei 32 A und 8,87 kW an einem 400-V-Drehstromanschluss mit 16 A. Der Server mit zwei Karten passt an eine 16-A-Zuleitung, der mit vier Karten braucht bei 600 W je Karte 32 A oder Drehstrom, und der mit acht Karten braucht Drehstrom oder mehrere Zuleitungen, wobei jede Seite eines A/B-Paars den ganzen Server tragen muss. Dells Leitfaden zum XE7740 begrenzt die Ansaugtemperatur mit H200 NVL auf 30 °C, gegenüber 35 °C für andere Karten; prüfen Sie also den Raum ebenso wie die Zuleitung. Unser Leitfaden zum Stromanschluss von GPU-Servern mit 16 A, 32 A und Drehstrom rechnet redundante Netzteile und Kabel durch.

Mit welcher Konfiguration beginnen

Ein erstes Projekt oder eine Abteilung. Zwei Karten der RTX PRO 6000 Server Edition. Sie führen LoRA und QLoRA für jede Modellgröße in diesem Artikel aus, zwei Jobs gleichzeitig, und derselbe Server betreibt anschließend das Ergebnis. Unsere Seite zum Kauf eines Servers mit 2× RTX PRO 6000 Server Edition nennt die Varianten.

Mehrere Teams oder eine Warteschlange von Experimenten. Vier Karten der Server Edition: vier Jobs nebeneinander oder ein über vier Karten geshardetes 70B-LoRA, wenn ein Team es braucht. Zwei Server mit vier Karten statt eines Servers mit acht ergeben zwei Ausfallbereiche, wie unser Vergleich ein 8-GPU-Server oder zwei 4-GPU-Server erklärt.

Vollständiges Fine-Tuning von 32B- oder 70B-Modellen. Acht H200 NVL mit zwei 4-Wege-Brücken, 2,3 TB Hauptspeicher und 400G für einen späteren zweiten Knoten. Unsere Seite zum Server mit acht H200 NVL zeigt, was er bei der Inferenz leistet.

Die Kartenwahl hinter diesen Konfigurationen steht in unserem Vergleich der besten GPU für Fine-Tuning 2026.

Einen Fine-Tuning-Server bei uns bestellen

Sie können dieses System bei uns kaufen: Unser Team dimensioniert die Konfiguration nach Ihrer Arbeitslast und Ihrem Budget und antwortet innerhalb eines Werktages. Die Dimensionierung ist kostenlos. Der Server wird vor der Lieferung montiert und getestet, und wir liefern ihn in der EU mit einem Vertrag und einer Rechnung, mit Herstellergarantie auf jede Komponente und der Montage in unserer Verantwortung; andere Ziele erreichen wir über unseren Logistikpartner. Auf Anfrage installieren wir Betriebssystem, Treiber, CUDA und eine Container-Runtime und nehmen den Server vor Ort in Betrieb. Die Trainingsplattform darauf, MLOps auf Kubernetes, gehört zu unserem Service Private AI/ML, den unser Engineering-Partner Vixen.UNO umsetzt. Mengen und Lieferzeit bestätigen wir schriftlich mit dem Angebot.

Für eine genaue Konfiguration brauchen wir die Basismodelle, die Methode je Modell, die Sequenzlänge, die Zahl gleichzeitiger Läufe und die Zuleitung am Rackplatz. Beschreiben Sie das im Formular unten, und wir antworten mit einer Konfiguration und einem schriftlichen Angebot.

FAQ