Beste GPU für Fine-Tuning 2026: RTX-PRO-6000-Editionen, H200 NVL oder RTX PRO 5000 72 GB

Welche Karte für welche Fine-Tuning-Methode

Für die meisten Fine-Tuning-Projekte in Unternehmen im Jahr 2026, also LoRA oder QLoRA auf Modellen mit 8B bis 70B Parametern, reicht eine NVIDIA RTX PRO 6000 Blackwell Server Edition im Rack-Server oder eine RTX PRO 6000 Max-Q in der Workstation. Die H200 NVL lohnt sich, wenn vollständiges Fine-Tuning oder ein 70B-LoRA auf 16-Bit-Basis über mehrere Karten geplant ist, weil sie 141 GB je Karte hat und Karten über NVLink verbindet.

Die 96 GB einer RTX PRO 6000 halten ein 32B-LoRA und ein 70B-QLoRA mit Platz für Aktivierungen. Die RTX PRO 5000 72 GB ist die 300-W-Option für QLoRA bis 70B und LoRA auf 8B-Modellen.

NVIDIAs H200-Produktseite (1.671 TFLOPS mit Sparsity, von uns halbiert); NVIDIAs Whitepaper zur RTX-PRO-Blackwell-Architektur v1.0, Tabelle 4, für Workstation Edition und Max-Q; Produktseite der RTX PRO 6000 Server Edition, die 1 PFLOP BF16 ohne Hinweis auf Sparsity nennt; Datenblatt der RTX PRO 5000 ohne BF16-Wert. Gelesen für unsere Fine-Tuning-Artikel und am 24. Oktober 2026 mit FACTS abgeglichen.

Zwei Dinge fehlen in der Tabelle mit Absicht. Werte mit Sparsity gelten nur für Gewichte, die auf NVIDIAs 2:4-Muster ausgedünnt sind, und ein Fine-Tuning erzeugt dichte Gewichte; wir vergleichen deshalb dichte Werte. Und die Bandbreite steht in der Speicherspalte, weil die großen Matrixmultiplikationen im Training von der Tensor-Rate begrenzt werden. Unser Vergleich von H200 NVL und RTX PRO 6000 rechnet das mit NVIDIAs Formel zur arithmetischen Intensität durch.

Byte je Parameter: die Regeln hinter jeder Dimensionierung

Jeder Speicherwert in diesem Artikel folgt aus wenigen Regeln je Parameter, jede mit veröffentlichter Quelle. Sie erfassen die Modellzustände, also Gewichte, Gradienten und Optimiererzustände. Aktivierungen kommen hinzu und wachsen mit Batchgröße und Sequenzlänge.

Papers und Dokumentation wie in unserem Leitfaden zum GPU-Speicher zitiert, ZeRO-Offload gelesen am 24. Oktober 2026. Die 0,516 Byte von QLoRA sind 4 Bit plus 0,127 Bit für Quantisierungskonstanten; Embeddings und Ausgabeschicht bleiben in BF16.

Für Llama 3.3 70B mit 70,55 Milliarden Parametern ergeben die Regeln 1.129 GB Modellzustände für ein vollständiges Fine-Tuning, 144,4 GB für ein LoRA mit Rang 16 auf allen linearen Schichten und 42,8 GB für dasselbe LoRA auf einer NF4-Basis. Die Werte für 8B und 32B, die Rechnung zu den Adaptern und die Wirkung von Gradient Checkpointing stehen in unserem Leitfaden zum GPU-Speicher für Fine-Tuning; hier nutzen wir die Ergebnisse für die Wahl der Karte.

Diese Regeln entscheiden die meisten Käufe, bevor die Tensor-Raten eine Rolle spielen. Passen die Modellzustände eines Laufs nicht auf eine Karte, muss er über mehrere Karten geshardet oder ausgelagert werden, und von da an zählen die Verbindung zwischen den Karten und der Hauptspeicher so viel wie die Karte selbst.

RTX PRO 6000: welche der drei Editionen fürs Training

Die drei Editionen haben denselben GB202-Chip und 96 GB GDDR7 mit ECC. Für Fine-Tuning unterscheiden sie sich in drei Punkten: Leistungsaufnahme, Kühlung und Einbauort.

Die Leistungsaufnahme bestimmt das Trainingstempo. Die Workstation Edition läuft mit 600 W, die Max-Q mit 300 W, die Server Edition ist bis 600 W konfigurierbar. Training verhält sich wie die Prompt-Phase bei der Inferenz: Tausende Token laufen durch jedes gelesene Gewicht, also gibt die Tensor-Rate und mit ihr die Leistungsaufnahme das Tempo vor. Ein Thread im Level1Techs-Forum vom 5. Dezember 2025 zeigt das an einer Workstation Edition, die mit nvidia-smi -pl 300 auf 300 W begrenzt wurde: Die Prompt-Verarbeitung in llama-bench mit Llama 3.3 70B in Q8_0 fiel von 1.734,59 auf 906,64 Token pro Sekunde, die Token-Erzeugung nur von 20,54 auf 19,29. Die Max-Q ist für 300 W ausgelegt; NVIDIAs Whitepaper nennt für sie 438,9 dichte BF16-TFLOPS, 87 Prozent der 503,8 der Workstation Edition. Nach unserer Lesart dauert ein Fine-Tuning-Schritt auf der Max-Q etwas länger als auf einer 600-W-Karte; einen veröffentlichten Fine-Tuning-Vergleich der beiden haben wir nicht gefunden.

Die Server Edition taktet niedriger. Ihre Produktseite nennt 120 TFLOPS FP32 gegenüber 125 bei der Workstation Edition und 234 TFLOPS TF32, nahe an den dichten 251,9 der Workstation Edition. Beides deutet auf einen niedrigeren Takt hin; einen dichten BF16-Wert veröffentlicht NVIDIA für sie nicht. Manche 2U-Server begrenzen sie zusätzlich: Lenovos ThinkSystem SR650a V4 nimmt vier Karten nur mit 450 W auf.

Die Kühlung entscheidet über den Einbauort. Die Server Edition ist passiv gekühlt und braucht einen Server, für den sie gelistet ist. Für Läufe über mehrere Tage im Dauerbetrieb im Rack empfehlen wir diese Edition. Am Arbeitsplatz ermöglicht die Max-Q laut NVIDIA „bis zu vier GPUs in einem einzigen System“, während die Workstation Edition mit 600 W in den Angaben der Hersteller auf eine oder zwei Karten je Tower beschränkt ist. Puget Systems begrenzt seine Desktops auf drei Max-Q mit einem Steckplatz Abstand, und ein Aufbauprotokoll mit vier Max-Q im Level1Techs-Forum zeigte 91 °C an einer Karte zwischen zwei anderen; vier Karten brauchen also ein Gehäuse, das dafür gebaut ist.

Alle drei Editionen lassen sich per MIG in bis zu vier Instanzen mit 24 GB teilen. Ein 8B-QLoRA mit 6,4 GB Modellzuständen passt in eine Instanz, eine Karte kann also vier kleine Experimente zugleich ausführen; laut NVIDIAs MIG-Leitfaden wird NCCL mit MIG derzeit nicht unterstützt, deshalb kann eine Instanz nie Teil eines Laufs über mehrere Karten sein. Die übrigen Unterschiede stehen in unserem Vergleich der Editionen.

Wir liefern alle drei Editionen als Karten, in Workstations und in Rack-Servern; nennen Sie uns Modelle und Fine-Tuning-Methode, und unser Team antwortet mit der passenden Edition und Kartenzahl.

H200 NVL: wann sich 141 GB und NVLink lohnen

Bei drei Arten von Läufen liegt die H200 NVL vorn. Die erste ist ein vollständiges Fine-Tuning, das nur mit 141 GB auf eine Karte passt: Ein 8B-Modell mit 32-Bit-Adam braucht 128,5 GB Modellzustände; damit bleiben von den 141 GB einer H200 NVL etwa 12 GB frei, und die 96 GB einer RTX PRO 6000 reichen nicht. Mit 8-Bit-Adam sinkt derselbe Lauf auf etwa 80 GB und passt auch auf eine RTX PRO 6000.

Die zweite ist jeder Lauf, der über mehrere Karten geshardet wird. Ein 70B-LoRA auf BF16-Basis braucht mit FSDP auf zwei Karten 72,2 GB je Karte, und jede Karte empfängt dann je Vorwärts- und Rückwärtsdurchlauf etwa 141 GB Gewichte. Über eine 2-Wege-NVLink-Brücke mit 450 GB/s je Richtung dauert das mindestens 0,3 Sekunden, über PCIe Gen5 mit 64 GB/s mindestens 2,2 Sekunden, nach unserer Rechnung aus NVIDIAs Verbindungsraten. Eine Brücke verbindet höchstens vier Karten, ein Server mit acht Karten hat also zwei NVLink-Domänen mit PCIe dazwischen.

Die dritte ist der Durchsatz bei langen Warteschlangen von Läufen. NVIDIAs dichte BF16-Spitzenleistung liegt beim 1,66-Fachen der Workstation Edition und beim 1,90-Fachen der Max-Q, und die 4,8 TB/s der H200 NVL helfen den speichergebundenen Teilen eines Schritts, etwa dem Optimierer-Update und der Dequantisierung bei QLoRA. In MLPerf® Training v6.0 haben zwei Dell-Server mit je acht H200 NVL Llama 2 70B per LoRA bis zum Zielwert des Benchmarks feinabgestimmt.

MLPerf® Training v6.0, Closed Division, Kategorie „available on-premise“, Llama 2 70B LoRA, Einträge 6.0-0046 und 6.0-0047, abgerufen von mlcommons.org am 24. September 2026. Ergebnisse von der MLCommons Association verifiziert. Laufzeit bis zum Qualitätsziel des Benchmarks. The MLPerf name and logo are registered and unregistered trademarks of MLCommons Association in the United States and other countries. All rights reserved. Unauthorized use strictly prohibited. See www.mlcommons.org for more information.

Der Benchmark trainiert Llama 2 70B auf den SCROLLS-GovReport-Daten, bis der Loss 0,925 erreicht. Dasselbe Kartenmodell mit derselben Software brauchte im zweiten Server, mit anderen Prozessoren und weniger Hauptspeicher, 35 Prozent länger; ein veröffentlichter Wert beschreibt also das ganze System. Ein LoRA-Ergebnis der RTX PRO 6000, das wir mit Eintragsnummer zitieren könnten, haben wir nicht gefunden.

Auch die H200 NVL hat Grenzen. Sie rechnet nicht in FP4, sie ist eine passive Karte mit bis zu 600 W nur für Server, und ihr fünfjähriges Abonnement für NVIDIA AI Enterprise beginnt 90 Tage nach der Auslieferung der Karte an den Serverhersteller. MIG teilt sie in bis zu sieben Instanzen 1g.18gb, jede groß genug für ein 8B-QLoRA.

RTX PRO 5000 72 GB: QLoRA mit 300 W

Die RTX PRO 5000 72 GB ist eine aktiv gekühlte Workstation-Karte mit 300 W und 1.344 GB/s. Für Fine-Tuning liegen ihre 72 GB zwischen den Methoden. Ein 70B-QLoRA mit 42,8 GB Modellzuständen lässt 29 GB für Aktivierungen, genug für mittlere Batchgrößen und Sequenzlängen. Ein LoRA auf einem 8B-Modell lässt 55 GB frei. Ein LoRA auf einem 32B-Modell mit BF16-Basis braucht 67,7 GB und lässt nur 4 GB frei, zu wenig, um damit zu planen.

Ihre Tensor-Rate liegt bei etwa der Hälfte der RTX PRO 6000 Workstation Edition mit 600 W: Ihr Datenblatt nennt 2.064 AI TOPS gegenüber 4.000 bei der Workstation Edition und 3.511 bei der Max-Q, jeweils FP4 mit Sparsity, und 65 TFLOPS FP32 gegenüber 125. Derselbe Lauf dauert auf ihr also länger.

Die Version mit 48 GB hat denselben Chip und dieselbe Geschwindigkeit. Neben einem 70B-QLoRA bleiben ihr etwa 5 GB, und das 65B-Modell des QLoRA-Papers brauchte auf einer 48-GB-Karte Paged Optimizers, die Optimiererzustände in den CPU-Speicher verschieben, wenn die GPU vollläuft. Für ein 70B-QLoRA ist die 72-GB-Karte die richtige Wahl.

Auf dem Papier bietet die Max-Q mehr für dieselben 300 W: 96 statt 72 GB und 1.792 statt 1.344 GB/s. Eines hat die RTX PRO 5000 72 GB der Max-Q voraus: einen Platz auf NVIDIAs vGPU-Liste ab Release 20.2, nur für Red Hat Enterprise Linux mit KVM. Laut Datenblatt teilt MIG sie in zwei Instanzen mit 36 GB; NVIDIAs MIG-Leitfaden führt die 72-GB-Karte noch nicht. Unsere Seite zu zwei RTX PRO 5000 72 GB oder einer RTX PRO 6000 Max-Q vergleicht beide für den Arbeitsplatz.

Mehrere Karten: datenparallel über PCIe, Sharding über NVLink

Wie stark die Verbindung ins Gewicht fällt, hängt davon ab, ob die Modellzustände auf eine Karte passen. Wenn ja, trainiert jede Karte eine eigene Kopie des Laufs, und ausgetauscht werden nur die Gradienten der trainierten Gewichte. Bei einem LoRA mit Rang 16 auf Llama 3.3 70B sind das die 207,1 Millionen Adapter-Gewichte: 0,41 GB BF16-Gradienten je Schritt und etwa 0,83 GB Verkehr je Karte nach der Zählung des ZeRO-Papers von 2Ψ für einen All-Reduce, rund 13 ms bei 64 GB/s, nach unserer Rechnung. Das bewältigt PCIe problemlos; deshalb eignen sich Server mit der RTX PRO 6000 Server Edition für datenparalleles LoRA und QLoRA.

Passen die Zustände nicht, werden sie geshardet, und die Gewichte gehen bei jedem Durchlauf über die Verbindung. PyTorchs FSDP sammelt im vollständig geshardeten Modus die Parameter per All-Gather „before the forward“ und erneut „before the backward computation“, und das ZeRO-Paper beziffert den Gesamtverkehr auf das 1,5-Fache reiner Datenparallelität. Auf vier Karten der RTX PRO 6000 Server Edition hält ein 70B-LoRA 36,1 GB Modellzustände je Karte, aber jede Karte empfängt je Vorwärts- und Rückwärtsdurchlauf etwa 212 GB, nach unserer Rechnung mindestens 3,3 Sekunden über PCIe. Zwei H200 NVL mit Brücke halten denselben Lauf mit 72,2 GB je Karte und bewegen ihre 141 GB über NVLink.

Auch ein QLoRA-Lauf lässt sich sharden. Die bitsandbytes-Dokumentation von Hugging Face beschreibt FSDP-QLoRA, das „LLMs up to 70B parameters on a dual 24GB GPU system“ trainiert, sofern bnb_4bit_quant_storage zum Datentyp der übrigen Schichten passt. Auf zwei RTX PRO 5000 mit 48 GB belegte ein 70B-QLoRA dann nach unserer Rechnung 21,4 GB Modellzustände je Karte. Welche Konfiguration welches Modell mit welcher Methode trägt, einschließlich Hauptspeicher und NVMe, zeigt unsere Seite zum Fine-Tuning-Server mit 2, 4 oder 8 GPUs.

Training in FP8 und FP4 auf diesen Karten

Alle Karten dieses Vergleichs trainieren in FP8 über NVIDIAs Transformer Engine, die FP8 für Hopper-, Ada- und Blackwell-GPUs ab Compute Capability 8.9 nennt; die H200 NVL hat 9.0, die RTX-PRO-Blackwell-Karten 12.0. NVFP4 ist nur für Blackwell aufgeführt, die H200 NVL kann es also nicht nutzen. Transformer Engine 2.19 vom 11. September 2026 brachte stochastisches Runden für NVFP4 auf SM120- und SM121-GPUs, zu denen die RTX-PRO-Blackwell-Karten gehören. Bei MXFP8 sieht es anders aus: Die Support-Prüfung im Quellcode von 2.19 und von 2.20.2 vom 5. Oktober 2026 lehnt Compute Capability 12.0 und höher ab, mit dem Hinweis, MXFP8 sei „not supported on 12.0+ architectures yet“. Keiner unserer Speicherwerte rechnet mit einer Einsparung durch FP8 oder FP4.

Unsere Empfehlung je Einsatz

• LoRA auf 8B- bis 32B-Modellen für eine Abteilung. Eine oder zwei RTX PRO 6000 Server Edition in einem Rack-Server, oder eine Workstation mit Max-Q für ein Team, das die Hardware vor Ort haben möchte.
• QLoRA auf einem 70B-Modell. Jede Edition der RTX PRO 6000 mit etwa 53 GB frei nach den Modellzuständen, oder eine RTX PRO 5000 72 GB mit 300 W und 29 GB frei.
• LoRA auf einem 70B-Modell mit BF16-Basis. Zwei H200 NVL mit 2-Wege-Brücke, mit 72,2 GB je Karte über NVLink. Vier Karten der RTX PRO 6000 Server Edition funktionieren auch, mit 36,1 GB je Karte und langsameren Schritten über PCIe.
• Vollständiges Fine-Tuning eines 8B-Modells. Eine H200 NVL. Mit der RTX PRO 6000 verwenden Sie 8-Bit-Adam auf einer Karte oder FSDP auf zwei, mit 64,2 GB je Karte.
• Vollständiges Fine-Tuning von 32B- und 70B-Modellen. Acht H200 NVL: Ein 32B-Modell belegt 65,5 GB je Karte. Ein 70B-Modell belegt 141,1 GB je Karte, so viel wie die 141 GB der Karte, noch vor allen Aktivierungen; es braucht 8-Bit-Adam (88,2 GB je Karte nach der ZeRO-Zählung) oder das Auslagern des Optimierers in den Hauptspeicher, nach der Rechnung des ZeRO-Offload-Papers etwa 988 GB bei 14 Byte je Parameter.
• Viele kleine Experimente. MIG: vier Instanzen mit 24 GB auf jeder RTX PRO 6000, sieben mit 18 GB auf einer H200 NVL, jede für einen Job auf einer GPU.

Karte oder Server bei uns kaufen

Sie können dieses System bei uns kaufen: Unser Team dimensioniert die Konfiguration nach Ihrer Arbeitslast und Ihrem Budget und antwortet innerhalb eines Werktages. Wir liefern die RTX PRO 6000 in allen drei Editionen, die H200 NVL mit 2-Wege- und 4-Wege-NVLink-Brücken und die RTX PRO 5000 mit 48 und 72 GB, als Karten oder in nach Auftrag gebauten KI-Servern, vor der Lieferung montiert und getestet, mit einem EU-Vertrag und einer Rechnung und Herstellergarantie auf jede Komponente. Mengen und Lieferzeit bestätigen wir schriftlich mit dem Angebot. Wenn Sie auch die Trainingsplattform darauf brauchen: MLOps auf Kubernetes gehört zu unserem Service Private AI/ML, den unser Engineering-Partner Vixen.UNO umsetzt.

Für einen Fine-Tuning-Plan brauchen wir drei Angaben: die Basismodelle, die Methode für jedes davon und die Sequenzlänge im Training. Schicken Sie uns diese Angaben, und wir antworten mit Karte, Kartenzahl und einem schriftlichen Angebot.

FAQ