Beste Workstation-GPU für KI 2026: RTX PRO 6000, 5000, 4500, 4000 oder RTX 6000 Ada

Welche Workstation-Karte für welche KI-Arbeit

Stand Oktober 2026 ist die beste Workstation-GPU für KI im Unternehmen für die meisten Aufgaben die NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition: 96 GB GDDR7 mit 1.792 GB/s auf einer 300-W-Karte, bis zu vier je Workstation. Die RTX PRO 6000 Blackwell Workstation Edition mit 600 W ist die Wahl für eine oder zwei Karten, wenn Prompt-Verarbeitung oder Fine-Tuning am schnellsten laufen sollen, die RTX PRO 5000 72 GB für 70B-Modelle in 4 Bit und QLoRA mit 300 W, und die RTX PRO 4500 oder 4000 für Modelle bis etwa 14B Parameter neben CAD und Visualisierung. Die RTX 6000 Ada bleibt eine Option für bestehende Ada-Flotten und für vGPU auf einer Karte der Workstation-Klasse.

NVIDIAs Übersicht der professionellen Desktop-GPUs und Produktseite der RTX PRO 4000, gelesen am 24. Oktober 2026; Bandbreite der übrigen RTX-PRO-Karten aus NVIDIAs Datenblättern (FACTS); Datenblatt 25046 der RTX 6000 Ada, gelesen am 24. Oktober 2026.

Die RTX PRO 5500 lassen wir weg: Am 24. Oktober 2026 kennzeichnet NVIDIAs Produktseite ihre Daten noch als vorläufig. Unsere Seite zum Vergleich RTX PRO 5500 und RTX PRO 5000 72 GB verfolgt sie.

Die technischen Daten, die für KI zählen

Drei Werte bestimmen, was eine Karte mit Sprachmodellen leistet: der Speicher, der das größte Modell und die Zahl der Gespräche festlegt; die Bandbreite, die die Token pro Sekunde eines Gesprächs begrenzt; und die Tensor-Rate, die Prompt-Verarbeitung und Trainingstempo bestimmt.

NVIDIAs Datenblätter und Produktseiten; RTX PRO 4000 nach ihrem Datenblatt vom Juni 2026 (Dokument 5323450), gelesen am 24. Oktober 2026. Die AI TOPS der RTX-PRO-Karten gelten für FP4 mit Sparsity beim Boost-Takt; der Wert der RTX 6000 Ada gilt für FP8 mit Sparsity, weil Ada keine FP4-Tensor-Cores hat, die Werte sind also nicht direkt vergleichbar. „Nicht geprüft“ heißt, dass wir für diesen Wert keine Quelle geöffnet haben.

Max-Q und Workstation Edition haben denselben GB202-Chip und dieselben 96 GB; die Grenze von 300 W senkt die Tensor-Rate und lässt Speicher und Bandbreite unverändert. Ein Thread im Level1Techs-Forum vom 5. Dezember 2025 zeigt, wo das ins Gewicht fällt. Auf einer Workstation Edition, die mit nvidia-smi -pl 300 auf 300 W begrenzt wurde, fiel die Prompt-Verarbeitung in llama-bench mit Llama 3.3 70B in Q8_0 von 1.734,59 auf 906,64 Token pro Sekunde, die Erzeugung nur von 20,54 auf 19,29. Chat und Code-Vervollständigung hängen vor allem an der Erzeugung; lange Dokumente, RAG mit großem Kontext und Fine-Tuning hängen an Prompt-Verarbeitung und Tensor-Rate.

Die Bandbreite begrenzt das Tempo eines Gesprächs. Für Llama 3.3 70B in NVFP4, das je erzeugtem Token etwa 40,6 GB liest, liegt die Obergrenze nach unserer Rechnung bei etwa 44 Token pro Sekunde mit 1.792 GB/s und bei 33 mit den 1.344 GB/s der RTX PRO 5000; reale Werte liegen darunter. Die 960 GB/s der RTX 6000 Ada sind etwas mehr als die Hälfte der 1.792 GB/s von RTX PRO 6000 Max-Q und Workstation Edition.

Was in 24 bis 96 GB passt

Unsere Regel für Nutzer je Karte nimmt 90 Prozent des Speichers, den der Treiber meldet, zieht 3 GiB je Karte für CUDA-Graphen und Aktivierungen ab und dann die Gewichte; der Rest hält den KV-Cache. Die Tabelle zählt gleichzeitige Gespräche mit 8.192 Token und FP8-Cache. Für andere Karten als die RTX PRO 6000 mit 96 GB skalieren wir die 95,6 GiB, die der Treiber auf dieser Karte meldet, nach Kapazität; das ist eine Annahme.

Unsere Schätzung nach der Regel für Nutzer je Karte; Gewichte 15,2, 32,0 und 67,7 GiB in FP8 und 39,8 GiB für Llama 3.3 70B in NVFP4; Cache je 8K-Gespräch 0,625, 1,0 und 1,25 GiB in FP8, wie in unseren Leitfäden zur Dimensionierung.

Die Werte zählen Anfragen, die gleichzeitig laufen. Ein Team von zwanzig Entwicklern schickt selten mehr als einige Anfragen zugleich; eine RTX PRO 6000 bedient also eine Abteilung mit einem 70B-Modell, und eine 24-GB-Karte bedient eine Handvoll Nutzer mit einem 14B-Modell. Unser Leitfaden, wie viele Nutzer eine RTX PRO 6000 bedient, erklärt die Regel.

Fine-Tuning auf einer Workstation-Karte

Fine-Tuning braucht mehr Speicher als der Betrieb eines Modells, weil Gradienten und Optimiererzustände zu den Gewichten hinzukommen. Unser Leitfaden zum GPU-Speicher für Fine-Tuning zählt die Modellzustände je Parameter. LoRA hält das eingefrorene Basismodell in BF16 mit 2 Byte je Gewicht, QLoRA speichert dessen lineare Schichten in 4-Bit-NF4 mit etwa 0,516 Byte, und die trainierten Adapter-Gewichte belegen mit Gradienten und Adam-Zuständen je 16 Byte. Für Llama 3.3 70B mit 70,55 Milliarden Parametern und einem Adapter mit Rang 16 auf allen linearen Schichten belegt ein QLoRA-Lauf 42,8 GB Modellzustände, ein LoRA-Lauf auf Llama 3.1 8B 16,7 GB. Ausgehend von der Nennkapazität der Karte bleiben beim 70B-QLoRA nach unserer Rechnung etwa 53 GB auf einer RTX PRO 6000 frei (96 − 42,8), 29 GB auf einer RTX PRO 5000 72 GB und etwa 5 GB auf einer 48-GB-Karte. Das 8B-LoRA lässt etwa 15 GB auf einer RTX PRO 4500 mit 32 GB frei und etwa 7 GB auf einer RTX PRO 4000 mit 24 GB. Aktivierungen, CUDA-Kontext und Puffer müssen in den Rest passen; ob der Lauf passt, entscheiden also Batchgröße und Sequenzlänge.

Für Fine-Tuning am Arbeitsplatz ist die RTX PRO 6000 die Karte, die Workstation Edition mit 600 W, wenn eine oder zwei Karten reichen, und die Max-Q für vier. Unser Vergleich der besten GPU für Fine-Tuning 2026 behandelt auch die Serverkarten.

Wir bauen KI-Workstations mit einer bis vier RTX-PRO-Karten auf Plattformen mit Threadripper PRO oder Xeon W; nennen Sie uns Modelle, Nutzer und Aufgaben, und unser Team antwortet mit der Karte und dem Aufbau, die passen.

Mehrere Karten in einer Workstation

Keine Karte dieses Vergleichs hat NVLink; mehrere Karten tauschen Daten über PCIe aus, und zwei Karten mit 96 GB bleiben zwei getrennte Pools mit je 96 GB. Die Kartenzahl bestimmen Leistungsaufnahme und Kühlung.

• RTX PRO 6000 Max-Q. Laut NVIDIA ermöglicht sie „bis zu vier GPUs in einem einzigen System“, und HPs Spezifikationsseite zur Z8 Fury G6i nennt bis zu vier. Puget Systems begrenzt seine Desktops auf drei Max-Q mit einem Slot Abstand, und ein Aufbauprotokoll mit vier Karten im Level1Techs-Forum zeigte 91 °C an einer Karte zwischen zwei anderen. Vier Karten brauchen ein Gehäuse, das dafür ausgelegt ist.
• RTX PRO 6000 Workstation Edition. Ihr Flow-Through-Kühler bläst die Abluft in die nächste Karte, und die Hersteller sehen in ihren Angaben eine oder zwei je Tower vor.
• RTX PRO 5000 und 4500. Der Konfigurator der Dell Precision 7960 bietet beide Karten einzeln, zu zweit, zu dritt oder zu viert an (gelesen am 24. Oktober 2026).
• RTX PRO 4000. Die einzige Einzelslot-Karte hier, mit 145 W, für kompakte Workstations oder viele Karten in wenigen Slots.

Vier Max-Q ziehen 1,2 kW; mit Prozessor und dem übrigen System liegt die Schätzung auf unserer Seite zu vier Max-Q bei 1,8 bis 2 kW an der Steckdose, also innerhalb der 2,94 kW, die wir je 230-V-Stromkreis mit 16 A einplanen. Workstation-Netzteile erreichen ihre volle Leistung nur bei hoher Eingangsspannung: HP nennt für die Z8 Fury G6i 1.700 W ab 200 V. IEC-Kabel mit C13-Stecker sind für 10 A ausgelegt, mit C19 für 16 A; prüfen Sie also das Kabel ebenso wie den Stromkreis. Unsere Seiten zu vier RTX PRO 6000 Max-Q in einer Workstation und zwei RTX PRO 6000 Max-Q gehen auf Gehäuse und Wärme ein.

MIG und vGPU: was jede Karte teilen kann

Eine Workstation, die mehrere Personen nutzen, braucht einen Weg, eine Karte aufzuteilen. MIG teilt eine Karte in isolierte Instanzen mit eigenem Speicher; vGPU gibt virtuellen Maschinen unter einem Hypervisor einen Anteil an einer Karte. Hier unterscheiden sich die Karten deutlich.

NVIDIAs Liste der von vGPU unterstützten GPUs, zuletzt aktualisiert am 2. Oktober 2026, und NVIDIAs MIG-Leitfaden, Liste der unterstützten GPUs, zuletzt aktualisiert am 13. Oktober 2026, beide gelesen am 24. Oktober 2026; Datenblatt der RTX PRO 5000 72 GB; Datenblatt 25046 der RTX 6000 Ada; Lenovo Press LP2443 (26. Mai 2026) für die Workstation-Karte RTX PRO 4500.

MIG auf den RTX-PRO-Workstation-Karten hat Bedingungen. Es läuft unter Linux, braucht Treiber 575.51.03 oder neuer und ein aktuelles vBIOS, und die Karte muss mit NVIDIAs DisplayModeSelector in den Compute-Anzeigemodus geschaltet werden, was ihre Anzeigeausgänge abschaltet. Eine Workstation, deren Monitore an derselben Karte angeschlossen sind, kann darauf kein MIG nutzen; nach unserer Einschätzung löst eine kleine zweite Karte für die Anzeige, etwa eine RTX PRO 2000, das Problem. MIG selbst braucht keine Lizenz. Die Workstation-Karte RTX PRO 4500 ist ein Zweifelsfall: NVIDIAs MIG-Leitfaden führt eine „RTX PRO 4500 Blackwell“ mit zwei Instanzen zu 16 GB, ohne eine Edition zu nennen, während Lenovos Produktleitfaden zur RTX PRO 4500 Blackwell Workstation Edition vom 26. Mai 2026 für MIG „No support“ angibt. Planen Sie mit dieser Karte kein MIG ein; die RTX PRO 4500 Server Edition, deren Produktseite „Up to 2 MIG @ 16 GB“ nennt, gehört in einen Rack-Server. Laut NVIDIAs MIG-Leitfaden wird NCCL mit MIG derzeit nicht unterstützt; jede Instanz eignet sich also für einen eigenen Job.

Bei vGPU ist es anders. Es braucht einen Hypervisor und eine vGPU-Lizenz, die Workstation wird also zum Host für virtuelle Maschinen. Keine der RTX-PRO-6000-Workstation-Editionen steht auf NVIDIAs Liste; für diese Rolle führt NVIDIA die RTX PRO 6000 Server Edition ab Release 19.0, die in einen Rack-Server gehört. Unter den Workstation-Karten hat die RTX PRO 5000 72 GB Grafik-vGPU-Typen ab Release 20.2, nur auf Red Hat Enterprise Linux mit KVM, und die RTX 6000 Ada ab Release 15.2, wobei laut ihrem Datenblatt die Anzeigeausgänge inaktiv sind, solange vGPU läuft. Unser Artikel MIG und vGPU: wie viele VMs je Karte nennt die Profilzahlen, und unsere Seite zur RTX PRO 6000 Max-Q in virtuellen Maschinen behandelt Passthrough.

Die RTX 6000 Ada im Jahr 2026

Die RTX 6000 Ada hat 48 GB GDDR6 mit ECC und 960 GB/s, 18.176 CUDA-Kerne, 300 W auf einer Zwei-Slot-Karte von 4,4 mal 10,5 Zoll und PCIe 4.0. Ihre Tensor-Cores rechnen FP8, aber nicht FP4, sie hat kein MIG, und NVLink wird nicht unterstützt. Die Max-Q hat dieselben 300 W und dieselben Abmessungen bei doppeltem Speicher, dem 1,87-Fachen der Bandbreite und FP4; für eine neue KI-Workstation ist die Max-Q nach jedem KI-Wert dieses Artikels der bessere Kauf.

Für die Ada-Karte bleiben zwei Einsatzzwecke. Sie erweitert eine Flotte von Ada-Workstations, ohne eine zweite Hardware-Generation qualifizieren zu müssen, und unser Leitfaden zum Mischen von Ada- und Blackwell-GPUs zeigt, was sich ändert, wenn beide zusammenkommen. Und sie steht auf NVIDIAs vGPU-Liste, was für keine der RTX-PRO-6000-Workstation-Editionen gilt. Unser Vergleich von RTX PRO 6000 Blackwell und RTX 6000 Ada nennt die veröffentlichten Benchmarks.

Unsere Empfehlung je Rolle

• ML-Engineers, die LLM-Dienste bauen und testen. Eine oder zwei RTX PRO 6000 Max-Q, mit Platz für vier. 96 GB je Karte halten 70B-Modelle in FP8 und jedes kleinere Modell.
• Eine Person, die die schnellste Karte will. Eine RTX PRO 6000 Workstation Edition mit 600 W, für lange Prompts, große Dokumente und Fine-Tuning.
• QLoRA und 70B-Modelle in 4 Bit mit 300 W, oder vGPU auf RHEL KVM. Die RTX PRO 5000 72 GB.
• Teams mit Modellen bis 32B. Die RTX PRO 5000 48 GB, in zwei Instanzen mit 24 GB geteilt, wenn zwei Personen sie nutzen.
• RAG, Embeddings und Coding-Assistenten mit Modellen bis 14B, neben CAD. Die RTX PRO 4500, oder in kompakten Gehäusen die Einzelslot-Karte RTX PRO 4000; unser Leitfaden zum privaten Coding-Assistenten dimensioniert die Modelle.
• Bestehende Ada-Flotten und vGPU auf einer Workstation-Karte. Die RTX 6000 Ada.
• Ein gemeinsamer Dienst für das ganze Unternehmen. Ein Rack-Server mit der RTX PRO 6000 Server Edition, wie unser Vergleich von KI-Workstation und KI-Server erklärt.

Karte oder Workstation bei uns kaufen

Sie können dieses System bei uns kaufen: Unser Team dimensioniert die Konfiguration nach Ihrer Arbeitslast und Ihrem Budget und antwortet innerhalb eines Werktages. Wir liefern jede Karte dieses Vergleichs, darunter die RTX PRO 6000 in allen drei Editionen, die RTX PRO 5000 mit 48 und 72 GB und die RTX 6000 Ada, als Karten oder in Workstations, die wir nach Auftrag auf Plattformen mit Threadripper PRO oder Xeon W bauen, vor der Lieferung montiert und getestet, mit einem EU-Vertrag und einer Rechnung und Herstellergarantie auf jede Komponente. Mengen und Lieferzeit bestätigen wir schriftlich mit dem Angebot. Auf Anfrage installieren wir Betriebssystem, Treiber, CUDA und eine Container-Runtime.

Für ein Angebot brauchen wir die Modelle und Aufgaben, die Zahl der Personen, die die Workstation nutzen, ob die Karten Monitore ansteuern sollen, und den Stromanschluss am Arbeitsplatz. Schicken Sie uns diese Angaben, und wir antworten mit Karte, Kartenzahl und einem schriftlichen Angebot.

FAQ