Beste GPU für einen LLM-Server 2026: fünf NVIDIA-Serverkarten nach Modellgröße und Nutzern

Fünf Serverkarten für einen LLM-Server, Stand Oktober 2026

Für die meisten LLM-Server 2026 ist die NVIDIA RTX PRO 6000 Blackwell Server Edition der Ausgangspunkt: 96 GB halten ein 70B-Modell in FP8 oder gpt-oss-120b auf einer Karte, und ihre FP4-Tensor-Cores rechnen NVFP4-Modelle nativ. Wählen Sie die NVIDIA H200 NVL, wenn viele Nutzer gleichzeitig mit einem Modell der 70B-Klasse arbeiten, wenn eine Kopie eines Modells der 400B-Klasse auf vier Karten passen muss, und für Fine-Tuning. Wählen Sie die RTX PRO 4500 Blackwell Server Edition, die L40S oder die L4, wenn die Modelle 32B oder kleiner sind und der Server viele davon mit wenig Strom betreiben soll.

Wir vergleichen nur Serverkarten, die wir liefern, und der Vergleich stützt sich auf NVIDIAs Unterlagen und veröffentlichte Messungen, Stand Oktober 2026. Alle fünf sind passiv gekühlte PCIe-Karten für Rack-Server. Sie unterscheiden sich im Speicher, der das größte Modell festlegt, in der Bandbreite, die die Geschwindigkeit je Nutzer bestimmt, und in der Leistungsaufnahme, von der abhängt, wie viele in einen Rackplatz passen. Workstation-Karten behandelt unser Leitfaden zur besten Workstation-GPU für KI.

Produktseiten und Datenblätter von NVIDIA zu H200, RTX PRO 6000 Blackwell Server Edition, L40S, RTX PRO 4500 Blackwell Server Edition und L4, gelesen am 24. Oktober 2026. FP8 auf Ada (L40S, L4) und Hopper (H200 NVL); FP4-Tensor-Cores nur auf Blackwell.

Die Modellgröße entscheidet über die Karte

Unsere Regel für Nutzer je Karte nimmt 90 Prozent des Speichers, den der Treiber meldet, und zieht je Karte 3 GiB für CUDA-Kontext und Aktivierungen ab. Der Treiber meldet 95,6 GiB auf einer 96-GB-Karte und 140,4 GiB auf der H200 NVL; für die GDDR-Karten mit weniger Speicher rechnen wir den Wert der 96-GB-Karte im Verhältnis um, daraus ergibt sich der nutzbare Speicher in der Tabelle. Die Herleitung steht in unserem Leitfaden Wie viele Nutzer schafft eine RTX PRO 6000?.

Unsere Schätzung nach der Regel für Nutzer je Karte; nutzbarer Speicher 18,5 GiB auf der L4, 25,7 GiB auf der RTX PRO 4500 Server Edition, 40,0 GiB auf der L40S und 83,0 GiB auf der RTX PRO 6000 Server Edition. Gewichte aus den Checkpoints der Herausgeber und von NVIDIA auf Hugging Face, wie in unseren Modell-Leitfäden. Die H200 NVL mit 123,4 GiB nutzbarem Speicher hält jedes Modell der Tabelle und hat mehr Platz für den Cache.

Gegenüber der RTX PRO 6000 Server Edition bringt die H200 NVL je Karte 40 GiB mehr und dazu die NVLink-Brücke. Zwei per NVLink verbundene Karten halten Qwen3-235B-A22B in FP8 mit 219,8 GiB, vier halten Llama 4 Maverick in FP8 mit rund 388 GiB als eine Kopie in einer NVLink-Domäne. Auf der RTX PRO 6000 Server Edition braucht Qwen3-235B vier Karten über PCIe und Maverick acht. Auf der H200 NVL laufen NVFP4-Checkpoints nur als reine Gewichtskompression mit 16-Bit-Arithmetik, Modelle werden dort also in FP8 oder INT4 geplant, wie unser Leitfaden zu FP4-Modellen auf H200 NVL, L40S und Ada erklärt.

Nutzer je Karte nach unserer Regel

Ein Server wird nach den Anfragen ausgelegt, die in der Spitze gleichzeitig laufen, jede mit einem KV-Cache neben den Gewichten. Die Tabelle zählt Gespräche mit 8.192 Token und FP8-KV-Cache: je 0,5625 GiB bei Qwen3-8B, 0,625 GiB bei Qwen3-14B, 1,0 GiB bei Qwen3-32B und 1,25 GiB bei Llama 3.3 70B.

Unsere Schätzung, durch den Speicher begrenzt, keine Messwerte: (nutzbarer Speicher − Gewichte) ÷ Cache je Gespräch, abgerundet. Die H200 NVL hält 203, 173, 91 und 44 Gespräche mit Qwen3-8B, Qwen3-14B, Qwen3-32B in FP8 und Llama 3.3 70B in FP8.

Mit den Beispielwerten unseres Leitfadens Privater ChatGPT-Server: GPUs nach Firmengröße erzeugen 500 Beschäftigte in der Spitze rund 20 gleichzeitige Anfragen, 1.000 rund 40 und 2.000 rund 80. Für ein 70B-Modell bei 2.000 Beschäftigten sind das nach der Tabelle sieben Kopien auf Karten der RTX PRO 6000 Server Edition oder zwei auf H200 NVL; über mehrere Karten aufgeteilte Modelle halten mehr Gespräche, weil weniger Kopien weniger Gewichte speichern. Unsere Schwesterartikel zählen die Aufteilungen für vier RTX PRO 6000 oder vier H200 NVL und für zwölf RTX-PRO-Konfigurationen. Wir liefern alle fünf Karten und die Server dazu; senden Sie uns die Modelle, die Kontextlänge und die Zahl der Nutzer, und unser Team schlägt Karte und Anzahl mit den Zahlen je Karte vor.

Kontextlänge: wo der Cache ausgeht

Lange Kontexte verschieben die Grenze von den Gewichten zum Cache. Bei 32K Token braucht Llama 3.3 70B 5 GiB FP8-Cache je Gespräch; eine RTX PRO 6000 Server Edition hält neben den Gewichten also drei solche Gespräche und eine H200 NVL elf. gpt-oss-120b hält den vollen Kontext nur in der Hälfte seiner Schichten: Bei 32K braucht es 1,125 GiB 16-Bit-Cache, eine RTX PRO 6000 Server Edition hält also 19 Gespräche und eine H200 NVL 55.

Die kleineren Karten zeigen dieselbe Grenze in den Messungen. In StorageReviews Übersicht flachte die RTX PRO 4500 Server Edition mit Eingaben von 8.192 Token und Ausgaben von 1.024 Token ab acht Streams ab und erreichte mit Ministral 3 14B in FP8 bei 32 Streams 190 Ausgabe-Token pro Sekunde, hinter der L40S mit 230; die L4 blieb bei jedem Modell ab vier Streams flach, bei 34 bis 130 Token pro Sekunde. Die RTX PRO 6000 Workstation Edition erreichte 608 und die H200 NVL 1.038. Agenten, RAG über lange Dokumente und Coding-Assistenten gehören deshalb auf Karten mit 96 oder 141 GB, wie unser Leitfaden Long-Context-LLM-Hardware herleitet.

Geschwindigkeit je Nutzer und veröffentlichte Messungen

Für jedes erzeugte Token eines Nutzers liest ein dichtes Modell jedes Gewicht einmal; die Obergrenze für einen einzelnen Stream ist also die Bandbreite geteilt durch die Bytes der Gewichte. Nach unserer Rechnung erreicht Qwen3-14B in FP8, rund 16,3 GB, höchstens etwa 18 Token pro Sekunde auf der L4, 49 auf der RTX PRO 4500 Server Edition, 53 auf der L40S, 98 auf der RTX PRO 6000 Server Edition und 294 auf der H200 NVL. Llama 3.3 70B in FP8, bei dem je Token 70,6 GB gelesen werden, kommt auf rund 23 auf der RTX PRO 6000 Server Edition und 68 auf der H200 NVL. Reale Werte liegen unter diesen Obergrenzen.

StorageReview hat alle fünf Karten mit derselben Software gemessen, dem NGC-Container vLLM 26.08 mit vLLM 0.27.1 und Treiber 595.71.05, und die Ergebnisse am 14. Oktober 2026 veröffentlicht. Die H200 NVL lief mit 450 W, dem Maximum ihres Steckplatzes im Dell PowerEdge R770, und als RTX PRO 6000 diente eine Workstation Edition mit 600 W, dieselbe GPU mit 1.792 GB/s.

StorageReview, Best Enterprise GPUs, veröffentlicht am 14. Oktober 2026, geändert am 20. Oktober 2026: Ausgabe-Token pro Sekunde bei 32 gleichzeitigen Streams; Ministral 3 14B Instruct in FP8 mit 512/512 (Chat) und 8.192/1.024 (8K); Qwen3.8-27B in NVFP4. Je Nennwatt ist unsere Division des Chat-Ergebnisses durch die Leistung im Test, keine gemessene Effizienz.

Die Reihenfolge folgt beim FP8-Modell der Bandbreite und beim NVFP4-Modell der FP4-Unterstützung, bei dem die Hopper-Karte hinter die RTX PRO 6000 Workstation Edition zurückfällt. StorageReview merkt an, die H200 NVL „is rated to 600W, and we have not run it there“; ihre Werte sind also eine Untergrenze. Unter den sparsamen Karten liefert die RTX PRO 4500 Server Edition bei kurzem Kontext die meisten Token je Nennwatt.

MLPerf® Inference: Datacenter v5.0 und v6.0, Closed Division, Kategorie Available, Llama 2 70B (llama2-70b-99), Szenario Offline, Einträge 5.0-0018, 5.0-0017, 6.0-0022 und 6.0-0021, abgerufen von mlcommons.org am 24. September 2026. Ergebnisse von der MLCommons Association verifiziert. Je Karte ist unsere Division des Systemergebnisses, keine MLPerf-Metrik; vergleichen Sie Einträge innerhalb einer Runde. The MLPerf name and logo are registered and unregistered trademarks of MLCommons Association in the United States and other countries. All rights reserved. Unauthorized use strictly prohibited. See www.mlcommons.org for more information.

Innerhalb jeder Runde liefen beide Karten im selben Dell-Gehäuse: In v5.0 lieferte die H200 NVL mit Llama 2 70B je Karte rund das Neunfache der L40S, in v6.0 rund 18 Prozent mehr als die RTX PRO 6000 Server Edition. MLPerf® Inference v6.1 enthält keinen Eintrag mit H200 NVL, L4 oder L40S; ein vergleichbares Sprachmodell-Ergebnis für die L4 haben wir in den letzten Runden nicht gefunden. Unsere Benchmarks der RTX PRO 6000 listen die Ergebnisse der Server Edition aus v6.1 auf.

Stromverbrauch je Karte und je Server

Unsere Schätzung: Leistungsaufnahme laut NVIDIA, plus zwei Prozessoren mit AMDs Standard-TDP, je 280 W (EPYC 9355) bei L4, RTX PRO 4500 Server Edition und L40S und je 360 W (EPYC 9555 mit 64 Kernen) bei den 600-W-Karten, plus 15 Prozent für Arbeitsspeicher, Laufwerke, Lüfter und Wandlungsverluste. Ein Anschluss: 230 V × 16 A = 3,68 kW, mit 80 Prozent eingeplant, 2,94 kW.

Für die größten Server ist unsere Schätzung eine Untergrenze. Dells Datenblatt zur AI Factory nennt für seine Knoten mit acht RTX PRO 6000 Server Edition rund 8 kW unter Volllast, mehr als unsere Schätzung; den Anschluss planen wir deshalb nach dem Wert des Herstellers. Acht Karten mit 600 W brauchen am Rackplatz Drehstrom oder mehrere Zuleitungen und redundante Netzteile an einer A- und einer B-Einspeisung, denn 6,3 kW liegen über den 5,89 kW, die wir an einem 32-A-Anschluss einplanen; schon ein Server mit vier Karten bei 600 W, rund 3,4 kW, liegt über einem 16-A-Anschluss. Die RTX PRO 6000 Server Edition und die H200 NVL lassen sich beide begrenzen, und StorageReview fand mit 450 W 2 bis 5 Prozent Verlust bei kurzem Kontext, gemessen an der RTX PRO 6000 Workstation Edition, die dort an die Stelle der Server Edition trat. Unser Leitfaden GPU-Server: Strom für 2, 4, 8 GPUs an 16 A, 32 A und Drehstrom behandelt Anschlüsse und Netzteile.

MIG, vGPU und Lizenzen

Für mehrere Teams auf einem Server teilt MIG eine Karte in isolierte Instanzen: bis zu sieben Instanzen 1g.18gb auf der H200 NVL, vier zu 24 GB auf der RTX PRO 6000 Server Edition und zwei zu 16 GB auf der RTX PRO 4500 Server Edition, nach NVIDIAs MIG-Leitfaden. L40S und L4 haben kein MIG und werden in Zeitscheiben geteilt. NVIDIAs vGPU-Liste führt die L4 ab Release 15.2, die L40S ab 16.1, die RTX PRO 6000 Server Edition ab 19.0 und die RTX PRO 4500 Server Edition ab 20.0; die H200 NVL hat nur Compute-vGPU über NVIDIA AI Enterprise. Jede H200 NVL enthält ein Fünfjahres-Abonnement von NVIDIA AI Enterprise; für die anderen vier Karten wird es je GPU lizenziert, wo Ihr Software-Stack es braucht, während vLLM und andere Open-Source-Engines auch ohne diese Lizenz laufen. Unser Leitfaden MIG vs. vGPU: VMs pro RTX PRO 6000, 5000 und L40S zählt die Instanzen je Karte.

Welche Karte für welchen LLM-Server

• Unternehmensassistent mit einem Modell der 70B- oder 120B-Klasse, bis zu einigen hundert gleichzeitigen Anfragen: RTX PRO 6000 Server Edition, zwei oder vier je Server. Sie rechnet NVFP4 nativ, lässt sich in vier MIG-Instanzen teilen und hat Grafik-vGPU für gemischte Hosts.
• Interaktiver Chat für Tausende Beschäftigte, lange Kontexte, Modelle von 235B bis 400B: H200 NVL, vier je NVLink-Domäne, mit dreifacher Bandbreite je Karte und enthaltenem AI-Enterprise-Abonnement. Sie ist auch die Karte für Fine-Tuning über mehrere Karten und für FP64.
• Viele kleine Modelle, Embeddings und Reranker, dichte Racks an einem 16-A-Anschluss: RTX PRO 4500 Server Edition, bis zu acht in einem 3U- oder 4U-Server, für den der Hersteller sie freigibt, für Modelle bis 14B in FP8 oder 32B in NVFP4.
• Ein 32B-Modell in FP8 oder eine vorhandene L40S-Plattform: L40S mit 48 GB und PCIe 4.0. Für neue Server mit FP4-Modellen sind die Blackwell-Karten die neuere Wahl.
• Niederlassungen, Edge-Server und Modelle bis etwa 8B: L4 mit 72 W in einem Low-Profile-Steckplatz, mit einigen gleichzeitigen Gesprächen je Karte.

Den kleinsten Einstieg behandelt unser Leitfaden zum ersten KI-Projekt, und ob sich ein eigener Server lohnt, der Vergleich Privates LLM vs. Cloud-API. Wo zwei Karten gleich gut passen, fordern Sie beide Konfigurationen bei uns an, und wir bieten sie nebeneinander an.

Wenn ein Server nicht reicht

Acht H200 NVL in zwei NVLink-Domänen, unser Trainingsknoten unter KI-Server, halten DeepSeek-V3.2 in FP8 und bieten 1.128 GB HBM3e für Fine-Tuning, wie unser Artikel zum Server mit 8× H200 NVL zeigt. Acht RTX PRO 6000 Server Edition bieten 768 GB über PCIe für Llama 4 Maverick und viele Modelle nebeneinander. Modelle, die eine NVLink-Domäne mit mehr als vier Karten brauchen, gehören auf den DGX B300, den wir je Projekt liefern; wir prüfen Preis und Verfügbarkeit für Ihr Projekt, wie unsere DGX-B300-Seite beschreibt.

Was wir liefern

Sie können dieses System bei uns kaufen: Unser Team legt die Konfiguration auf Ihre Arbeitslast und Ihr Budget aus und antwortet innerhalb eines Werktages. Wir liefern alle fünf Karten für Server, die Sie schon betreiben, und bauen KI-Server auf Bestellung mit zwei bis acht davon, vor der Lieferung montiert und getestet, mit einem EU-Vertrag und einer EU-Rechnung und mit Herstellergarantie auf jede Komponente. Mengen und Lieferzeit bestätigen wir schriftlich mit dem Angebot. Modelle, RAG und die Plattform darüber sind unser Service Private AI/ML, die Karten stehen auf unserer GPU-Seite.

FAQ