GPU-Server für LLMs in Europa kaufen: 2, 4 oder 8 GPUs, was sie leisten und wie Sie wählen

GPU-Server für LLMs mit 2, 4 oder 8 GPUs

Einen GPU-Server für große Sprachmodelle können Sie bei uns mit zwei, vier oder acht GPUs kaufen, auf Bestellung gebaut und in die gesamte EU geliefert. Für die meisten Unternehmen ist die passende Karte die NVIDIA RTX PRO 6000 Blackwell Server Edition mit 96 GB je Karte: Zwei Karten betreiben ein 70B-Modell für einen Pilotbetrieb oder eine Abteilung, vier betreiben mehrere Modelle in Produktion, und acht halten die größten offenen Modelle. Für Fine-Tuning und Training, oder wenn jeder Nutzer einen schnellen Token-Strom aus einem 70B-Modell braucht, ist die NVIDIA H200 NVL mit NVLink-Brücken die stärkere Wahl.

Diese Seite gibt den Überblick über unsere GPU-Server für LLMs. Sie nennt unsere Referenz­konfigurationen und ihre Varianten, zeigt nach einer einheitlichen Regel, was jede leistet, und verlinkt für jede Konfiguration eine Kaufseite und eine technische Seite. Unser Leitfaden, wo Sie einen KI-Server in Europa beziehen, vergleicht Bezugswege und Garantie, und KI-Server: Anforderungen vor dem Angebot festlegen geht die Spezifikation Zeile für Zeile durch; hier ist der Ausgangspunkt die Zahl der Karten.

Drei Referenz­konfigurationen und ihre Varianten

Unsere KI-Server gehen von drei Aufbauten aus. Arbeitsspeicher und Prozessorkerne folgen NVIDIAs Konfigurations­leitfaden für NVIDIA-Certified Systems, aktualisiert am 30. September 2026: mindestens zwei Sockel, mindestens sechs physische Kerne je GPU und mindestens doppelt so viel Arbeitsspeicher wie GPU-Speicher insgesamt. Mehr Speicher oder Kerne gibt es auf Wunsch.

Unsere Seite zu KI-Servern; Speicher und Kerne nach NVIDIAs Konfigurations­leitfaden für NVIDIA-Certified Systems, gelesen am 24. Oktober 2026.

Zwischen diesen drei Aufbauten und darüber hinaus bauen wir die folgenden Varianten nach denselben Plattformregeln.

NVIDIA-Produktseiten der RTX PRO 4500 Blackwell Server Edition und der H200 NVL; Mindestwerte des Hosts nach NVIDIAs Konfigurations­leitfaden (sechs Kerne je GPU, Arbeitsspeicher doppelt so groß wie der GPU-Speicher).

Die RTX PRO 4500 Blackwell Server Edition ist eine passiv gekühlte Einzelslot-Karte mit 32 GB GDDR7, 800 GB/s und 165 W, und NVIDIA nennt bis zu zwei MIG-Instanzen mit 16 GB je Karte. Supermicro listet acht davon in seinen RTX-PRO-Servern mit 3U bis 5U. Die Karte passt zu einem Server, der viele kleine Modelle nebeneinander betreibt, etwa acht Kopien eines 14B-Modells in FP8, oder zu virtuellen Desktops, denn sie steht ab Release 20.0 auf NVIDIAs vGPU-Liste. Die H200 NVL hat 141 GB HBM3e mit 4,8 TB/s und bis zu 600 W, und NVIDIAs Brücken verbinden zwei oder vier Karten mit 900 GB/s je GPU, gegenüber 128 GB/s bei PCIe Gen5. Die RTX PRO 6000 Server Edition hat kein NVLink; ihre Karten tauschen Daten über PCIe aus.

Für ein Rack empfehlen wir im Dauerbetrieb die Server Edition der RTX PRO 6000. Die RTX PRO 6000 Max-Q ist die Workstation-Karte, eine 300-W-Karte mit Radiallüfter, die NVIDIA mit bis zu vier Karten je Workstation unterstützt; in einen Rack-Server gehört sie nur in ein Gehäuse, dessen Hersteller sie listet, und viele Hersteller listen sie für ihre GPU-Server nicht.

Was jede Konfiguration leistet

Unsere Regel für Nutzer je Karte nimmt 90 Prozent des Speichers, den der Treiber meldet, zieht 3 GiB je Karte für die Engine und dann die Gewichte ab; der Rest hält den KV-Cache, den Speicher, den jedes Gespräch auf der GPU belegt. Der Treiber meldet 95,6 GiB auf einer RTX PRO 6000 mit 96 GB und 140,4 GiB auf einer H200 NVL mit 141 GB, eine Karte hält also 83,0 oder 123,4 GiB. Die Tabelle zählt Gespräche, die gleichzeitig ihre volle Kontextlänge belegen.

Unsere Schätzungen nach der Regel für Nutzer je Karte. Llama 3.3 70B: NVIDIAs FP8-Checkpoint, 67,7 GiB, mit FP8-KV-Cache von 1,25 GiB je Gespräch mit 8.192 Token. gpt-oss-120b: 60,8 GiB, 16-Bit-Cache von 1,125 GiB je Gespräch mit 32.768 Token. Die RTX PRO 4500 Server Edition ist von 95,6 GiB je 96 GB auf 25,7 GiB je Karte umgerechnet.

Ein Rechenbeispiel: Ein TP=2-Paar aus zwei RTX PRO 6000 Server Edition hält 2 × 83,04 = 166,1 GiB; abzüglich 67,7 GiB Gewichte von Llama 3.3 70B bleiben 98,4 GiB, und 98,4 ÷ 1,25 ergibt 78 Gespräche mit 8K. Dasselbe Modell auf einer einzelnen Karte lässt 15,3 GiB übrig, 12 Gespräche; deshalb läuft ein 70B-Modell auf der RTX PRO 6000 Server Edition meist in Paaren. Auf einer H200 NVL bleiben 55,7 GiB und 44 Gespräche, dort läuft es als eine Kopie je Karte.

Bei größeren Modellen bestimmt die Modellgröße die Kartenzahl. Acht Karten der Server Edition halten Llama 4 Maverick in FP8 mit etwa 417 GB. Ein Checkpoint von etwa 690 GB wie DeepSeek-V3.2 ließe auf acht Karten der Server Edition nach unserer Rechnung etwa 22 GiB Cache übrig, zu wenig für den Betrieb; er gehört auf acht H200 NVL. Unsere LLM-Hardware-Anforderungen je Modell nennen die Größen, und jede unten verlinkte Konfigurationsseite hat ihre eigene Modelltabelle.

Diese Werte sind gleichzeitig laufende Anfragen, also weit weniger als die Zahl der Beschäftigten, die einen Dienst nutzen. Unser Leitfaden zum privaten ChatGPT-Server nach Firmengröße rechnet die Mitarbeiterzahl in laufende Anfragen um, und wie viele Nutzer eine RTX PRO 6000 schafft leitet die Regel her. Wir liefern jede Konfiguration aus den Tabellen; schicken Sie uns die Modelle und die erwarteten Anfragen in der Spitzenstunde, und unser Team antwortet mit einer Konfiguration und den Werten für Ihr Modell.

Die Auswahl in fünf Fragen

Fünf Antworten entscheiden, welcher dieser Server passt, in dieser Reihenfolge.

1. Welches Modell, in welcher Genauigkeit? In FP8 belegen die Gewichte etwa ein Byte je Parameter, in NVFP4 etwa 0,56 Byte, in BF16 zwei. Ein Modell, das mit Platz für seinen Cache auf eine Karte passt, läuft als eine Kopie je Karte; ein größeres wird über zwei, vier oder acht Karten verteilt. Unser Rechenbeispiel für einen GPU-Server mit 70B-Modell geht einen Fall durch.
2. Wie viele Anfragen laufen in der Spitze gleichzeitig? Die Tabelle oben nennt die Kapazität je Aufteilung. Liegt die Spitze unter der Kapazität eines Paares, reichen zwei Karten; mehrere Modelle nebeneinander, etwa ein Assistent, ein Coding-Modell und Spracherkennung, sprechen für vier Karten.
3. Muss der Dienst den Ausfall eines Servers überstehen? Ein Server mit acht Karten ist ein einzelner Ausfallpunkt. Zwei Server mit je vier Karten, von denen jeder die ganze Spitze trägt, halten den Dienst bei einem Fehler oder einem Update am Laufen, wie unser Vergleich ein 8-GPU-Server oder zwei 4-GPU-Server erklärt.
4. Nur Inferenz oder auch Fine-Tuning und Training? Training tauscht bei jedem Schritt Gradienten zwischen den Karten aus, was NVLink bei der H200 NVL mit 900 GB/s je GPU überträgt; die RTX-PRO-Karten nutzen PCIe. Unser Leitfaden zum Fine-Tuning-Server vergleicht 2, 4 und 8 GPUs für Modelle von 8B bis 70B.
5. Was liefert der Rackplatz? Ein Anschluss mit 230 V und 16 A je Seite trägt einen Server mit zwei Karten oder vier Karten mit 450-W-Begrenzung; vier Karten mit 600 W brauchen 32 A oder Drehstrom, acht Karten Drehstrom. Der Abschnitt zum Strom unten nennt die Werte.

Sind virtuelle Maschinen geplant, kommt eine sechste Prüfung hinzu: Die RTX PRO 6000 Server Edition steht ab Release 19.0 auf NVIDIAs vGPU-Liste und die RTX PRO 4500 Server Edition ab 20.0, während die H200 NVL Compute-vGPU-Profile nur über NVIDIA AI Enterprise nutzt. Die Wahl zwischen beiden Kartenfamilien beschreibt unser Vergleich RTX PRO 6000 und H200 NVL, nach Kartenzahl unser Vergleich RTX PRO 6000 Server Edition mit 2, 4 oder 8 GPUs.

Veröffentlichte MLPerf®-Ergebnisse nach Kartenzahl

MLPerf® Inference v6.0 enthält Ergebnisse für Llama 2 70B mit zwei, vier und acht Karten der RTX PRO 6000 Server Edition und mit acht H200 NVL; sie zeigen, wie der Durchsatz mit der Kartenzahl wächst.

MLPerf® Inference: Datacenter v6.0, Closed Division, Kategorie Available, Llama 2 70B (llama2-70b-99), Szenario Offline, Einträge 6.0-0052, 6.0-0054, 6.0-0047 und 6.0-0021, abgerufen von mlcommons.org am 24. September 2026. Ergebnisse von der MLCommons Association verifiziert. Je Karte ist unsere Division des Systemergebnisses, keine MLPerf-Metrik. The MLPerf name and logo are registered and unregistered trademarks of MLCommons Association in the United States and other countries. All rights reserved. Unauthorized use strictly prohibited. See www.mlcommons.org for more information.

Das Szenario Offline misst den Durchsatz, wenn alle Anfragen auf einmal vorliegen, den günstigsten Fall für einen Batch-Job. In der neueren Runde, MLPerf® Inference: Datacenter v6.1, Closed Division, erreichte HPEs ProLiant Compute DL380a Gen12 mit acht RTX PRO 6000 Server Edition 14.581,7 Token pro Sekunde mit gpt-oss-120b im Szenario Server, in dem Anfragen unter einer Latenzgrenze eintreffen, Eintrag 6.1-0050, abgerufen von mlcommons.org am 24. Oktober 2026, Ergebnis von der MLCommons Association verifiziert. Unsere Benchmarks der RTX PRO 6000 und Benchmarks der H200 NVL ergänzen die anderen Szenarien.

Strom und Raum je Kartenzahl

Nach unserer Schätzung zieht ein Server die Leistung seiner Karten und zweier Prozessoren, dazu 15 Prozent für Arbeitsspeicher, Laufwerke, Netzwerkkarten, Lüfter und Wandlungsverluste. Eine Messung am gelieferten System bestätigt den Wert.

Unsere Schätzung: Kartenleistung laut NVIDIA (RTX PRO 6000 Server Edition und H200 NVL bis 600 W, RTX PRO 4500 Server Edition 165 W); zwei Prozessoren mit AMDs Standard-TDP: EPYC 9135 mit je 200 W bei zwei Karten, EPYC 9355 mit je 280 W bei vier Karten und bei acht RTX PRO 4500 Server Edition, EPYC 9555 mit 64 Kernen und je 360 W bei acht 600-W-Karten; zuzüglich 15 Prozent. Anschlüsse mit 80 Prozent geplant: 2,94 kW bei 230 V und 16 A, 5,89 kW bei 32 A, 8,87 kW bei 400 V Drehstrom mit 16 A.

Dells Datenblatt zur AI Factory nennt für seine Knoten mit acht RTX PRO 6000 Server Edition etwa 8 kW unter Volllast, mehr als unsere Schätzung; wir planen einen Platz für acht Karten deshalb von Anfang an mit Drehstrom. Bei redundanten Netzteilen an A- und B-Einspeisung muss jede Seite den ganzen Server tragen. Jedes Kilowatt wird zu Wärme: Etwa 6,3 kW brauchen nach den 160 CFM je kW aus unserem Leitfaden zu Strom und Kühlung im GPU-Rack rund 1.000 CFM Luft bei 11 °C Erwärmung. Jeder dieser Server gehört in einen Serverraum oder ein Rechenzentrum; unsere Checkliste, einen Serverraum für einen GPU-Server vorzubereiten, nennt die Prüfpunkte.

Software bei Lieferung

Auf Wunsch kommt der Server mit installiertem Betriebssystem, NVIDIA-Treiber, CUDA und Container-Runtime, sodass Ihr Team am ersten Tag eine Inferenz-Engine wie vLLM oder SGLang starten kann. Die RTX PRO 6000 Server Edition braucht laut NVIDIAs Product Brief SP-12355-001 den Linux-Treiber R575 oder neuer und auf x86 CUDA 12.9 oder neuer. Stand Oktober 2026 ist R580 NVIDIAs Zweig mit Langzeitsupport bis Juni 2028, und NVIDIAs Sicherheitsbulletin vom 30. September 2026 nennt 580.178.04 und 595.91.07 als Treiber mit den Korrekturen; unser Artikel zu NVIDIA-Treiberzweigen und CUDA-Versionen erklärt die Wahl.

Open-Source-Engines auf Bare Metal brauchen keine NVIDIA-Lizenz. NVIDIA AI Enterprise, je GPU lizenziert, ist für NIM und andere Software von NVIDIA AI Enterprise sowie für Compute-vGPU-Profile nötig und steht auf derselben Rechnung wie die Hardware. Jede H200 NVL enthält ein Abonnement für NVIDIA AI Enterprise über fünf Jahre; laut NVIDIAs Lizenzleitfaden vom 2. September 2026 beginnt es 90 Tage nach dem Datum, an dem die Karte an den Serverhersteller geht. Modelle, RAG und die Plattform darüber sind unser Service Private AI/ML.

So läuft die Bestellung bei uns in der EU

Die Schritte sind dieselben für einen Server oder mehrere.

1. Sie beschreiben die Arbeitslast: Modelle, Nutzer, Daten, Rackplatz und Zeitplan. Die Auslegung ist kostenlos.
2. Wir schlagen eine Konfiguration vor und prüfen, ob Karten, Gehäuse, Netzteile und Kühlung zu Ihrem Rack und Anschluss passen.
3. Sie erhalten innerhalb eines Werktages ein schriftliches Angebot mit Preis, Lieferzeit und Garantiebedingungen je Komponente. Stückzahlen und Lieferzeit werden mit dem Angebot schriftlich bestätigt.
4. Sie bestellen mit einem EU-Vertrag und erhalten eine EU-Rechnung von Eurokommerz in Wien; NVIDIA-Lizenzen sind Positionen auf derselben Rechnung.
5. Der Server wird vor der Lieferung montiert und getestet.
6. Wir liefern in die gesamte EU, auf Wunsch mit Inbetriebnahme vor Ort; andere Ziele auf Anfrage über unseren Logistikpartner.
7. Jede Komponente hat die Herstellergarantie, abgewickelt über uns; DOA-Geräte werden ersetzt, und für die Montage stehen wir selbst ein.

Wir bauen auch in Ihr eigenes Gehäuse oder mit Teilen, die Sie schon besitzen, nach einer Prüfung von Plattform, Strom und Kühlung. Um Angebote mehrerer Lieferanten Position für Position zu vergleichen, nutzen Sie unseren Leitfaden zum Vergleich von GPU-Server-Angeboten.

Was wir für ein Angebot brauchen

Eine kurze Beschreibung genügt; mit diesen Punkten können wir schon in der ersten Antwort eine genaue Konfiguration anbieten.

• Die geplanten Modelle mit Genauigkeit und der Kontextlänge, die Sie freigeben
• Gleichzeitige Anfragen in der Spitze, oder die Zahl der Nutzer und wie sie arbeiten
• Weitere Lasten auf demselben Server: Embedding und Reranking für RAG, Spracherkennung, Fine-Tuning, virtuelle Maschinen oder MIG
• Ob der Dienst den Ausfall eines Servers überstehen muss
• Der Rackplatz: freie Höheneinheiten, Art des Anschlusses, A/B-Einspeisung, PDU-Steckplätze und Zulufttemperatur
• Die Software-Plattform (Bare Metal, Kubernetes oder vSphere), Lieferort und Rechnungsempfänger

Beschreiben Sie diese Punkte im Formular unten, und unser Team antwortet innerhalb eines Werktages mit einer Konfiguration und einem schriftlichen Angebot.

Kaufseiten und technische Seiten je Konfiguration

Zu jeder Serverkonfiguration gibt es eine Kaufseite mit Stückliste, Varianten und Bestellablauf und eine technische Seite mit Modellen, Nutzern und Strom.

Für ein Team, das die GPUs am Arbeitsplatz oder im Labor haben möchte, decken die Workstation-Seiten zwei bis vier Karten ab.

Was wir liefern

Sie können dieses System bei uns kaufen: Unser Team legt die Konfiguration nach Ihrer Arbeitslast und Ihrem Budget aus und antwortet innerhalb eines Werktages. Wir bauen GPU-Server auf Bestellung mit zwei bis acht Karten der RTX PRO 6000 Server Edition, der RTX PRO 4500 Server Edition oder der H200 NVL, vor der Lieferung montiert und getestet, mit Herstellergarantie auf jede Komponente, abgewickelt über uns, und liefern die GPUs auch einzeln für Server, die Sie schon betreiben. Lizenzen für NVIDIA AI Enterprise und vGPU kommen mit demselben EU-Vertrag und derselben Rechnung. Unser Engineering-Partner Vixen.UNO setzt Modelle, RAG und die Plattform darüber als unseren Service Private AI/ML auf; nennen Sie uns die geplanten Modelle und die Zahl der Nutzer, und wir legen Server und Plattform zusammen aus.

FAQ