2× NVIDIA RTX PRO 6000 Blackwell Server Edition in einem Server: Modelle, Nutzer und Strom

Was zwei Karten der Server Edition einem Server bringen

Ein Server mit zwei NVIDIA RTX PRO 6000 Blackwell Server Edition hat 192 GB GPU-Speicher, von dem nach unserer Regel für Nutzer je Karte 166,1 GiB Modellgewichte und KV-Cache aufnehmen. Darauf läuft Llama 3.3 70B in FP8 mit bis zu 78 Gesprächen zu 8K als ein Tensor-Parallel-Paar, gpt-oss-120b als zwei unabhängige Kopien oder ein mittelgroßes Modell neben einer RAG-Pipeline. Der ganze Server braucht nach unserer Schätzung rund 1,8 kW, die ein 230-V-Anschluss mit 16 A trägt.

Die 192 GB verteilen sich auf zwei Karten mit je 96 GB eigenem Speicher. NVIDIAs Product Brief zur Server Edition führt NVLink als „Not supported“, die beiden Karten tauschen Daten also über ihre PCIe-Gen5-x16-Anbindung aus. Die Karte ist passiv gekühlt, bezieht ihre Luft von den Lüftern des Servers und läuft mit bis zu 600 W oder im begrenzten Leistungsmodus mit 450 W.

Produktseite und Product Brief SP-12355-001_v02 (Juni 2025) von NVIDIA zur RTX PRO 6000 Blackwell Server Edition, gelesen am 24. Oktober 2026; 95,6 GiB sind die 97.887 MiB, die nvidia-smi meldet.

Unsere Regel für Nutzer je Karte nimmt 90 Prozent des Speichers, den der Treiber meldet, und zieht je Karte 3 GiB für CUDA Graphs und Aktivierungen ab: 0,9 × 95,6 − 3 = 83,04 GiB je Karte. Was nach den Gewichten bleibt, ist KV-Cache, ein Anteil je laufendem Gespräch. Die Herleitung steht in unserem Leitfaden, wie viele Nutzer eine RTX PRO 6000 bedient.

NVIDIA hat seine RTX PRO Server am 11. August 2025 in Ausführungen für „two, four or eight“ RTX PRO 6000 Blackwell GPUs angekündigt, darunter 2U-Server für den breiten Einsatz wie Dells PowerEdge R7725 mit zwei Karten. Zwei ist auch die kleinste GPU-Zahl in NVIDIAs Konfigurations­leitfaden für NVIDIA-Certified Systems, und der Server mit zwei Karten ist die Einstiegskonfiguration unter unseren KI-Servern.

Modelle für 166 GiB, als zwei Kopien oder ein Paar

Auf zwei Karten lässt sich ein Modell auf zwei Arten verteilen. Zwei Kopien, eine je Karte, halten die Karten unabhängig: Im Betrieb geht nichts über PCIe, und eine ausgefallene Karte nimmt nur die Hälfte der Kapazität mit. Eine Kopie, die per Tensor-Parallelismus über beide Karten verteilt ist (TP=2), speichert die Gewichte nur einmal und lässt deutlich mehr Speicher für Gespräche.

Unsere Schätzung nach der Regel für Nutzer je Karte: gleichzeitige Gespräche mit je vollem Kontext von 32.768 Token, 16-Bit-KV-Cache, sofern nicht anders angegeben. Gewichte aus den Safetensors-Dateien auf Hugging Face, gelesen am 24. Oktober 2026. Cache je Gespräch: 2,14 GiB Qwen3.8-27B, 1,125 GiB gpt-oss-120b, 5 GiB Llama 3.3 70B mit FP8-Cache.

Das Paar mit gpt-oss-120b behält 2 × 83,04 − 60,8 = 105,3 GiB für den Cache, bei 1,125 GiB je Gespräch mit 32K sind das 93. DeepSeek-V4-Flash-0731, ein Checkpoint mit 167 GB (155,5 GiB), passt rechnerisch, lässt aber nur rund 5,3 GiB je Karte für seinen Cache frei, der auf jeder Karte vollständig liegt. Die veröffentlichten Läufe, die wir gefunden haben, nutzen vier Karten, und wir planen das Modell auf vier. Qwen3-235B-A22B in FP8 (219,8 GiB) und Llama 4 Maverick passen nicht auf zwei Karten, wie unsere LLM-Hardware­anforderungen nach Modell zeigen.

Gespräche je Modell und die Belegschaft dahinter

Llama 3.3 70B nennen die meisten Käufer zuerst; die Tabelle zeigt es daher mit 8K, dem Kontext eines typischen Chats. NVIDIAs FP8-Checkpoint hat 72,7 GB, also 67,7 GiB, und jedes Gespräch mit 8K belegt 2,5 GiB Cache in 16 Bit oder 1,25 GiB in FP8.

Unsere Schätzung nach der Regel für Nutzer je Karte, Gespräche mit 8.192 Token in voller Länge; Gewichte 67,7 GiB in FP8 und 39,8 GiB in NVFP4, NVIDIAs Checkpoints mit 72,7 und 42,7 GB.

Beim Paar bleiben 166,08 − 67,7 = 98,4 GiB, und 98,4 ÷ 2,5 ergibt 39 Gespräche, mit FP8-Cache 78. Eine Karte allein behält neben den Gewichten nur 15,3 GiB, also sechs Gespräche; deshalb gehört ein 70B-Modell in FP8 auf ein Paar.

Gezählt werden Anfragen, die im selben Moment laufen. Mit den Beispielwerten unseres Leitfadens zum privaten ChatGPT-Server nach Unternehmens­größe erzeugen 500 Beschäftigte zur Spitze rund 20 gleichzeitige Anfragen, die zwei Kopien von gpt-oss-120b mit Reserve bewältigen. Derselbe Leitfaden plant ab 500 Beschäftigten einen zweiten Server, damit der Dienst den Ausfall eines Hosts übersteht.

Wir liefern diesen Server mit zwei Karten und legen die Aufteilung je Modell aus; schicken Sie uns Ihre Modelle, die Kontextlänge und die Spitze laufender Anfragen, und unser Team antwortet mit einer Konfiguration und den Gesprächen je Aufteilung.

TP=2 über PCIe, die Aufteilung ohne NVLink

Ein Paar ist der einfachste Weg, ein Modell ohne NVLink zu verteilen. vLLMs Custom-All-Reduce, der schnelle Weg für den Austausch von Teilergebnissen zwischen den Karten, ist bei mehr als zwei GPUs ohne NVLink standardmäßig abgeschaltet; der Quellcode protokolliert dann „Custom allreduce is disabled because it's not supported on more than two PCIe-only GPUs“. Bei genau zwei Karten bleibt der eigene Kernel aktiv, sofern der Peer-to-Peer-Test beim Start besteht; sonst weicht vLLM auf NCCL aus. Mit vLLM 0.30.0 (Release Notes vom 22. September 2026) kam ein optionaler FlashInfer-PCIe-IPC-All-Reduce für Server ohne NVLink hinzu (Pull-Request 53576), den unser Leitfaden RTX PRO 6000 ohne NVLink beschreibt.

Die Aufteilung erhöht auch die Geschwindigkeit eines einzelnen Gesprächs. Für jedes Token werden alle Gewichte einmal gelesen: Bei 70,6 GB je Token und 1.597 GB/s einer Karte liegt die Obergrenze für Llama 3.3 70B in FP8 nach unserer Rechnung bei rund 22,6 Token pro Sekunde für einen Nutzer; ein Paar liest je Karte die Hälfte der Gewichte und hebt diese Grenze auf rund 45, abzüglich der Zeit für den Austausch. StorageReview hat für gpt-oss-120b in NVFP4 mit vLLM auf einem TP=2-Paar aus Karten der Server Edition 176,09 Token pro Sekunde für einen Nutzer gemessen.

Peer-to-Peer-Verkehr braucht einen sauberen Pfad. NVIDIAs Leitfaden zur Fehlersuche für NCCL hält fest, dass der Treiberstack keine PCIe-Peer-to-Peer-Übertragung bei einer IOMMU im Übersetzungsmodus („translated mode“) unterstützt und dass ACS auf PCIe-Switches den Verkehr zum Root Complex umleiten kann, mit „a significant performance reduction or even a hang“. Ein Beitrag im vLLM-Forum vom April 2026 beschreibt einen Hänger bei TP=2 auf Karten der Server Edition, das --disable-custom-all-reduce behob. In einem Server mit zwei Sockeln zeigt nvidia-smi topo -m, ob das Paar an einem Prozessor hängt oder über die Verbindung zwischen den Sockeln läuft. Unser Leitfaden zu P2P, IOMMU und ACS für NCCL behandelt Einstellungen und Tests im Detail.

Veröffentlichte Ergebnisse mit zwei Karten

MLPerf® Inference v6.0 enthält ein Ergebnis mit zwei und eines mit vier Karten vom selben HPE-Servermodell, der Schritt von zwei auf vier Karten lässt sich also direkt ablesen. MLPerf® Inference v6.1 enthält Ergebnisse der Server Edition nur für Server mit vier und acht Karten.

MLPerf® Inference: Datacenter v6.0, Closed Division, Kategorie Available, Llama 2 70B (llama2-70b-99), Offline-Szenario, Einträge 6.0-0052 und 6.0-0054, abgerufen von mlcommons.org am 24. September 2026. Ergebnisse von der MLCommons Association verifiziert. Der Wert je Karte ist unsere Division des Systemergebnisses, keine MLPerf-Metrik. The MLPerf name and logo are registered and unregistered trademarks of MLCommons Association in the United States and other countries. All rights reserved. Unauthorized use strictly prohibited. See www.mlcommons.org for more information.

Im Offline-Szenario treffen alle Anfragen auf einmal ein, der Wert misst also den Durchsatz des Servers unter Volllast. Die Geschwindigkeit je Nutzer messen das Server- und das Interactive-Szenario; diese ergänzt unsere Seite Benchmarks der RTX PRO 6000 zusammen mit den Ergebnissen mit acht Karten.

Gehäuse für zwei Karten und Gehäuse für vier

Die Karte läuft nur in einem Server, dessen Hersteller sie für genau dieses Modell, diesen Steckplatz, dieses Stromkabel und diesen Lüftersatz freigibt. Diese Konfigurationen mit zwei Karten stehen in den Unterlagen der Hersteller.

Herstellerunterlagen, gelesen am 24. Oktober 2026; das Datenblatt zum Dell R7725 („Up to 2 x 450W DW“) wie am 9. Oktober 2026 für unsere Liste kompatibler Server gelesen.

Ein Gehäuse für zwei Karten ist das kleinste und bleibt bei zwei. Ein Gehäuse für vier kostet ab dem ersten Tag Platz im Rack und Netzteile und spart später einen zweiten Server. Die vollständige Liste mit Kabeln und Lüftersätzen steht auf unserer Seite kompatible Server für die RTX PRO 6000 Server Edition.

Prozessoren und Arbeitsspeicher nach NVIDIAs Regeln

NVIDIAs Konfigurations­leitfaden für NVIDIA-Certified Systems, aktualisiert am 30. September 2026, verlangt mindestens zwei Sockel, sechs physische Kerne je GPU, mindestens doppelt so viel Arbeitsspeicher wie GPU-Speicher insgesamt und ein NVMe-Laufwerk je Sockel. Für zwei Karten sind das 12 Kerne und 384 GB. NVIDIAs Referenzarchitektur RTX PRO AI Factory verlangt sieben Kerne und 128 GB je GPU, was zwei Karten ebenfalls erfüllen.

Unsere Einstiegskonfiguration folgt dem Certified-Leitfaden: zwei AMD-EPYC-Prozessoren, 384 GB DDR5 mit ECC und zwei NVMe-Laufwerke. Zwei EPYC 9135 mit je 16 Kernen und 200 W bringen 32 Kerne und 24 Speicherkanäle, und 24 Module zu 16 GB ergeben 384 GB mit einem Modul je Kanal. Die 32 Kerne reichen auch für vier Karten, was für den unten beschriebenen Ausbau wichtig ist. Unser Leitfaden CPU, RAM und Storage für einen KI-Server mit 4 GPUs erklärt jede Stufe.

Strom an einem 16-A-Anschluss

Zwei Karten und zwei kleine Prozessoren bleiben deutlich innerhalb eines einphasigen Anschlusses. Auf Karten und Prozessoren schlagen wir 15 Prozent für Arbeitsspeicher, Laufwerke, Netzwerkkarten, Lüfter und Wandlungsverluste auf, eine Annahme, die eine Messung am gelieferten System bestätigt oder ersetzt.

Unsere Schätzung: Leistungsaufnahme der Karten aus NVIDIAs Brief, 200 W je Prozessor laut AMDs Seite zum EPYC 9135, plus 15 Prozent für den übrigen Server. Mit zwei EPYC 9355 zu 280 W wie in unserer Schätzung für vier Karten kommen rund 0,2 kW hinzu.

Einen einphasigen 230-V-Anschluss mit 16 A planen wir mit 80 Prozent seiner 3,68 kW ein, also mit 2,94 kW. Der Server mit zwei Karten bei 600 W braucht rund 1,8 kW, und mit redundanten Netzteilen an einer A- und einer B-Einspeisung trägt jede Seite den ganzen Server mit Reserve. Rund 1,8 kW Wärme brauchen bei 11 °C Temperaturanstieg etwa 290 CFM Luft, nach den 160 CFM je kW aus unserem Leitfaden Strom und Kühlung im GPU-Rack, und NVIDIAs Brief verlangt je Karte 43 CFM bei 25 °C Zuluft und 125 CFM bei 45 °C.

MIG und vGPU auf zwei Karten

MIG teilt jede Karte in bis zu vier Instanzen zu 24 GB, zwei zu 48 GB oder eine zu 96 GB, zwei Karten bieten also bis zu acht isolierte GPUs zu 24 GB. MIG wird je Karte eingestellt: Eine Karte kann gpt-oss-120b vollständig bedienen, während die andere in Vierteln ein Embedding-Modell, einen Reranker, Spracherkennung und ein kleines Aufgabenmodell betreibt. NVIDIAs MIG-Leitfaden hält fest: „NCCL is currently not supported with MIG“, ein TP=2-Paar läuft also auf ganzen Karten. Unsere MIG-Profile der RTX PRO 6000 zeigen, was in jede Größe passt.

Die Server Edition ist die Ausführung der RTX PRO 6000, die NVIDIA für vGPU unterstützt, ab Release 19.0. Unter vSphere braucht sie ESXi 8.0 Update 3g oder neuer, und Compute-vGPU-Profile setzen NVIDIA AI Enterprise voraus, lizenziert je GPU, wie unser Leitfaden zu vGPU-Profilen erklärt.

Von zwei Karten auf vier ausbauen

Ein Server mit zwei Karten lässt sich auf vier ausbauen, wenn drei Dinge von Anfang an geplant sind.

• Gehäuse und Netzteile. Wählen Sie ein Gehäuse, das für vier Karten freigegeben ist. HPEs DL380a Gen12 etwa nutzt für zwei oder vier GPUs doppelter Breite dieselben fünf Netzteile, der Schritt fügt also nur Karten und Kabel hinzu. Lenovos SR650a V4 nimmt vier Karten nur in der Version „Slot Capped at 450W“, der Schritt auf vier bedeutet dort also begrenzte Karten.
• Speicherbestückung. Vier Karten brauchen nach NVIDIAs Regel 768 GB. Mit 24 Modulen zu 16 GB ist jeder Kanal belegt, und der Schritt heißt Module tauschen. Wer mit 12 Modulen zu 32 GB beginnt, kann 12 weitere ergänzen, hat bis dahin aber die halbe Speicherbandbreite; das spielt wenig Rolle, solange die Modelle aus dem GPU-Speicher bedient werden, und mehr bei einem KV-Cache, der in den Arbeitsspeicher ausgelagert ist.
• Stromanschluss. Vier Karten mit 600 W brauchen rund 3,2 kW, mehr als die 2,94 kW eines 16-A-Anschlusses. Entweder bekommt der Rackplatz 32 A oder Drehstrom, oder die vier Karten laufen mit der 450-W-Begrenzung bei rund 2,5 kW; StorageReview hat dafür je nach Kontextlänge 2 bis 9 Prozent weniger Durchsatz gemessen.

Unser Leitfaden GPU später nachrüsten behandelt Steckplätze, Kabel und Firmware. Sagen Sie uns beim Angebot, ob der Server vier Karten aufnehmen soll; beschreiben Sie den erwarteten Ausbau, und wir wählen Gehäuse, Netzteile und Speicherbestückung für diesen Schritt.

Zwei Server statt einem oder eine andere Karte

Zwei Server mit je zwei Karten in verschiedenen Racks halten einen Dienst am Laufen, wenn ein Host ausfällt oder ein Firmware-Update bekommt; ein Server mit vier Karten kann das nicht. Unser Leitfaden zur Hochverfügbarkeit für LLMs auf zwei GPU-Knoten beschreibt Load Balancer und Failover. Wo ein Modell viele Nutzer mit langem Kontext bedienen soll, halten vier Karten in einem Server mehr Gespräche je Kopie, wie unser Leitfaden 4× RTX PRO 6000 Server Edition vorrechnet.

Zwei Karten der H200 NVL bringen je 141 GB HBM3e mit 4,8 TB/s und eine NVLink-Brücke und sind für ein 70B-Modell unter hoher interaktiver Last die stärkere Wahl; FP4-Arithmetik haben sie nicht. Für ein System am Arbeitsplatz gibt es zwei RTX PRO 6000 Max-Q in einer Workstation; für den Dauerbetrieb im Rack empfehlen wir die Server Edition.

Was wir liefern

Dieses System können Sie bei uns kaufen: Unser Team legt die Konfiguration auf Ihre Arbeitslast und Ihr Budget aus und antwortet innerhalb eines Werktages. Wir bauen KI-Server auf Bestellung mit zwei bis acht RTX PRO 6000 Server Edition, vor der Lieferung montiert und getestet, mit einem EU-Vertrag und einer EU-Rechnung und mit Herstellergarantie auf jede Komponente. Konfiguration, Varianten und Bestellablauf stehen auf unserer Seite Server mit 2× RTX PRO 6000 Server Edition kaufen. Modelle, RAG und die Plattform darüber sind unser Service Private AI/ML.

FAQ