4× NVIDIA RTX PRO 6000 Blackwell Server Edition in einem Server: LLMs, Nutzer und Strom

Was vier Server-Edition-Karten zusammen ergeben

Ein Server mit vier NVIDIA RTX PRO 6000 Blackwell Server Edition hat 384 GB GPU-Speicher, davon 332,2 GiB für Modellgewichte und KV-Cache nach unserer Regel für Nutzer je Karte. Das reicht für gpt-oss-120b mit rund 240 gleichzeitigen Gesprächen zu 32K, für Llama 3.3 70B in FP8 mit bis zu 211 Gesprächen zu 8K oder für mehrere kleinere Modelle nebeneinander. Die Karten ziehen bei voller Leistung 2,4 kW, der ganze Server rund 3,4 kW, mehr als ein einphasiger 16-A-Anschluss tragen sollte.

Die 384 GB verteilen sich auf vier Karten mit je 96 GB eigenem Speicher. NVIDIAs Product Brief führt NVLink als „Not supported“, die Karten tauschen Daten also über ihre PCIe-Gen5-x16-Anbindung aus, und ein Modell, das größer als eine Karte ist, wird mit Tensor- oder Pipeline-Parallelismus aufgeteilt. Die Karte ist passiv gekühlt und bezieht ihre Luft von den Lüftern des Servers.

Produktseite der NVIDIA RTX PRO 6000 Blackwell Server Edition und Product Brief SP-12355-001_v02 (Juni 2025), gelesen am 24. Oktober 2026; 95,6 GiB sind die 97.887 MiB, die nvidia-smi meldet.

Unsere Regel für Nutzer je Karte nimmt 90 Prozent des Speichers, den der Treiber meldet, den Standardwert von gpu_memory_utilization in vLLM bis Release 0.19, und zieht je Karte 3 GiB für CUDA Graphs und Aktivierungen ab: 0,9 × 95,6 − 3 = 83,04 GiB. Was nach den Gewichten übrig bleibt, ist KV-Cache. Die Herleitung steht in unserem Leitfaden Wie viele Nutzer schafft eine RTX PRO 6000?.

Welche LLMs in 384 GB passen und in welcher Aufteilung

Vier Karten können ein Modell auf drei Arten betreiben: als vier Kopien, eine je Karte, ohne Verkehr zwischen den Karten; als zwei Paare, bei denen jede Kopie mit Tensor-Parallelismus über zwei Karten läuft (TP=2); oder als eine Kopie über alle vier (TP=4). Jede Kopie speichert ihre eigenen Gewichte, weniger Kopien lassen also mehr Speicher für Gespräche.

Unsere Schätzung durch Rechnung: gleichzeitige Gespräche, die jeweils einen vollen Kontext von 32.768 Token halten, 16-Bit-KV-Cache, sofern nicht anders angegeben. Gewichte: Safetensors-Dateien auf Hugging Face, gelesen am 24. Oktober 2026. Cache je Gespräch: 1,125 GiB gpt-oss-120b, 2,14 GiB Qwen3.8-27B, 5 GiB Llama 3.3 70B in FP8, wie in unseren Modell-Leitfäden.

Der Cache ergibt sich aus der config.json des Modells: gpt-oss-120b hält den vollen Kontext in 18 seiner 36 Schichten, 36 KiB je Token in 16 Bit, und Qwen3.8-27B in 16 von 64 Schichten, 64 KiB je Token plus 144 MiB Zustand der linearen Attention. Auch DeepSeek-V4-Flash-0731, ein Checkpoint mit 167 GB, passt als eine TP=4-Kopie auf vier Karten; das Modell hält seinen komprimierten Cache vollständig auf jeder Karte, wie unser Leitfaden zu den DeepSeek-Hardware-Anforderungen erklärt. Llama 4 Maverick (rund 417 GB in FP8), DeepSeek-V3.2 (690 GB) und GLM-5.3 (756 GB) passen nach den Größen in unseren LLM-Hardware-Anforderungen je Modell nicht auf vier Karten.

Nutzer je Modell: Kopien, Paare oder eine Kopie auf vier Karten

Llama 3.3 70B ist das Modell, nach dem Käufer meist zuerst fragen; die Tabelle zeigt es deshalb mit 8K, dem Kontext eines typischen Chats. NVIDIAs FP8-Checkpoint hat 72,7 GB, also 67,7 GiB, und jedes 8K-Gespräch belegt 2,5 GiB Cache in 16 Bit oder 1,25 GiB in FP8.

Unsere Schätzung nach der Regel für Nutzer je Karte, Gespräche mit 8.192 Token in voller Länge; Gewichte 67,7 GiB in FP8 und 39,8 GiB in NVFP4, NVIDIAs Checkpoints mit 72,7 und 42,7 GB.

Zur dritten Zeile: Vier Karten bieten 4 × 83,04 = 332,2 GiB; abzüglich 67,7 GiB Gewichte bleiben 264,5 GiB, und 264,5 ÷ 2,5 ergibt 105 Gespräche, mit FP8-Cache 211. Eine Karte allein lässt 15,3 GiB frei, sechs Gespräche.

Gezählt werden Anfragen, die im selben Moment laufen. Ein Unternehmen mit 500 Beschäftigten, die alle einen Assistenten im Browser offen haben, erzeugt gleichzeitig weit weniger Generierungen; legen Sie den Server deshalb auf die Spitze der laufenden Anfragen an Ihrem Gateway aus. Gespräche, die den vollen Kontext nie erreichen, belegen weniger Cache.

Bei den Aufteilungen steht Kapazität gegen Unabhängigkeit. Vier Kopien bedienen die wenigsten Gespräche, aber nichts läuft über PCIe, und eine ausgefallene Karte nimmt nur ein Viertel des Dienstes mit. Eine Kopie über vier Karten bedient die meisten, und jede Schicht wartet auf einen All-Reduce über alle vier. Wir liefern diesen Server und legen die Aufteilung je Modell fest; senden Sie uns Ihre Modelle, die Kontextlänge und die Spitze laufender Anfragen, und unser Team antwortet mit einer Konfiguration und den Zahlen für jede Aufteilung.

Ein Modell über PCIe ohne NVLink aufteilen

Der Custom-All-Reduce von vLLM ist auf mehr als zwei GPUs ohne NVLink abgeschaltet: Der Quellcode protokolliert „Custom allreduce is disabled because it's not supported on more than two PCIe-only GPUs“ und nutzt stattdessen NCCL. Ein TP=2-Paar behält den schnelleren Weg, eine TP=4-Kopie standardmäßig nicht. Release 0.30.0 vom 22. September 2026 hat für solche Server einen optionalen FlashInfer-PCIe-IPC-All-Reduce ergänzt (Pull-Request 53576), VLLM_ALLREDUCE_USE_FLASHINFER_PCIE_IPC=1, für TP 2, 4 und 8 in BF16 und FP16; einen veröffentlichten Gewinn bei TP=4 auf dieser Karte haben wir nicht gefunden. Der Parallelisierungsleitfaden von vLLM vom 15. Oktober 2026 rät für GPUs ohne NVLink weiterhin: „leverage pipeline parallelism instead of tensor parallelism for higher throughput and lower communication overhead“.

In einem Server mit zwei Sockeln vermeidet ein Paar unter einem Prozessor die Verbindung zwischen den Sockeln, und nvidia-smi topo -m zeigt den Weg zwischen je zwei Karten. Unser Artikel Ein Modell, mehrere GPUs: PCIe oder NVLink-Brücken erklärt die Möglichkeiten, und RTX PRO 6000 ohne NVLink: TP=2, TP=4 oder Replikate vergleicht sie auf diesen Karten.

Veröffentlichte Werte mit vier Karten

MLPerf® Inference v6.0 enthält ein Ergebnis mit zwei und eines mit vier Karten aus demselben HPE-Servermodell. Nach unserer Division jedes Ergebnisses durch die Zahl der Karten erreichte das System mit vier auf 450 W begrenzten Karten 97 Prozent der Leistung je Karte des Systems mit zwei Karten.

MLPerf® Inference: Datacenter v6.0, Closed Division, Kategorie Available, Llama 2 70B (llama2-70b-99), Szenario Offline, Einträge 6.0-0052, 6.0-0054 und 6.0-0047, abgerufen von mlcommons.org am 24. September 2026. Ergebnisse von der MLCommons Association verifiziert. Je Karte ist unsere Division des Systemergebnisses, keine MLPerf-Metrik. The MLPerf name and logo are registered and unregistered trademarks of MLCommons Association in the United States and other countries. All rights reserved. Unauthorized use strictly prohibited. See www.mlcommons.org for more information.

Von zwei auf vier Karten stieg das Ergebnis auf das 1,94-Fache. Die beiden Läufe unterscheiden sich auch im Treiber-Build, die 3 Prozent je Karte sind also nur ein Hinweis darauf, was die Begrenzung kostet. Unsere Benchmarks der RTX PRO 6000 ergänzen die Szenarien Server und Interactive.

StorageReview hat vier Server-Edition-Karten mit vLLM in einem HPE ProLiant Compute DL380a Gen12 mit zwei Xeon 6527P und 1 TB Arbeitsspeicher gemessen.

StorageReview, Test des HPE ProLiant DL380a Gen12, 6. November 2025, geändert am 14. Oktober 2026; TP=4 für die Zeile mit Batch 64 aus der Übersicht zu Enterprise-GPUs vom 14. Oktober 2026. vLLM-Version und Präzision der Llama-Läufe nicht angegeben.

Bei Batch 32 erhielt jeder Nutzer von Llama 2 70B noch 8,00 Token pro Sekunde, bei gpt-oss-120b, das je Token nur seine aktiven Experten liest, 47,54. Helix berichtete am 14. August 2026, dass eine TP=4-Instanz von DeepSeek-V4-Flash-0731 auf vier Server-Edition-Karten 603 Token pro Sekunde bei acht gleichzeitigen Anfragen erreichte, mit vLLM und Speculative Decoding über DSpark; ein Kernel aus der Community ersetzte dabei einen Sparse-Decode-Kernel, der für diese Karten fehlte.

600 W oder die Begrenzung auf 450 W

NVIDIAs Product Brief definiert zwei Leistungsmodi, festgelegt durch die Codierung des 16-Pin-Kabels: 600 W oder 450 W als Standard-Maximum, jeweils mit 300 W als Minimum. Meldet das Kabel weniger als die Standardgrenze, gilt: „the card will not boot“. Eine mit nvidia-smi gesetzte Grenze muss nach jedem Laden des Treibers neu gesetzt werden; eine über SMBPBI außerhalb des Betriebssystems gesetzte bleibt bestehen. Unser Leitfaden zum Power Limit der RTX PRO 6000 zeigt die Befehle.

Serverhersteller nutzen den 450-W-Modus, um vier Karten in 2U unterzubringen. Lenovos Version „Slot Capped at 450W“ erlaubt vier Karten im ThinkSystem SR650a V4, gegenüber zwei mit 600 W, und HPE bietet für den ProLiant DL385 Gen11 eine GPU-Leistungsbegrenzung über iLO auf 450 oder 550 W an. StorageReview stellte fest, dass die Karte bei 450 W „gave up 2 to 5 percent at short context“ und „4 to 9 percent at long context“, mit 4,8 Ausgabe-Token pro Sekunde je Nennwatt bei einem 14B-Modell gegenüber 3,8 bei 600 W, gemessen an einer Workstation Edition mit derselben GPU und demselben Speicher. Bei vier Karten spart die Begrenzung 600 W, und das entscheidet oft über den Stromanschluss.

2U, 3U oder 4U: Server, die vier Karten aufnehmen

Die Karte läuft nur in einem Server, dessen Hersteller sie für genau dieses Modell, diesen Steckplatz, dieses Kabel und diesen Lüftersatz freigibt. Diese Konfigurationen mit vier Karten stehen in den Herstellerunterlagen.

Herstellerunterlagen, gelesen am 24. Oktober 2026. HPE DL380a Gen12: fünf Netzteile mit 2.400 oder 3.200 W für zwei oder vier GPUs doppelter Breite, nur C19- oder C19-C20-Kabel. Cisco C845A M8: bis zu vier Netzteile mit 3,2 kW und N+1-Redundanz.

Ein 2U-Server bringt vier Karten auf kleinstem Raum unter, mit 450 W oder mit einem Lüftersatz für maximale Leistung; ein 3U- oder 4U-Gehäuse hat mehr Raum für Luft, Netzteile und Netzwerkkarten. Die Grenzen für die Zulufttemperatur unterscheiden sich je Konfiguration, und unsere Liste kompatibler Server für die RTX PRO 6000 Server Edition behandelt Kabel und Garantie.

Stromverbrauch an der Steckdose und an EU-Anschlüssen

Mit zwei AMD EPYC 9355 (je 32 Kerne, Standard-TDP 280 W) kommen Karten und Prozessoren bei 600 W je Karte auf 2,96 kW Nennleistung. Arbeitsspeicher, Laufwerke, Netzwerkkarten, Lüfter und Wandlungsverluste kommen hinzu; wir schlagen dafür 15 Prozent auf, eine Annahme, die eine Messung am gelieferten System bestätigt oder ersetzt.

Unsere Schätzung: Leistungsaufnahme aus NVIDIAs Product Brief, 280 W je Prozessor von AMDs Seite zum EPYC 9355, plus 15 Prozent für den restlichen Server.

Unsere Rechnung: 230 V × Ampere, bei Drehstrom √3 × 400 V × Ampere; 80 Prozent sind die Planungsreserve aus unserem Leitfaden zu Strom und Kühlung im GPU-Rack.

Mit 600 W liegt ein Server mit vier Karten über den 2,94 kW, die wir je einphasigem 16-A-Anschluss einplanen, sein Rackplatz braucht also 32 A oder Drehstrom; mit 450 W bleibt er nach unserer Schätzung darunter. Mit redundanten Netzteilen an einer A- und einer B-Einspeisung muss jede Seite den ganzen Server tragen. Rund 3,4 kW Abwärme brauchen bei 11 °C Temperaturanstieg etwa 540 CFM Luft, nach den 160 CFM je kW aus unserem Leitfaden GPU-Rack: Strom und Kühlung, und NVIDIAs Brief verlangt je Karte 43 bis 125 CFM bei 25 bis 45 °C Zuluft. Wir prüfen Rack, Anschluss und Luftstrom, bevor wir ein Angebot machen; nennen Sie uns Anschlussart, A/B-Anforderung und Zulufttemperatur, und wir sagen Ihnen, welcher Leistungsmodus und welches Gehäuse passen.

Prozessoren, Arbeitsspeicher und NVMe für vier Karten

NVIDIAs Konfigurations­leitfaden für NVIDIA-Certified Systems, aktualisiert am 30. September 2026, verlangt mindestens zwei Sockel, 2,0 GHz Basistakt, sechs physische Kerne je GPU, mindestens doppelt so viel Arbeitsspeicher wie GPU-Speicher insgesamt und ein NVMe-Laufwerk je Sockel. Für vier Karten sind das 24 Kerne und 768 GB. Zwei EPYC 9355 bringen 64 Kerne und 24 Speicherkanäle, 24 Module zu 32 GB ergeben also 768 GB mit einem Modul je Kanal. Unser Inferenzknoten auf der Seite KI-Server folgt dem: vier Server-Edition-Karten, zwei AMD-EPYC-Prozessoren, 768 GB DDR5 mit ECC und vier NVMe-Laufwerke. RAG mit großem Index oder ein in den Arbeitsspeicher ausgelagerter KV-Cache braucht rund 1 TB, wie unser Leitfaden CPU, RAM und Storage für einen KI-Server mit 4 GPUs herleitet.

MIG und vGPU: 16 Instanzen je Server

MIG teilt jede Karte in bis zu vier Instanzen zu 24 GB, zwei zu 48 GB oder eine zu 96 GB, vier Karten bieten also bis zu 16 isolierte GPUs zu 24 GB. MIG wird je Karte eingestellt: Zwei Karten können ein TP=2-Paar betreiben, während die anderen beiden kleine Modelle in Vierteln bedienen. NVIDIAs MIG-Leitfaden hält fest: „NCCL is currently not supported with MIG“, eine aufgeteilte Kopie läuft deshalb auf ganzen Karten. Unsere MIG-Profile der RTX PRO 6000 zeigen, was in jede Größe passt.

Für virtuelle Maschinen ist die Server Edition die einzige Edition der RTX PRO 6000 auf NVIDIAs vGPU-Liste: Ihr Brief nennt „Supports vGPU 19.0 or later“, im voreingestellten Modus Display Off. Unter vSphere verlangt NVIDIA ESXi 8.0 Update 3g oder neuer. MIG auf Bare Metal braucht keine Lizenz; Compute-vGPU-Profile setzen NVIDIA AI Enterprise voraus, lizenziert je GPU, wie unser Leitfaden zu den vGPU-Profilen der RTX PRO 6000 erklärt.

Wann zwei Karten, acht Karten oder H200 NVL besser passen

Zwei Karten, nach unserer Regel 166,1 GiB, genügen für ein Pilotprojekt oder eine Abteilung. Acht Karten, 664,3 GiB, nehmen Llama 4 Maverick in FP8 auf; unsere GPU-Aufteilung für einen Server mit 8× RTX PRO 6000 plant einen solchen Server für 1.000 Beschäftigte. Muss der Dienst den Ausfall eines ganzen Servers überstehen, sind zwei Server mit je vier Karten die sicherere Aufteilung, wie unser Vergleich 8-GPU-Server oder zwei 4-GPU-Server zeigt. Für ein 70B-Modell, das viele Nutzer interaktiv bedient, ist die H200 NVL mit HBM3e und NVLink-Brücken die stärkere Karte, wie unser Vergleich RTX PRO 6000 vs. H200 NVL erklärt.

Was wir liefern

Sie können dieses System bei uns kaufen: Unser Team legt die Konfiguration auf Ihre Arbeitslast und Ihr Budget aus und antwortet innerhalb eines Werktages. Wir bauen KI-Server auf Bestellung mit zwei bis acht RTX PRO 6000 Server Edition, vor der Lieferung montiert und getestet, mit einem EU-Vertrag und einer EU-Rechnung und mit Herstellergarantie auf jede Komponente, und installieren auf Wunsch Betriebssystem, Treiber, CUDA und eine Container-Laufzeit. Konfiguration, Varianten und den Ablauf der Bestellung beschreibt unsere Seite Server mit 4× RTX PRO 6000 Server Edition kaufen. Modelle, RAG und die Plattform darüber sind unser Service Private AI/ML.

FAQ