2, 4 oder 8 NVIDIA RTX PRO 6000 Blackwell Server Edition: die richtige Servergröße wählen

Die Entscheidung in einer Tabelle

Für ein Pilotprojekt oder eine Abteilung genügen zwei NVIDIA RTX PRO 6000 Blackwell Server Edition: Sie betreiben ein Modell bis etwa 150 GB oder zwei Kopien eines 70B-Modells an einem 16-A-Anschluss. Vier Karten tragen einen Assistenten für das ganze Unternehmen oder ein Modell bis etwa 300 GB. Acht Karten sind für die großen offenen Mixture-of-Experts-Modelle mit 400 bis 600 GB gedacht oder für viele Modelle auf einem Server, und sie brauchen Drehstrom.

Unsere Schätzungen. Nutzbarer Speicher nach unserer Regel für Nutzer je Karte; Nutzer sind gleichzeitige Gespräche mit 8.192 Token und FP8-KV-Cache auf NVIDIAs FP8-Checkpoint mit 72,7 GB, von einer Kopie je Karte bis zu einem TP=2-Paar (zwei Karten), einer TP=4-Kopie (vier) oder zwei TP=4-Kopien (acht); Stromverbrauch mit Karten bei 600 W, hergeleitet im Abschnitt zum Stromverbrauch unten.

Welche Größe für welches Unternehmen

• Zwei Karten für ein Pilotprojekt, eine Abteilung oder einen Entwicklungs- und Testserver neben der Produktion: ein 70B-Modell als zwei Kopien oder ein Modell bis etwa 150 GB als Paar, in 2U an einem 16-A-Anschluss. Unsere Seite zum Server mit zwei RTX PRO 6000 Server Edition behandelt diese Größe.
• Vier Karten für einen unternehmensweiten Assistenten mit RAG, mehrere Modelle nebeneinander oder ein Modell bis etwa 300 GB wie Qwen3-235B-A22B. Das ist unser Inferenzknoten, und zwei davon ergeben eine Ausfallreserve.
• Acht Karten für die großen offenen MoE-Modelle Llama 4 Maverick, Kimi-K2.6 oder DeepSeek-V4.1-Flash oder für ein Plattformteam, das viele Modelle und MIG-Instanzen auf einem Host betreibt. Sie brauchen Drehstrom und ein Rack, das an einem Platz 6 bis 8 kW aufnimmt.
• Eine andere Karte, wenn ein Modell über mehrere GPUs viele Nutzer mit geringer Latenz bedienen muss: Die H200 NVL hat HBM3e und NVLink-Brücken, wie unser Vergleich RTX PRO 6000 vs. H200 NVL erklärt.

Die Karte ist in jeder Größe dieselbe: 96 GB GDDR7 mit 1.597 GB/s, bis zu 600 W, passiv gekühlt, PCIe Gen5 x16 und kein NVLink, wie NVIDIAs Product Brief SP-12355-001_v02 angibt. Mit der Zahl ändert sich, wie viel Speicher ein einzelnes Modell nutzen kann, wie viele Kopien nebeneinander laufen und was der Server vom Raum verlangt.

Speicher: was jede Größe aufnimmt

Unsere Regel für Nutzer je Karte nimmt 90 Prozent der 95,6 GiB, die der Treiber meldet, und zieht je Karte 3 GiB ab: 83,04 GiB je Karte für Gewichte und Cache. Die Regel erklärt unser Leitfaden Wie viele Nutzer schafft eine RTX PRO 6000?. Die Karten legen ihren Speicher nicht zusammen: Ein Modell über 96 GB wird mit Tensor- oder Pipeline-Parallelismus auf zwei, vier oder acht Karten aufgeteilt, und jede Kopie eines Modells speichert ihre eigenen Gewichte.

Unsere Schätzungen durch Rechnung, keine Messungen: gleichzeitige Gespräche mit 32.768 Token; 16-Bit-Cache für gpt-oss-120b und Kimi-K2.6, FP8-Cache für die übrigen; DeepSeek-V4-Flash nur danach, ob es passt. Checkpoints: gpt-oss-120b 65,3 GB, DeepSeek-V4-Flash-0731 167 GB, Qwen3-235B-A22B FP8 236 GB, Llama 4 Maverick FP8 rund 417 GB, Kimi-K2.6 595 GB, von Hugging Face wie in unseren Modell-Leitfäden, gelesen vom 9. bis 24. Oktober 2026.

DeepSeek-V4-Flash-0731 (167 GB) lädt zwar auf zwei Karten, lässt aber nur rund 5 GiB je Karte für seinen Cache frei; wir planen es deshalb auf vier. Vier Karten nehmen zusätzlich Qwen3-235B-A22B auf und bieten Platz für mehrere hundert Gespräche mit den kleineren Modellen. Acht Karten sind die einzige der drei Größen, die Llama 4 Maverick oder Kimi-K2.6 aufnimmt; unser Artikel Welche LLMs auf acht RTX PRO 6000 Server Edition passen nennt die Modelle bis zur Grenze von 664 GiB und ihre Aufteilungen.

Die Zahl der Nutzer wächst schneller als die Zahl der Karten, wenn ein Modell aufgeteilt wird: Eine Kopie speichert ihre Gewichte nur einmal, und der übrige Speicher steht als Cache bereit. Llama 3.3 70B in FP8 bedient mit einer Kopie je Karte 12 Gespräche mit 8K pro Karte, als Paar 78 und als eine Kopie über vier Karten 211. Das sind Anfragen, die im selben Moment laufen; ein Unternehmen mit 500 Beschäftigten, die alle einen Assistenten im Browser offen haben, erzeugt gleichzeitig weit weniger.

Was MLPerf® von zwei bis zehn Karten zeigt

HPE hat MLPerf®-Ergebnisse für dieselbe Karte in Servern mit zwei, vier, acht und zehn Karten veröffentlicht. Llama 2 70B passt in den FP4-Gewichten dieser Läufe auf eine Karte; die Ergebnisse zeigen also, wie der Durchsatz bei einem Modell, das auf eine Karte passt, mit der Zahl der Karten wächst.

MLPerf® Inference: Datacenter v6.0, Closed Division, Kategorie Available, Llama 2 70B (llama2-70b-99), Szenario Offline, Einträge 6.0-0052, 6.0-0054, 6.0-0047 und 6.0-0045, abgerufen von mlcommons.org am 24. September 2026. Ergebnisse von der MLCommons Association verifiziert. Je Karte ist unsere Division des Systemergebnisses durch die Zahl der Karten, keine MLPerf-Metrik. The MLPerf name and logo are registered and unregistered trademarks of MLCommons Association in the United States and other countries. All rights reserved. Unauthorized use strictly prohibited. See www.mlcommons.org for more information.

Nach unserer Division bleibt die Leistung je Karte von zwei bis zehn Karten zwischen 3.340 und 3.739 Token pro Sekunde. Die beiden kleineren Systeme sind ein DL385 Gen11 mit 2U, die beiden größeren ein DL380a Gen12 mit 4U, und im Lauf mit vier Karten waren die Karten auf 450 W begrenzt; die Unterschiede je Karte spiegeln also auch Servermodell, Leistungsbegrenzung und Treiber-Build. HPEs aktuelle QuickSpecs für den DL380a Gen12 begrenzen die RTX PRO 6000 Server Edition auf acht Karten; behandeln Sie den Eintrag mit zehn Karten deshalb als veröffentlichtes Ergebnis und nicht als bestellbare Konfiguration, bis HPE sie aufführt. In MLPerf® Inference v6.1 (Closed Division, Llama 2 70B llama2-70b-99.9, Offline, abgerufen von mlcommons.org am 24. Oktober 2026, Ergebnisse von der MLCommons Association verifiziert) erreichten vier Server mit acht Server-Edition-Karten von MiTAC, Cisco, Dell und HPE 29.284,8 bis 30.034,2 Token pro Sekunde, Einträge 6.1-0070, 6.1-0013, 6.1-0036 und 6.1-0050. Unsere Benchmarks der RTX PRO 6000 ergänzen die Szenarien Server und Interactive.

Für die Geschäftsführung heißt das: Mit einer Kopie des Modells je Karte wächst der Durchsatz mit der Zahl der Karten. Über die Wahl zwischen zwei, vier und acht entscheiden deshalb Modellgröße, Zahl gleichzeitiger Nutzer und der Raum. Ein Modell, das über alle Karten aufgeteilt ist, skaliert schlechter, weil jede Schicht auf den Verkehr über PCIe wartet.

Wir liefern Server mit zwei, vier oder acht RTX PRO 6000 Server Edition; senden Sie uns Ihre Modelle und die Zahl gleichzeitiger Nutzer, und unser Team antwortet mit Kartenzahl und Konfiguration.

Platz im Rack und Gehäuse je Kartenzahl

Die Karte läuft nur in einem Server, dessen Hersteller sie für genau dieses Modell, diesen Steckplatz, dieses Kabel und diesen Lüftersatz freigibt. Diese Konfigurationen stehen in den Herstellerunterlagen.

Lenovo Press LP2263 (28. Juli 2026), HPE QuickSpecs a50004300enw und a00047453enw, Technical Guide zum Dell PowerEdge XE7745, Cisco-Datenblatt UCS C845A M8 (24. August 2026), Supermicro-Seite zu RTX-PRO-6000-Systemen und Datenblatt SYS-422GA-NRT, gelesen am 24. Oktober 2026; die Bauhöhe des SR675 V3 wie in unserer Liste kompatibler Server.

Ein 2U-Server mit zwei Karten ist der kleinste Schritt. Prüfen Sie vor dem Kauf, ob er später vier Karten aufnehmen soll: Lenovos SR650a V4 nimmt vier nur mit der auf 450 W begrenzten Variante auf, ein mit zwei 600-W-Karten gekaufter Server wächst also mit begrenzten Karten auf vier. Acht Karten führt Lenovo im ThinkSystem SR675 V3, nur mit AMD EPYC der 5. Generation. Dells Technical Guide zum XE7745 begrenzt Konfigurationen mit der RTX PRO 6000 Server Edition auf 30 °C Umgebungs­temperatur. Unser Artikel 2U oder 4U für vier GPUs vergleicht die Gehäuse, und die Liste kompatibler Server für die RTX PRO 6000 Server Edition nennt weitere.

Stromverbrauch je Server und der passende Anschluss

Für zwei Karten nehmen wir wie in unserer Einstiegskonfiguration zwei AMD EPYC 9135 mit je 200 W Standard-TDP an, für vier Karten zwei EPYC 9355 mit je 280 W und für acht Karten zwei EPYC 9555 mit je 360 W, und schlagen 15 Prozent für Arbeitsspeicher, Laufwerke, Lüfter und Wandlungsverluste auf.

Unsere Schätzung: Leistungsaufnahme aus NVIDIAs Brief, Prozessor-TDP von AMDs Seiten zum EPYC 9135, 9355 und 9555, plus 15 Prozent. Anschlüsse bei 80 Prozent eingeplant: 2,94 kW bei 230 V und 16 A, 5,89 kW bei 230 V und 32 A, 8,87 kW bei 400 V Drehstrom und 16 A.

Dells Datenblatt für seine PowerEdge XE7740 und XE7745 mit acht Karten nennt rund 8 kW je Knoten bei Volllast, mehr als unsere Schätzung; das zeigt, wie viel Lüfter und Prozessoren in einem dichten Gehäuse beitragen, und eine Messung am gelieferten System ersetzt beide Werte. Mit redundanten Netzteilen an A- und B-Einspeisung muss jede Seite den ganzen Server tragen. Die Begrenzung auf 450 W hält einen Server mit vier Karten nach unserer Schätzung an einem 16-A-Anschluss, und unser Leitfaden zum Stromverbrauch der RTX PRO 6000 Server Edition bei 600, 450 und 300 W erklärt, was die Begrenzung kostet. Anschlüsse und Stecker behandelt GPU-Server-Stromanschluss: 16 A, 32 A und Drehstrom.

Prozessoren, Arbeitsspeicher und NVMe je Kartenzahl

NVIDIAs Konfigurations­leitfaden für NVIDIA-Certified Systems, aktualisiert am 30. September 2026, behandelt Server mit 2, 4 oder 8 GPUs und setzt für alle dieselben Regeln: mindestens zwei Sockel, sechs physische Kerne je GPU, mindestens doppelt so viel Arbeitsspeicher wie GPU-Speicher und ein NVMe-Laufwerk mit mindestens 1 TB je Sockel. NVIDIAs Referenzarchitektur RTX PRO AI Factory vom 18. Mai 2026 verlangt sieben Kerne und 128 GB je GPU, dazu zwei Kerne je GPU für Betriebssystem oder Virtualisierung und zwei je MIG-Instanz.

Konfigurations­leitfaden für NVIDIA-Certified Systems (30. September 2026) und Referenzarchitektur RTX PRO AI Factory (18. Mai 2026), unsere Multiplikation mit der Kartenzahl; AI Factory als Basis ohne die zusätzlichen Kerne für Betriebssystem und MIG.

Unsere Referenz­konfigurationen auf der Seite KI-Server folgen dem Certified-Leitfaden: Der Einstiegsserver hat zwei Server-Edition-Karten, zwei AMD-EPYC-Prozessoren, 384 GB DDR5 mit ECC und zwei NVMe-Laufwerke, der Inferenzknoten vier Karten, 768 GB und vier NVMe-Laufwerke. Einen Server mit acht Server-Edition-Karten bauen wir auf Bestellung mit mindestens 1.536 GB. Unser Leitfaden Wie viel RAM braucht ein GPU-Server? erklärt, wann sich mehr lohnt.

Ausfall: ein großer Server oder mehrere kleinere

Fällt in einem Server mit zwei Karten eine Karte aus, verliert er die Hälfte seiner Kapazität. Ein Server mit vier Karten und vier Kopien behält drei Viertel, ein Server mit acht Karten sieben Achtel. Ein Fehler im Host, ein Firmware-Update oder ein Treiberwechsel hält dagegen alle Karten des Servers zugleich an, gleich wie groß er ist.

Die Kartenzahl ist damit auch eine Frage der Verfügbarkeit. Ein Server mit acht Karten ist die dichteste Wahl und eine einzige Ausfalleinheit. Zwei Server mit je vier Karten kosten mehr Höheneinheiten und Netzwerkports, aber ein Load Balancer davor hält bei einem Fehler oder in einem Wartungsfenster den halben Dienst am Laufen, und ein Modell bis 300 GB passt weiterhin auf jeden von ihnen. Ein großes Modell, das acht Karten braucht, lässt sich so nicht verteilen; ein Dienst, der mit einem solchen Modell den Ausfall eines Hosts überstehen muss, braucht zwei Server mit acht Karten. Unser Vergleich 8-GPU-Server oder zwei 4-GPU-Server und der Leitfaden LLM-Hochverfügbarkeit mit zwei GPU-Knoten rechnen die Varianten durch.

Für isolierte Arbeitslasten teilt MIG jede Karte in bis zu vier Instanzen zu 24 GB, die drei Größen bieten also 8, 16 oder 32 isolierte GPUs. Unser Team plant Kartenzahl, Gehäuse und Anschluss zusammen; beschreiben Sie Nutzer, Modelle und Ihr Verfügbarkeitsziel, und wir schlagen einen oder zwei Server mit den Zahlen für jede Variante vor.

Was wir liefern

Sie können dieses System bei uns kaufen: Unser Team legt die Konfiguration auf Ihre Arbeitslast und Ihr Budget aus und antwortet innerhalb eines Werktages. Wir bauen KI-Server auf Bestellung mit zwei bis acht RTX PRO 6000 Server Edition, vor der Lieferung montiert und getestet, mit einem EU-Vertrag und einer EU-Rechnung und mit Herstellergarantie auf jede Komponente. Stückzahlen und Lieferzeit werden mit dem Angebot schriftlich bestätigt. Die Seiten zu zwei Karten, vier Karten und acht Karten gehen auf jede Größe ein, und Server mit 4× RTX PRO 6000 Server Edition kaufen beschreibt den Ablauf der Bestellung.

FAQ