Acht NVIDIA RTX PRO 6000 Blackwell Server Edition: welche großen LLMs in 768 GB passen

768 GB in acht Speichern: was ein Modell nutzen kann

Ein Server mit acht NVIDIA RTX PRO 6000 Blackwell Server Edition nimmt offene Modelle bis etwa 640 GiB Gewichte auf und reicht damit für Llama 4 Maverick, Kimi-K2.6 in INT4, DeepSeek-V4.1-Flash und, fast ohne Platz für Nutzer, DeepSeek-V3.2 in FP8. Nach unserer Regel für Nutzer je Karte sind 664,3 GiB der 768 GB für Gewichte und KV-Cache nutzbar. GLM-5.3 in FP8 ist größer, ebenso die BF16-Versionen all dieser Modelle.

Die 768 GB verteilen sich auf acht Karten mit je 96 GB eigenem Speicher. NVIDIAs Product Brief SP-12355-001_v02 führt NVLink als „Not supported“. Ein Modell, das größer als eine Karte ist, wird deshalb über PCIe Gen5 x16 aufgeteilt, und die Art der Aufteilung entscheidet, wie viele Gespräche Platz finden und wie schnell sie laufen.

Produktseite der NVIDIA RTX PRO 6000 Blackwell Server Edition und Product Brief SP-12355-001_v02 (Juni 2025), gelesen am 24. Oktober 2026; 95,6 GiB sind die 97.887 MiB, die nvidia-smi meldet.

Unsere Regel für Nutzer je Karte nimmt 90 Prozent des Speichers, den der Treiber meldet, und zieht je Karte 3 GiB für CUDA Graphs und Aktivierungen ab: 0,9 × 95,6 − 3 = 83,04 GiB je Karte. Was die Gewichte übrig lassen, ist KV-Cache. Regel und Herleitung stehen in unserem Leitfaden Wie viele Nutzer schafft eine RTX PRO 6000?. Bei acht Karten ist sie wichtiger als bei vier: Ein großes Mixture-of-Experts-Modell lässt mitunter nur wenige GiB je Karte frei, und wenige GiB machen den Unterschied zwischen einem Gespräch und fünfzig.

Große offene MoE-Modelle auf acht Karten

Die Modelle, die acht Karten brauchen, sind Mixture-of-Experts-Modelle: Hunderte Milliarden Parameter im Speicher, einige Dutzend Milliarden davon je Token gelesen. Der Speicher entscheidet, ob sie passen; die Bandbreite jeder Karte und der Verkehr zwischen den Karten entscheiden, wie schnell sie antworten.

Unsere Schätzung durch Rechnung, keine Messung: gleichzeitige Gespräche mit je 32.768 Token, 16-Bit-KV-Cache, sofern nicht anders angegeben. Checkpoint-Größen von Hugging Face (Kimi-K2.6 595 GB und DeepSeek-V3.2 690 GB gelesen am 24. Oktober 2026, die übrigen wie in unseren Modell-Leitfäden, gelesen vom 9. bis 24. Oktober 2026). DCP: Decode Context Parallelism.

Die Zahlen folgen dem Cache-Aufbau des jeweiligen Modells. Qwen3-235B-A22B speichert 188 KiB je Token in 16 Bit, 5,9 GiB je Gespräch mit 32K, und hat vier KV-Köpfe. GLM-4.7 hat acht KV-Köpfe, unter TP=8 einen je Karte, seine 11,5 GiB je Gespräch verteilen sich also auf den ganzen Server. Llama 4 Maverick braucht rund 3 GiB FP8-Cache je Gespräch. DeepSeek und Kimi K2 nutzen komprimierte Latent Attention, die vLLM auf jeder Karte einer Tensor-Parallel-Kopie vollständig hält. Deshalb fassen die 13,8 GiB, die Kimi-K2.6 je Karte frei lässt, nur sechs Gespräche, und Decode Context Parallelism, das jeden Cache nach Token aufteilt, hebt die Zahl auf rund 51. Unsere Leitfäden zu Kimi K2, DeepSeek und GLM rechnen jedes Modell durch, und die LLM-Hardware-Anforderungen je Modell stellen sie nebeneinander.

Zwei neuere Modelle passen vom Speicher her ebenfalls: Metas Muse Spark Open, dessen NVFP4-Checkpoint rund 533 GB groß ist und dessen Modellkarte mindestens 700 GB GPU-Speicher verlangt, und Beam-1.0 von Reflection AI mit rund 503 GB in FP8. Unser Leitfaden zu den Hardware-Anforderungen von Muse Spark Open berechnet Cache und gleichzeitige Gespräche auf diesem Server; den Cache von Beam-1.0 haben wir hier nicht berechnet. Für Llama 4 gilt: Metas Acceptable Use Policy gewährt Unternehmen mit Hauptsitz in der EU die Rechte aus Abschnitt 1(a) für die multimodalen Modelle nicht, mit einer Ausnahme für Endnutzer eines Produkts, das sie enthält. Unsere Übersicht zitiert die Klausel; ob sie auf Ihr Unternehmen zutrifft, entscheidet Ihre Rechtsabteilung.

Aufteilungen: TP=8, zwei TP=4-Kopien oder Expert Parallel

Acht Karten erlauben fünf sinnvolle Aufteilungen, und die Wahl fällt je Modell.

• Eine Kopie je Karte: für Modelle bis etwa 70 GB wie gpt-oss-120b. Kein Verkehr zwischen den Karten, und eine ausgefallene Karte kostet ein Achtel der Kapazität.
• Vier TP=2-Kopien: für Modelle mit 100 bis 150 GB.
• Zwei TP=4-Kopien: für Modelle mit 150 bis 300 GB. In einem Server mit zwei Sockeln kann jede Kopie unter einem Prozessor liegen, sodass kein Tensor-Parallel-Verkehr über die Verbindung zwischen den Sockeln läuft.
• Eine TP=8-Kopie: für Modelle über 300 GB. Jede Schicht wartet dann auf einen All-Reduce über alle acht Karten und beide Sockel.
• TP=8 mit Expert Parallelism: --enable-expert-parallel in vLLM legt ganze Experten auf die Karten, „instead of tensor parallelism for MoE layers“, während die Attention tensor-parallel bleibt.

Für Qwen3-235B-A22B fassen zwei TP=4-Kopien nach unserer Schätzung 38 Gespräche mit 32K, eine TP=8-Kopie rund 37. Die Dokumentation von vLLM erklärt den Gleichstand: Sobald die Tensor-Parallel-Größe die Zahl der KV-Köpfe übersteigt, wird der Cache „duplicated for tp_size / H times“, hier doppelt. Der Qwen3-Leitfaden von vLLM ergänzt, dass der FP8-Checkpoint bei TP=8 an seinen Quantisierungsblöcken der Breite 128 scheitert, und rät zu „--tensor-parallel-size 4 or --tensor-parallel-size 8 --enable-expert-parallel“. Zwei Kopien halten außerdem den halben Dienst am Laufen, wenn eine Kopie neu starten muss.

Jede Aufteilung kostet All-Reduce-Verkehr über PCIe. Standardmäßig schaltet vLLM seinen Custom-All-Reduce auf mehr als zwei GPUs ohne NVLink ab und nutzt NCCL; Release 0.30.0 vom 22. September 2026 hat einen optionalen FlashInfer-PCIe-IPC-All-Reduce für Server ohne NVLink ergänzt (Pull-Request 53576), VLLM_ALLREDUCE_USE_FLASHINFER_PCIE_IPC=1, für TP 2, 4 und 8, für den wir keinen veröffentlichten Gewinn bei TP=8 auf dieser Karte gefunden haben. Pipeline-Parallelismus schickt nur Aktivierungen zwischen den Stufen, und bei Modellen mit Latent Attention halbieren zwei Stufen den Cache je Karte. Unser Vergleich RTX PRO 6000 ohne NVLink: TP=2, TP=4 oder Replikate und der Leitfaden zu P2P, IOMMU und ACS für NCCL behandeln die Einstellungen.

Wir bauen Server mit acht Server-Edition-Karten auf Bestellung und legen die Aufteilung je Modell fest, bevor wir ein Angebot machen; senden Sie uns Modell, Quantisierung und Kontextlänge, und unser Team antwortet, ob das Modell passt, mit welcher Aufteilung und mit wie vielen Gesprächen.

Veröffentlichte Läufe auf acht Karten

Es gibt nur wenige veröffentlichte Werte großer Modelle auf diesen Karten, und ihre Bedingungen unterscheiden sich. Die Tabelle nennt die Läufe mit Datum, Aufteilung und angegebener Engine.

Engineering-Blog von Helix (8 × Server Edition in einem 4U-Server, zwei Xeon 6505P, 256 GB, Treiber 595.84; DSpark ist ein Entwurfsmodell für Speculative Decoding); Test von StorageReview an einem flüssiggekühlten 4U-System mit acht RTX PRO 6000 Blackwell, Edition nicht angegeben, ein EPYC 9474F, eine Karte mit PCIe x8, 256 Token Eingabe und 256 Token Ausgabe. Beide gelesen am 24. Oktober 2026.

Helix betrieb die beiden TP=4-Instanzen hinter einem Load Balancer, der ein Gespräch bei einer Instanz hält, und fand diese Anordnung schneller als eine Pipeline über acht Karten mit einer quantisierten Fassung, die 122 Token pro Sekunde erreichte. Die Zeilen von StorageReview sind Gesamtdurchsatz bei großem Batch in einem flüssiggekühlten System ohne Angabe der Edition, also eine Obergrenze für Stapelverarbeitung und kein Server-Edition-Wert für interaktiven Chat.

MLPerf® Inference v6.1, veröffentlicht am 16. September 2026, enthält Ergebnisse mehrerer Serverhersteller mit acht Server-Edition-Karten. Sie laufen mit Llama 2 70B und gpt-oss-120b, Modellen, die jeweils auf eine Karte passen. Sie zeigen also den Gesamtdurchsatz des Servers mit mittelgroßen Modellen, nicht das Tempo eines großen Modells, das über alle acht Karten verteilt ist.

MLPerf® Inference: Datacenter v6.1, Closed Division, Llama 2 70B (llama2-70b-99.9) und gpt-oss-120b, Szenario Offline, Token pro Sekunde, Einträge 6.1-0070, 6.1-0013, 6.1-0036, 6.1-0050 und 6.1-0082 (Nebius RTX PRO 6000 n1), jeweils mit acht RTX PRO 6000 Blackwell Server Edition, abgerufen von mlcommons.org am 24. Oktober 2026. Ergebnisse von der MLCommons Association verifiziert. Je Karte ist unsere Division des Ergebnisses für Llama 2 70B (für 6.1-0082 gpt-oss-120b) durch acht, keine MLPerf-Metrik. The MLPerf name and logo are registered and unregistered trademarks of MLCommons Association in the United States and other countries. All rights reserved. Unauthorized use strictly prohibited. See www.mlcommons.org for more information.

Die vier Ergebnisse mit Llama 2 70B liegen innerhalb von 2,6 Prozent, der Serverhersteller spielt also eine kleinere Rolle als Aufteilung und Software. Unser Beitrag zu MLPerf Inference v6.1 für PCIe-GPU-Server ergänzt das Szenario Server.

Kernel-Unterstützung auf Blackwell RTX (SM120), Stand Oktober 2026

Die RTX PRO 6000 hat Compute Capability 12.0, die SM120-Familie, während die meisten Kernel für große MoE-Modelle zuerst für die Blackwell-Chips im Rechenzentrum geschrieben werden. Dies sind die Lücken, die veröffentlichte Quellen am 24. Oktober 2026 nennen; prüfen Sie jede anhand der Engine-Version, die Sie einsetzen.

1. Sparse-Attention-Kernel. Helix fand den FlashMLA-Sparse-Decode-Kernel für DeepSeek-V4-Flash auf SM120 nicht vor und ersetzte ihn durch eine CUDA-Erweiterung aus der Community; sein NVFP4-KV-Cache löste eine Assertion aus, gelöst mit dem Cache-Typ fp8_ds_mla.
2. Speculative Decoding. Der Start von DSpark scheiterte bei Helix auf acht Blackwell-Karten, bis das Team auf ein Community-Rezept und einen Checkpoint mit eingebautem Draft-Kopf wechselte. Unser DeepSeek-Leitfaden hält fest, dass das vLLM-Rezept vom 29. September 2026 den Checkpoint -0731 auf acht RTX PRO 6000 ohne Speculative Decoding verifiziert hat.
3. FP8-Skalierung. Die Support-Matrix von TensorRT-LLM (1.3.0rc29) führt für diese Chipfamilie nur FP8 mit Per-Tensor-Skalierung, während die FP8-Checkpoints von DeepSeek, GLM-5.3 und Qwen3.8 Blockskalen von 128 × 128 nutzen.
4. Auswahl von NVFP4. Das vLLM-Rezept für Llama 4 Scout wählt den NVFP4-Checkpoint nur bei Compute Capability 10.0, nicht bei 12.0.
5. Treiber. NVIDIAs Brief nennt R575 und CUDA 12.9 als Minimum; Helix nutzte 595.84.

Unsere Seite zur Software-Unterstützung für Blackwell RTX (SM120) verfolgt diese Punkte. Fehlt einem Modell ein Kernel, läuft der Ersatzpfad, aber langsamer, und Ihr Abnahmetest auf dem gelieferten Server zeigt, um wie viel.

Modelle, die nicht passen, und die Alternativen

GLM-5.3 braucht in FP8 704 GiB für seine Gewichte, mehr als die 664,3 GiB von acht Karten. Kimi-K2-Instruct-0905 ist in Block-FP8 1.029 GB groß. BF16-Versionen der großen Modelle sind etwa doppelt so groß wie ihre FP8-Fassung. DeepSeek-V3.2 und Mistral Large 3 laden zwar, mit je einem Gespräch zu 32K taugen sie aber nur als Testsystem; ein Dienst für ein Team braucht mehr Speicher.

Für diese Modelle bringen acht H200 NVL nach derselben Regel 987 GiB, mit NVLink-Brücken, die jeweils vier Karten verbinden; unser Leitfaden zum Server mit acht H200 NVL rechnet ihn durch. Eine DGX B300 hat rund 270 GB HBM3e je GPU und NVLink über alle acht; in MLPerf® Inference v6.1 (Closed Division, Offline, Eintrag 6.1-0071, abgerufen von mlcommons.org am 24. Oktober 2026, Ergebnis von der MLCommons Association verifiziert) erreichte sie 109.277 Token pro Sekunde mit Llama 2 70B und 106.637 mit gpt-oss-120b. Die DGX B300 liefern wir projektbezogen; DGX B300 vs. 8 × RTX PRO 6000 vergleicht beide.

Arbeitsspeicher, NVMe und Strom für Gewichte dieser Größe

NVIDIAs Konfigurations­leitfaden für NVIDIA-Certified Systems, aktualisiert am 30. September 2026, verlangt mindestens zwei Sockel, sechs physische Kerne je GPU und mindestens doppelt so viel Arbeitsspeicher wie GPU-Speicher: 48 Kerne und 1.536 GB für acht Karten. NVIDIAs Referenzarchitektur RTX PRO AI Factory vom 18. Mai 2026 verlangt mindestens 128 GB je GPU, also 1 TB, und sieben Kerne je GPU. Helix betrieb seinen Server mit 256 GB, unter beiden Werten. Das genügt für ein Modell, das ganz im GPU-Speicher liegt, lässt aber nichts für einen zweiten Checkpoint im Page Cache oder für einen in den Arbeitsspeicher ausgelagerten KV-Cache. Ein Checkpoint mit 595 GB und die nächste Version, die Sie testen wollen, brauchen mehr als das eine NVMe-Laufwerk mit 1 TB je Sockel aus NVIDIAs Leitfaden; planen Sie mehrere Terabyte lokales NVMe. Unser Leitfaden Wie viel RAM braucht ein GPU-Server? rechnet die Fälle durch.

Acht Karten ziehen bei 600 W 4,8 kW und mit der 450-W-Begrenzung 3,6 kW. Mit zwei AMD EPYC 9555 (je 64 Kerne, Standard-TDP 360 W) und 15 Prozent für Arbeitsspeicher, Laufwerke, Lüfter und Wandlungsverluste schätzen wir rund 6,3 kW an der Steckdose; Dells Datenblatt für seine PowerEdge XE7740 und XE7745 mit acht Karten nennt „~8 kW“ bei Volllast. Beide Werte liegen über den 5,89 kW, die wir je einphasigem 230-V-Anschluss mit 32 A einplanen. Der Rackplatz braucht also einen 400-V-Drehstromanschluss, und mit A/B-Einspeisung trägt jede Seite den ganzen Server. Unser Leitfaden zum Stromverbrauch der RTX PRO 6000 Server Edition bei 600, 450 und 300 W hat die Tabelle je Kartenzahl. Wir prüfen Rack, Anschluss und Luftstrom vor dem Angebot; nennen Sie uns Anschluss und Zulufttemperatur zusammen mit dem Modell, und wir sagen Ihnen, ob ein Server mit acht Karten in Ihren Raum passt.

Was wir liefern

Sie können dieses System bei uns kaufen: Unser Team legt die Konfiguration auf Ihre Arbeitslast und Ihr Budget aus und antwortet innerhalb eines Werktages. Wir bauen KI-Server auf Bestellung mit zwei bis acht RTX PRO 6000 Server Edition, vor der Lieferung montiert und getestet, mit einem EU-Vertrag und einer EU-Rechnung, mit Herstellergarantie auf jede Komponente und der Montage in unserer Verantwortung. Stückzahlen und Lieferzeit werden mit dem Angebot schriftlich bestätigt. Unsere Seite Server mit 8× RTX PRO 6000 Server Edition kaufen nennt die Varianten, und vier Karten genügen für Modelle bis etwa 300 GB. Modelle, RAG und die Plattform darüber sind unser Service Private AI/ML.

FAQ