Beam-1.0 auf 4× NVIDIA RTX PRO 6000 Blackwell Server Edition: NVFP4 oder FP8 auf H200 NVL

Hardware-Anforderungen von Beam-1.0 auf vier Server-Edition-Karten

Beam-1.0 von Reflection passt in seinem NVFP4-Checkpoint mit 293,6 GB auf einen Server mit vier NVIDIA RTX PRO 6000 Blackwell Server Edition, und nach unserer Regel für Nutzer je Karte bleiben 58,7 GiB für den Cache: rund 97 gleichzeitige Gespräche mit 32.768 Token und FP8-Cache. In FP8 braucht das Modell vier H200 NVL, auf denen 24,7 GiB für rund 40 solcher Gespräche bleiben, oder acht Server-Edition-Karten. Nach Speicher und Kartenzahl ist NVFP4 auf vier Blackwell-Karten der kleinere Aufbau; offen ist die Software, denn das Rezept von vLLM hat noch kein Profil für die RTX PRO 6000.

Reflection hat die Gewichte im Oktober 2026 unter Apache 2.0 veröffentlicht; vLLMs Beitrag zur Unterstützung ab dem ersten Tag ist auf den 16. Oktober 2026 datiert. Beam ist ein reines Textmodell mit Mixture-of-Experts, 256 Experten, von denen je Token acht angesprochen werden, und einem Kontext von 1M Token. Diese Seite behandelt die Entscheidung über vier Karten für genau dieses Modell. Unsere allgemeine Seite zum Server mit vier RTX PRO 6000 Server Edition behandelt Gehäuse und andere Modelle, der Vergleich 4× RTX PRO 6000 oder 4× H200 NVL die Hardware ohne dieses Modell.

Unsere Schätzung nach der Regel für Nutzer je Karte (83,04 GiB je Server Edition, 123,36 GiB je H200 NVL), FP8-KV-Cache mit 0,605 GiB je Gespräch von 32.768 Token in voller Länge. Checkpoint-Größen: Summen der Safetensors-Dateien in reflection/Beam-1.0-501B-A23B-NVFP4 und -FP8 auf Hugging Face, gelesen am 24. Oktober 2026.

Drei Checkpoints und was sie speichern

Die drei Repositories enthalten dasselbe Instruct-Modell. Das BF16-Repository listet 188 Shards und rund 1 TB; das Rezept von vLLM nennt 1.003 GB auf dem Datenträger. Der FP8-Checkpoint wurde laut seiner Modellkarte mit llm-compressor erstellt, der NVFP4-Checkpoint mit NVIDIA Model Optimizer durch Quantisierung nach dem Training.

Dateilisten der drei reflection-Repositories auf Hugging Face, summiert am 24. Oktober 2026; BF16-Größe aus dem Beam-Rezept von vLLM vom 16. Oktober 2026; Umrechnung in GiB durch unsere Rechnung.

Die Datei hf_quant_config.json des NVFP4-Checkpoints zeigt, was in 4 Bit vorliegt. Model Optimizer hat die Expertengewichte in Blöcken von 16 Werten quantisiert und ausgenommen: die Embeddings, die Ausgabeschicht, die ersten drei Schichten, die dicht sind, und in jeder MoE-Schicht die Attention und den Router. Den KV-Cache lässt die Datei unquantisiert (kv_cache_quant_algo ist null); das Rezept von vLLM setzt mit --kv-cache-dtype fp8 einen FP8-Cache. Die NVFP4-Modellkarte nennt ihre Werte gegenüber BF16: 80,7 gegenüber 81,6 Prozent bei SWE-bench Verified und 89,3 gegenüber 90,6 bei GPQA Diamond, mit Temperatur 0,7.

Die Dateigrößen zeigen auch den Aufwand je Schicht. Jede dichte Schicht ist eine Datei mit 839 MB, jede MoE-Schicht eine mit 5,88 GB. Mit den 629 MB, die das MLP einer dichten Schicht laut config.json belegt, kommt die Attention auf rund 210 MB je Schicht in BF16 und ein Experte auf rund 22 MB in NVFP4, was zu 39,3 Mio. Parametern mit 0,5625 Byte passt.

Wie viel Speicher ein Gespräch braucht

Beam hält den größten Teil seines Caches kurz. Seine config.json definiert 52 Schichten: 43 nutzen Sliding-Window-Attention über 512 Token, neun behalten volle Attention, jeweils mit 8 KV-Köpfen zu 128 Werten. vLLMs Beitrag zum Start rechnet „9 × 2 × 8 × 128 values per token, or 36 KiB in BF16 and 18 KiB in FP8“. Die Sliding-Window-Schichten fügen je Gespräch einen festen Betrag hinzu, nach unserer Rechnung 43 MiB in FP8.

Unsere Schätzung aus der config.json (52 Schichten, 9 mit voller Attention, 8 KV-Köpfe, Kopfdimension 128, Fenster 512) und vLLMs Beitrag vom 16. Oktober 2026; Gespräche in voller Länge in den 58,7 GiB, die auf vier Server-Edition-Karten frei bleiben.

Mit Tensor-Parallelismus über vier Karten hält jede Karte zwei der acht KV-Köpfe, der Cache verteilt sich also gleichmäßig; das Rezept von vLLM nennt für NVFP4 bei TP=4 rund 73 GB Gewichte je GPU. Die Zahlen sind gleichzeitig laufende Gespräche; unser Leitfaden zur Größe eines privaten ChatGPT-Servers nach Unternehmens­größe rechnet die Zahl der Beschäftigten in diese Größe um. Die Regel selbst wird in Wie viele Nutzer schafft eine RTX PRO 6000? hergeleitet. Spekulatives Dekodieren mit Reflections Drafter DFlash2 kostet laut Rezept „about 1.7 GB per GPU“, wodurch die Zahl für 32K auf vier Karten auf rund 86 sinkt.

NVFP4 auf Blackwell gegen FP8 auf Hopper

Die RTX PRO 6000 rechnet FP4 auf ihren Tensor Cores. Das Rezept von vLLM schreibt, dass Blackwell die NVFP4-Experten von Beam als W4A4 ausführt, während auf Hopper „vLLM serves the FP4 experts through Marlin with BF16 activations“, ein Weight-only-Weg, der Speicher spart, aber mit 16-Bit-Geschwindigkeit rechnet. Sein Hopper-Profil für NVFP4 sind acht H100 mit TP=8; für vier H200 NVL in NVFP4 zeigt die Tabelle oben deshalb nur, dass der Speicher reicht. Das FP8-Profil des Rezepts sind acht H200 mit TP=8, und es nennt den Mindestbedarf an GPU-Speicher je Checkpoint: 353 GB für NVFP4, 604 GB für FP8 und 1.204 GB für BF16.

Vier Server-Edition-Karten haben 384 GB, mehr als die 353 GB für NVFP4. Vier H200 NVL haben 564 GB, weniger als die 604 GB, die das Rezept für FP8 verlangt, während unsere Regel 24,7 GiB übrig lässt, rund 40 Gespräche mit 32K. Für einen Pilotbetrieb oder ein kleines Team reicht das, für lange Kontexte ist es knapp. Acht Server-Edition-Karten in FP8 erfüllen die Angabe des Rezepts und behalten 195,6 GiB. Die Formate selbst erklärt unser Leitfaden zu FP8, NVFP4, MXFP4 und INT4, und FP4-Modelle auf H200 NVL und Ada-GPUs behandelt den Weight-only-Weg.

Soll die Qualität möglichst nah an BF16 liegen, ist der FP8-Aufbau die sicherere Wahl; die eigene Tabelle der NVFP4-Modellkarte zeigt bei den meisten Benchmarks rund einen Punkt weniger. Wir liefern beide Vier-Karten-Server und den mit acht Karten; senden Sie uns Kontextlänge und die Spitzenzahl gleichzeitiger Anfragen, und unser Team antwortet mit der Konfiguration und den Zahlen für jeden Checkpoint.

Softwarestand auf der RTX PRO 6000 (SM120)

Stand 24. Oktober 2026 ist Beam in keinem vLLM-Release enthalten. Das Rezept, aktualisiert am 16. Oktober 2026, nennt vLLM 0.33.0 als Mindestversion und schreibt „Beam support has not shipped in a vLLM release yet“; es nutzt daher das Image vllm/vllm-openai:reflection-beam. Das neueste Release auf der GitHub-Seite von vLLM ist 0.32.0 vom 18. Oktober 2026. Die Modellkarte nennt weder Hardware noch Befehle.

Die Profile des Rezepts sind vier B200 oder B300 oder ein GB200- oder GB300-Tray für NVFP4 mit TP=4, acht H100 für NVFP4 über Marlin, acht H200 für FP8 und acht B200 oder B300 für BF16. Die RTX PRO 6000 hat Compute Capability 12.0, ein anderes Ziel als die B200, und das Rezept erwähnt sie nicht. Der allgemeine Stand für SM120 ist besser als im Frühjahr: vLLM 0.30.0 hat native W4A4-Kernel für NVFP4 auf SM120 zum Standard gemacht, wie unser Leitfaden zur Software für SM120 festhält. Ob das Beam-Image sie enthält und welches Attention-Backend es für die Gated Attention mit Sliding Window wählt, zeigt das Startprotokoll auf dem gelieferten Server.

Planen Sie den ersten Start ein. Der NVFP4-Befehl des Rezepts setzt VLLM_ENGINE_READY_TIMEOUT_S=3600, weil das Laden rund 10 Minuten dauert, und läuft mit --kv-cache-dtype fp8 sowie den eigenen Parsern von Beam für Tool-Aufrufe und Reasoning.

TP=4 oder Expert-Parallelismus über PCIe

Das Rezept startet NVFP4 mit --tensor-parallel-size 4. Auf vier Server-Edition-Karten läuft dieses All-Reduce über PCIe, denn die Karte hat kein NVLink. In der Standardeinstellung schaltet vLLM sein eigenes All-Reduce bei mehr als zwei GPUs ohne NVLink ab und nutzt NCCL; Release 0.30.0 (22. September 2026) brachte ein optionales FlashInfer-All-Reduce über PCIe IPC für Systeme ohne NVLink, das unser Artikel zur RTX PRO 6000 ohne NVLink behandelt. Das Rezept hat außerdem einen datenparallelen Aufbau mit Expert-Parallelismus und seinem MegaMoE-Backend; das Rezept erlaubt ihn nur als Daten- plus Expert-Parallelismus, und vLLMs Beitrag hat ihn auf vier GB300 gemessen, daher rechnen wir für diese Karten nicht damit.

Für die Geschwindigkeit ergeben die Dateigrößen eine Obergrenze. Nach unserer Schätzung liest ein Token die drei dichten Schichten (2,5 GB), in jeder der 49 MoE-Schichten die Attention und acht Experten (rund 0,39 GB) und die Ausgabeschicht (1,6 GB), zusammen rund 23 GB. Vier Karten lesen 4 × 1.597 GB/s, ein einzelner Strom kann also nicht schneller als rund 275 Token pro Sekunde sein, nach unserer Schätzung eine Obergrenze vor jeder Kommunikation über PCIe. Gebündelte Anfragen treffen je Schritt mehr Experten, die Grenze wächst also nicht mit der Nutzerzahl. vLLMs Beitrag zum Start meldet 708 Token pro Sekunde für eine Anfrage mit DFlash2 bei TP=8; seine Optimierungsläufe liefen auf GB200.

Strom, Arbeitsspeicher und Datenträger

Der Vier-Karten-Server zieht so viel wie jeder Aufbau mit vier Server-Edition-Karten. Mit den Karten bei 600 W und zwei AMD EPYC 9355 mit 280 W schätzen wir rund 3,4 kW an der Steckdose, mit der 450-W-Begrenzung der Karten rund 2,7 kW, wie auf unserer Seite zu vier Karten. Bei 600 W liegt das über den 2,94 kW, die wir je 230-V-Anschluss mit 16 A einplanen, der Rackplatz braucht also 32 A oder Drehstrom; unser Leitfaden zu 16 A, 32 A oder Drehstrom für GPU-Server hat die Tabelle. Vier H200 NVL bei 600 W ergeben dieselbe Schätzung. Eine Messung am gelieferten System bestätigt oder ersetzt diese Werte.

NVIDIAs Leitfaden für zertifizierte Systeme verlangt mindestens doppelt so viel Arbeitsspeicher wie GPU-Speicher, wir bieten daher 768 GB DDR5 ECC an, wie im Inferenzknoten auf unserer Seite KI-Server. Wer den NVFP4- und den FP8-Checkpoint auf demselben Server vergleichen will, braucht für beide 797 GB, und mehr, wenn die BF16-Gewichte für Feintuning gespeichert werden. Unser Leitfaden zu NVMe-Speicher für einen LLM-Server dimensioniert die Laufwerke.

Welcher Aufbau zu welchem Vorhaben passt

• Eine Abteilung oder ein Pilot mit langen Aufgaben: vier Server-Edition-Karten in NVFP4, rund 97 Gespräche mit 32K, nach einem Starttest des Images reflection-beam auf dieser Karte.
• Vier H200 NVL: in FP8 rund 40 Gespräche mit 32K, unter dem Mindestwert von 604 GB des Rezepts; der NVFP4-Checkpoint weight-only ließe viel mehr Platz, aber kein Profil des Rezepts beschreibt ihn auf vier Karten.
• FP8-Qualität und Reserve: acht Server-Edition-Karten, 195,6 GiB frei in FP8, oder NVFP4 mit Platz für mehrere hundert Gespräche. Unsere Seite zu acht RTX PRO 6000 Server Edition für große LLMs behandelt das Gehäuse.
• Mehrere Modelle auf einem Server: Beam in NVFP4 lässt 14,7 GiB je Karte frei; ein zweites Modell gehört auf andere Karten.

Andere Modelle derselben Größe auf denselben vier Karten, GLM-5.3-Flash, DeepSeek-V4-Flash, Qwen3.8-Flash-Next und MiMo-V2.6-Flash, vergleicht 300B-MoE-Modelle auf vier RTX PRO 6000. GLM-5.3-Flash hat eine eigene Seite, GLM-5.3-Flash auf 4× RTX PRO 6000 Server Edition.

Was wir liefern

Sie können dieses System bei uns kaufen: Unser Team dimensioniert die Konfiguration nach Ihrer Last und Ihrem Budget und antwortet innerhalb eines Werktages. Wir bauen KI-Server auf Bestellung mit vier oder acht RTX PRO 6000 Server Edition oder vier H200 NVL, vor der Lieferung montiert und getestet, mit EU-Vertrag und EU-Rechnung sowie Herstellergarantie auf jede Komponente, abgewickelt über uns. Mengen und Lieferzeit werden schriftlich mit dem Angebot bestätigt; die Bestellschritte stehen auf unserer Seite Server mit 4× RTX PRO 6000 Server Edition kaufen. Die Einrichtung von Beam, Retrieval und Serving-Stack gehört zu unserem Service Private AI/ML; schildern Sie Ihren Einsatz von Beam-1.0, und wir sagen, mit welchem Aufbau und Checkpoint wir beginnen würden.

FAQ