Mistral Large 3 auf 8× NVIDIA RTX PRO 6000 Blackwell Server Edition oder auf H200 NVL

Läuft Mistral Large 3 ohne H200 NVL

Mistral Large 3 läuft für Kontexte unter 64K Token ohne H200 NVL: Acht NVIDIA RTX PRO 6000 Blackwell Server Edition betreiben seine 403,1 GB große NVFP4-Version mit nativer FP4-Arithmetik und nach unserer Regel für Nutzer je Karte mit 16 gleichzeitigen Gesprächen zu 32K Token. Für längere Kontexte empfiehlt Mistral die FP8-Version, und die braucht acht H200 NVL für mehr als ein einziges Gespräch. Vier H200 NVL sind das kleinste System für die NVFP4-Version, mit 13 Gesprächen zu 32K.

Unsere Schätzungen: gleichzeitige Gespräche mit 32.768 Token nach der Regel für Nutzer je Karte, 16-Bit-KV-Cache, den Tensor-Parallelismus vollständig auf jeder Karte hält; Kontexthinweise aus Mistrals NVFP4-Karte und dem Rezept von vLLM; Leistung an der Steckdose von unseren Seiten zu Servern mit acht und vier Karten, Karten bei 600 W.

Unser Familien-Leitfaden zu den Mistral-Hardware-Anforderungen legt Large 3 auf H200 NVL für 1, 20 und 100 Nutzer aus. Diese Seite vergleicht die drei Systeme, zwischen denen Käufer bei Large 3 wählen, und zeigt, was jedes an Kontextlänge, Tempo und Strom kostet.

Mistral Large 3 im Oktober 2026

Mistral Large 3 ist ein Mixture-of-Experts-Modell mit einem Vision-Encoder von 2,5 Mrd. Parametern, veröffentlicht als Versionen 2512. Die Modellkarte auf Hugging Face nennt im Kopf „675B total parameters“ und „41B active parameters“, in der Merkmalsliste „673B params and 39B active“; wir verwenden die Werte aus dem Kopf.

Mistral AI, Modellkarten, params.json, Indexdateien und Dateilisten von Mistral-Large-3-675B-Instruct-2512 und seiner NVFP4-Version auf Hugging Face, gelesen am 24. Oktober 2026. Die Größen sind die Tensorsummen der beiden Indexdateien: 681.499.857.920 Byte in 272 FP8-Teildateien und 403.125.497.052 Byte in 273 NVFP4-Teildateien.

Die NVFP4-Version wurde mit llm-compressor aus dem FP8-Modell quantisiert. Ihre Karte wurde am 9. September 2026 aktualisiert: „Weights have been recalibrated and updated“, was die Ergebnisse bei langem Kontext nahe an das Original bringen soll. Beide Karten nennen ein Kontextfenster von 256K und den Satz „This model is licensed under the Apache 2.0 License“ mit einem Link auf den Apache-Text; eine eigene LICENSE-Datei enthalten die Repositories nicht. Die Apache-Lizenz 2.0 erlaubt die kommerzielle Nutzung und kennt keine Umsatzklausel.

Mistrals eigene Hardware-Angaben lauten: „FP8 on a single node of B200s or H200s“ und „NVFP4 on a single node of H100s or A100s“. Das Rezept von vLLM zu Mistral Large 3, aktualisiert am 15. Oktober 2026, sagt, das FP8-Format „can be used on one 8xH200 node“, und startet die NVFP4-Version auf vier B200 mit --tensor-parallel-size 4.

Speicher: 375 GiB NVFP4 gegenüber 635 GiB FP8

Unsere Regel für Nutzer je Karte nimmt 90 Prozent des Speichers, den der Treiber meldet, und zieht je Karte 3 GiB ab: 83,0 GiB je RTX PRO 6000 Server Edition, 123,4 GiB je H200 NVL. Acht Server-Edition-Karten ergeben 664,3 GiB, vier H200 NVL 493,4 GiB und acht 986,9 GiB. Die NVFP4-Gewichte belegen 375,4 GiB, die FP8-Gewichte 634,7 GiB.

Large 3 nutzt Multi-Head Latent Attention: Jede Schicht speichert je Token einen komprimierten Vektor aus 512 Werten plus einen Positionsanteil aus 64 Werten. Über 61 Schichten sind das nach unserer Schätzung 68,6 KiB je Token in 16 Bit, 2,14 GiB je Gespräch mit 32K. vLLM hält diesen Latent-Cache unter Tensor-Parallelismus vollständig auf jeder Karte, wie unser Mistral-Leitfaden aus dem Blog von vLLM zitiert; entscheidend ist also der Speicher, der je Karte übrig bleibt.

Unsere Schätzung nach der Regel für Nutzer je Karte: (nutzbarer Speicher − Gewichte) ÷ Karten, geteilt durch den 16-Bit-Latent-Cache je Gespräch in voller Länge, 0,54 GiB bei 8K und 2,14 GiB bei 32K. Vier RTX PRO 6000 Server Edition (332,2 GiB) nehmen die NVFP4-Gewichte nicht auf.

Bei 64K, der Obergrenze, die Mistral für NVFP4 nennt, halten acht Server-Edition-Karten 8 Gespräche und vier H200 NVL 6. Die Dokumentation von vLLM zur Kontextparallelität beschreibt Decode Context Parallelism (--decode-context-parallel-size) für MLA-Modelle, das diesen Cache über die Karten verteilt, statt ihn zu kopieren. Mit acht Teilen hielte der Server mit Server Edition nach unserer Schätzung bis zu rund 134 Gespräche zu 32K; ein Dokument, das diese Aufteilung für Large 3 auf diesen Karten betreibt, haben wir nicht gefunden, testen Sie sie also, bevor Sie einen Dienst darauf auslegen.

Wir bauen den Server mit acht Server-Edition-Karten und Server mit vier und acht H200 NVL für dieses Modell; nennen Sie uns die erwarteten Kontextlängen und die Spitzenlast an Anfragen, und unser Team antwortet mit dem passenden System und seinen Werten.

FP4 in Hardware oder weight-only

Die RTX PRO 6000 Server Edition hat Tensor Cores mit FP4, Compute Capability 12.0. Die Release Notes von vLLM 0.30.0 vom 22. September 2026 nennen W4A4 NVFP4 „over weight-only kernels on SM120/121“; NVFP4-Gewichte und Aktivierungen werden also in FP4 gerechnet. Mistrals Karte schreibt NVFP4 auf der B200 den vollen Vorteil zu und berichtet dort „a significant speed-up and a minor regression on vision datasets“; zu RTX-Karten berichtet sie nichts.

Die H200 NVL rechnet FP8, hat aber keine FP4-Arithmetik. Das Rezept von vLLM sagt, auf älteren Generationen könne vLLM „fall back to Marlin FP4“, und ergänzt: „You won't notice a speed-up in comparison with FP8 quantization but still benefit a memory gain.“ Vier H200 NVL betreiben Large 3 also etwa im Tempo der FP8-Version, mit halb so vielen Karten. Unser Leitfaden zu FP4-Modellen auf der H200 NVL und Ada-GPUs erklärt den Weight-only-Weg.

Die FP8-Version nutzt Block-Skalen von 128 × 128. Auf Hopper ist das ein Standardformat. Für die Server Edition nennt vLLM einen Blockwise-FP8-Kernel für SM12x, und TensorRT-LLM nennt für sm120 keine FP8-Block-Skalierung, wie unser Leitfaden zur Software-Unterstützung für Blackwell RTX (SM120) zeigt; mit Platz für ein Gespräch ist FP8 auf acht Server-Edition-Karten ohnehin nur ein Testaufbau.

Kontextlänge: die Grenze bei 64K

Mistrals NVFP4-Karte schreibt, dass bei großen Kontexten über 64K „we observed a subsequent drop of performance“, und empfiehlt dafür die FP8-Gewichte. Das Rezept von vLLM nennt FP8 „up to 256k context length“ und NVFP4 „for < 64k context length“. Nach dem Update-Hinweis der Karte soll die Neukalibrierung vom September die Ergebnisse bei langem Kontext nahe an das Original bringen, doch beide Seiten nennen weiter die Grenze bei 64K.

Bleiben Ihre Sitzungen unter 64K, ist NVFP4 das effiziente Format. Vertragsprüfung über lange Dateien, große Code-Repositories oder Agenten mit langer Historie können die Grenze überschreiten. Solche Aufgaben brauchen FP8, und FP8 für einen Dienst heißt acht H200 NVL. Das Rezept empfiehlt FP8 auch, wenn Sie feintunen wollen, „as it can be more precise than NVFP4 in some situations“. Unser Leitfaden zu Hardware für LLMs mit langem Kontext behandelt die Cache-Seite langer Sitzungen.

Aufteilung des Modells: PCIe gegen NVLink

Acht Server-Edition-Karten haben kein NVLink, eine TP=8-Kopie tauscht also die Ergebnisse jeder Schicht über PCIe aus. vLLM schaltet seinen eigenen Custom All-Reduce für mehr als zwei PCIe-GPUs standardmäßig ab und nutzt NCCL; der optionale FlashInfer-PCIe-IPC-All-Reduce, den vLLM 0.30.0 für Systeme ohne NVLink eingeführt hat (Release Notes vom 22. September 2026, #53576), deckt acht Karten ab. Für ein Mixture-of-Experts-Modell legt --enable-expert-parallel ganze Experten auf die Karten und schickt stattdessen die Token zu ihnen, eine Aufteilung, die unser Artikel zur RTX PRO 6000 ohne NVLink mit Tensor-Parallelismus vergleicht.

Vier H200 NVL an einer 4-Wege-Brücke bilden eine NVLink-Domäne mit 900 GB/s je GPU, passend zu einer TP=4-Aufteilung, wie sie das Rezept von vLLM für vier B200 zeigt. Acht H200 NVL bilden zwei solche Domänen, die über PCIe verbunden sind, wie unser Leitfaden zu H200-NVL-Kartenzahlen für große Modelle erklärt. Einen veröffentlichten Durchsatz von Large 3 auf einem dieser drei Systeme haben wir mit Stand 24. Oktober 2026 nicht gefunden.

Strom, Rack und Gehäuse

Alle drei Systeme nutzen Karten mit 600 W Nennleistung. Mit zwei AMD-EPYC-Prozessoren und 15 Prozent für den Rest des Servers ziehen acht Karten nach unserer Schätzung rund 6,3 kW an der Steckdose, vier H200 NVL rund 3,4 kW. Dells Datenblatt nennt rund 8 kW als Richtwert für das Maximum eines Knotens mit acht Karten, und Anschlüsse sollten nach dem Wert des Serverherstellers geplant werden. Server mit acht Karten brauchen einen dreiphasigen 400-V-Anschluss; ein Server mit vier H200 NVL passt an einen 230-V-Anschluss mit 32 A. Unsere Seite zu acht RTX PRO 6000 Server Edition nennt die Gehäuse und die anderen Modelle, die passen.

Für Käufer lässt sich die Abwägung einfach fassen. Der Server mit vier H200 NVL braucht halb so viel Strom und Rackplatz und hält 13 Gespräche zu 32K; der Server mit acht Server-Edition-Karten hält 16, rechnet FP4 nativ und behält 664 GiB für spätere Modelle, etwa größere NVFP4-Checkpoints. Der Hauptspeicher folgt NVIDIAs Leitfaden für zertifizierte Systeme, mindestens das Doppelte des GPU-Speichers: 1.536 GB für acht Server-Edition-Karten und 1.152 GB für vier H200 NVL.

Welches System für welchen Käufer

• Kontexte unter 64K, Blackwell-Karten, Platz für weitere Modelle: acht RTX PRO 6000 Server Edition mit NVFP4. Unsere Seite zum Kauf eines Servers mit 8× RTX PRO 6000 Server Edition beschreibt die Konfiguration.
• Der kleinste Platzbedarf: vier H200 NVL mit NVFP4, weight-only, bei rund 3,4 kW; siehe unseren Server mit vier H200 NVL.
• Lange Kontexte, Feintuning oder die Genauigkeit des Releases: acht H200 NVL mit FP8, wie auf unserer Seite zum Server mit acht H200 NVL.
• Acht Server-Edition-Karten mit FP8: nur für einen Funktionstest, mit Platz für ein Gespräch zu 32K.

Mistral Large 4: was Mistral angekündigt hat

Mistral hat Mistral Large 4 am 6. Oktober 2026 als „a 1 trillion-parameter natively multimodal model with 52 billion active parameters“ angekündigt und geschrieben: „We will release the weights by the end of the month.“ Der Platzhalter auf Hugging Face, Mistral-Large-4-1T-A52B, zeigt „Upcoming release“ mit dem 31. Oktober 2026 als aktuellem Termin und nennt 49 Mrd. aktive Parameter je Token, 52 Mrd. einschließlich Embeddings und Ausgabeschichten. Format, Dateigröße und Lizenz nennt mit Stand 24. Oktober 2026 keine der beiden Seiten. Bis die Dateien erscheinen, ist Large 3 das größte Mistral-Modell zum Herunterladen; Large 4 rechnen wir durch, sobald seine Dateien veröffentlicht sind.

Was wir liefern

Sie können dieses System bei uns kaufen: Unser Team legt die Konfiguration auf Ihre Arbeitslast und Ihr Budget aus und antwortet innerhalb eines Werktages. Wir bauen KI-Server nach Maß mit acht RTX PRO 6000 Server Edition oder mit vier oder acht H200 NVL und ihren NVLink-Brücken, vor der Lieferung montiert und getestet, mit EU-Vertrag und EU-Rechnung und mit Herstellergarantie auf jede Komponente. Die Einrichtung von Large 3, die Dokumentensuche (Retrieval) und die Plattform darum herum sind unser Service Private AI/ML.

FAQ