Mistral Medium 3.5 Hardware: zwei H200 NVL oder zwei RTX PRO 6000 Server Edition

Mistral Medium 3.5 auf zwei GPUs: welches Paar

Mistral Medium 3.5 braucht zwei GPUs: Seine 124,4 GiB FP8-Gewichte verfehlen nach unserer Regel für Nutzer je Karte eine H200 NVL um rund 1 GiB. Zwei NVIDIA H200 NVL mit NVLink-Brücke sind das Paar, das wir für einen Dienst empfehlen, mit dem dreifachen Cache und dem dreifachen Generierungstempo von zwei NVIDIA RTX PRO 6000 Blackwell Server Edition. Zwei Server-Edition-Karten betreiben das Modell für ein Pilotprojekt oder eine Handvoll Nutzer, und vier davon halten mehr Gespräche als zwei H200 NVL (37 gegenüber 22 bei 32K), erreichen je Datenstrom aber nur rund zwei Drittel ihres Tempos.

Unsere Schätzungen: Regel für Nutzer je Karte, Gespräche in voller Länge; Obergrenze = Bandbreite beider Karten ÷ 133,6 GB, eine obere Schranke. Kartendaten von NVIDIA wie in unseren Modell- und Kartenleitfäden; Verbindungsbandbreiten wie von NVIDIA angegeben, Summen über beide Richtungen. Leistung an der Steckdose von unseren Seiten zu Servern mit zwei Karten: Karten mit 600 W plus zwei AMD EPYC 9135 (Server-Edition-Paar) oder zwei EPYC 9355 (H200-NVL-Paar), dazu 15 % für den restlichen Server.

Der Rest dieser Seite erklärt jede Zeile und gibt dann eine Empfehlung je Einsatz. Den Überblick über die Familie mit Mistral Small 4, Devstral und Large 3 gibt unser Leitfaden zu den Mistral-Hardware-Anforderungen.

Was Mistral zu Medium 3.5 veröffentlicht

Die Modellkarte auf Hugging Face beschreibt „a dense 128B model with a 256k context window“ mit Text- und Bildeingabe und gibt an, dass es „supersedes all our previous coding models, namely Devstral, across all benchmarks“ und „replaces Devstral 2 in our coding agent Vibe“.

Mistral AI, Modellkarte, config.json, LICENSE und Dateiliste von Mistral-Medium-3.5-128B und seinem EAGLE-Draft auf Hugging Face, gelesen am 24. Oktober 2026. 133,6 GB sind die Summe der drei Safetensors-Dateien des Modells, 133.606.164.352 Byte.

Das Repository enthält die Gewichte doppelt, als Hugging-Face-Dateien und als gleich große konsolidierte Dateien von Mistral; ein Download umfasst also rund 267 GB, in den GPU-Speicher geht eine Kopie. Die config.json setzt weight_block_size auf null und nutzt statische Aktivierungsskalen, also eine FP8-Skala je Tensor. Vision-Encoder und Ausgabeschicht bleiben in BF16.

Die vLLM- und SGLang-Beispiele der Karte starten das Modell mit --tensor-parallel-size 8 und --gpu_memory_utilization 0.8, auf vLLM nightly. Mistrals Release-Beitrag nennt laut unserem Mistral-Leitfaden Self-Hosting „possible on as few as four GPUs“. Keine der beiden Angaben nennt Kontextlänge oder Last; wir rechnen deshalb mit Speicher und Bandbreite. Die kleinste Zahl, die Mistral selbst für Self-Hosting nennt, sind vier GPUs.

Warum eine H200 NVL nicht reicht

Unsere Regel für Nutzer je Karte nimmt 90 Prozent des Speichers, den der Treiber meldet, und zieht je Karte 3 GiB für CUDA Graphs und Aktivierungen ab: 0,9 × 140,4 − 3 = 123,4 GiB je H200 NVL und 0,9 × 95,6 − 3 = 83,0 GiB je RTX PRO 6000 Server Edition. Die Gewichte belegen 124,4 GiB, eine H200 NVL fehlen also schon vor dem ersten Gespräch 1,07 GiB.

Mit einem höheren gpu_memory_utilization ließe sich das Modell auf einer Karte mit wenigen GiB Rest laden, doch dieser Cache hielte nicht einmal ein Gespräch zu 32K, zu wenig für einen Dienst. Die Herleitung der Regel steht in unserem Leitfaden Wie viel VRAM braucht ein LLM?.

KV-Cache: 352 KiB je Token

Ein dichtes Modell mit Grouped-Query-Attention hält Keys und Values in jeder Schicht. Bei Medium 3.5 sind das 88 Schichten × 2 × 8 KV-Köpfe × 128 Werte, 352 KiB je Token in 16 Bit oder 176 KiB mit FP8-Cache, in vLLM gesetzt mit --kv-cache-dtype fp8. Ein Gespräch mit 32K belegt 11 GiB in 16 Bit oder 5,5 GiB in FP8. Mit Tensor-Parallelismus über zwei oder vier Karten teilen sich die acht KV-Köpfe gleichmäßig auf, jede Karte hält also ihren Anteil an jedem Gespräch.

Unsere Schätzung nach der Regel für Nutzer je Karte: eine Kopie mit Tensor-Parallelismus, gleichzeitige Gespräche in voller Länge; Cache aus der config.json. Mit geladenem EAGLE-Draft rund 2,9 GiB weniger je Kopie.

Gezählt sind Anfragen, die im selben Moment laufen, weit weniger als die Mitarbeitenden, die den Dienst nutzen. Coding-Agenten füllen allerdings lange Kontexte, und bei 128K mit FP8-Cache halten zwei H200 NVL fünf Gespräche, zwei Server-Edition-Karten eines. Wir liefern beide Paare und die Varianten mit vier Karten; schicken Sie uns Kontextlänge und Spitzenlast gleichzeitiger Anfragen, und unser Team antwortet mit der Konfiguration und diesen Werten für Ihren Fall.

Tempo: Ein dichtes Modell liest 133,6 GB je Token

Jedes erzeugte Token liest alle Gewichte eines dichten Modells einmal, je Datenstrom setzt also die Speicherbandbreite die Grenze. Die RTX PRO 6000 Server Edition hat 1.597 GB/s, die H200 NVL 4.800 GB/s, also das Dreifache; beide Karten sind für bis zu 600 W ausgelegt.

Unsere Schätzung: Gesamtbandbreite ÷ 133,6 GB Gewichte, eine obere Schranke ohne das Lesen des KV-Cache und ohne den Austausch zwischen den Karten.

Die realen Werte liegen darunter, und der Abstand wächst mit der Zahl der Karten, weil jede Schicht auf den Austausch der Ergebnisse wartet. Viele Nutzer im Batch erhöhen den Gesamtdurchsatz, die Grenze je Nutzer bleibt. Bei einem Mixture-of-Experts-Modell liefert dieselbe Karte weit mehr, weil sie je Token nur die aktiven Experten liest; bei einem dichten 128B-Modell entscheidet das HBM3e der H200 NVL über das Nutzererlebnis. Eine veröffentlichte Messung von Medium 3.5 auf einer der beiden Karten haben wir mit Stand 24. Oktober 2026 nicht gefunden. Unser Vergleich von RTX PRO 6000 und H200 NVL für LLM-Inferenz zeigt dieselbe Rechnung für 70B-Modelle.

NVLink-Brücke oder PCIe für ein dichtes Modell

Tensor-Parallelismus teilt jede Schicht auf und braucht nach dem Megatron-LM-Paper zwei All-Reduces je Transformer-Schicht. Bei den 88 Schichten von Medium 3.5 sind das 176 All-Reduces je erzeugtem Token, jedes mit dem 12.288 Werte breiten Aktivierungsvektor, 24 KiB in BF16, für ein TP=2-Paar nach unserer Schätzung also rund 4,1 MiB je Token. Die Datenmenge ist klein; Zeit kostet das Warten, 176-mal je Token.

Auf zwei H200 NVL trägt die 2-Wege-NVLink-Brücke das mit 900 GB/s je GPU. Auf zwei Server-Edition-Karten läuft es über PCIe Gen5 mit 128 GB/s, und die Latenz je Austausch zählt mehr als die Bandbreite: Google berichtete, dass funktionierendes PCIe-Peer-to-Peer die Latenz zwischen RTX PRO 6000 Server Edition von 12,68 auf 0,53 µs senkte, wie unser Artikel zu einem Modell auf mehreren GPUs über PCIe oder NVLink zitiert. vLLM behält seinen eigenen Custom All-Reduce für zwei PCIe-Karten und schaltet ihn für mehr als zwei standardmäßig ab; eine Aufteilung über vier Server-Edition-Karten fällt also auf NCCL zurück, sofern nicht der optionale FlashInfer-PCIe-IPC-All-Reduce eingeschaltet ist, den vLLM 0.30.0 für Systeme ohne NVLink eingeführt hat (Release Notes vom 22. September 2026, #53576).

Für das H200-NVL-Paar muss der Serverhersteller die 2-Wege-Brücke für genau diesen Server listen, und NVIDIAs Product Brief verlangt überbrückte Karten an derselben CPU, wie unser Leitfaden zur NVLink-Brücke der H200 NVL erklärt.

Spekulatives Decoding mit Mistrals EAGLE-Draft

Mistral veröffentlicht für Medium 3.5 ein EAGLE-Draft-Modell, eine einzelne Datei mit 3,07 GB. Das vLLM-Beispiel der Karte setzt in --speculative_config die Werte "method": "eagle" und "num_speculative_tokens": 3, mit einer max_model_len von 65.536 für den Draft. Der Draft schlägt mehrere Token vor, und das große Modell prüft sie in einem Durchgang, der die 133,6 GB Gewichte einmal für mehrere Token liest. Für ein dichtes Modell, das an der Bandbreite hängt, ist das auf beiden Paaren der direkteste Weg zu mehr Tempo je Nutzer.

Die Karte nennt weder Akzeptanzrate noch Beschleunigung und verweist für Benchmarks auf ein Cookbook von SGLang; testen Sie es also mit Ihren eigenen Prompts. Unser Leitfaden zu spekulativem Decoding on-premise erklärt die Einstellungen.

Software: FP8 je Tensor auf beiden Karten

FP8 mit einer Skala je Tensor ist für die Engines das einfachste FP8-Format. Die H200 NVL rechnet FP8 auf Hopper nativ. Für die RTX PRO 6000 Server Edition, Compute Capability 12.0, nennt die Quantisierungsmatrix von TensorRT-LLM FP8 je Tensor für sm120, und vLLM unterstützt FP8 ab Compute Capability 8.9, wie unser Leitfaden zur Software-Unterstützung für Blackwell RTX (SM120) zeigt. Das ist einfacher als FP8-Checkpoints mit Block-Skalen wie bei Mistral Large 3, deren Blöcke von 128 × 128 TensorRT-LLM für sm120 nicht nennt.

Eine NVFP4-Version von Medium 3.5 von Mistral haben wir mit Stand 24. Oktober 2026 nicht gefunden; die NVFP4-Releases auf seiner Hugging-Face-Seite betreffen Small 4 und Large 3. Wir legen deshalb nur die FP8-Version aus.

Hardware-Anforderungen von Devstral 2 und die Lizenz

Devstral 2, Mistrals dichtes 123B-Modell für Code, hat denselben Aufbau mit 88 Schichten und braucht fast dasselbe, wie unser Mistral-Leitfaden zeigt. Medium 3.5 hat inzwischen seinen Platz in Mistrals eigenem Coding-Agenten übernommen; für einen neuen Coding-Server legen wir deshalb Medium 3.5 aus. Unser Artikel zum Server für Coding-Agenten behandelt diese Arbeitslast.

Beide Modelle stehen unter einer „Modified MIT License“. Ihr zweiter Abschnitt lautet: „You are not authorized to exercise any rights under this license if the global consolidated monthly revenue of your company (or that of your employer) exceeds $20 million (or its equivalent in another currency) for the preceding month.“ Oberhalb dieser Grenze nennt die Lizenz zwei Wege: eine kommerzielle Lizenz von Mistral AI, „which Mistral AI may grant you at its sole discretion“, oder Mistrals gehostete Dienste. Bei gleichmäßigem Monatsumsatz liegt die Grenze bei rund 240 Mio. USD im Jahr; ein größeres Unternehmen sollte die Lizenz klären, bevor es Hardware für das Modell kauft. Ob die Klausel auf Ihr Unternehmen zutrifft, klärt Ihre Rechtsberatung.

Welche Konfiguration für welchen Einsatz

• Pilotprojekt oder wenige Nutzer: zwei RTX PRO 6000 Server Edition. Das Modell läuft, sieben Gespräche zu 32K passen mit FP8-Cache, und rund 24 Token pro Sekunde sind die Grenze je Datenstrom. Derselbe Server betreibt später andere Modelle.
• Assistent oder Coding-Dienst einer Abteilung: zwei H200 NVL mit 2-Wege-Brücke, 22 Gespräche zu 32K und eine dreimal höhere Grenze. Unsere Seite zum Server mit zwei H200 NVL beschreibt die Konfiguration.
• Kapazität auf Blackwell-Karten: vier RTX PRO 6000 Server Edition, 37 Gespräche zu 32K, nach unserer Schätzung rund 3,4 kW an der Steckdose und eine TP=4-Aufteilung über PCIe. Unsere Seite zum Server mit vier Server-Edition-Karten hat die Einzelheiten.
• Zwanzig und mehr Nutzer mit langen Kontexten: vier H200 NVL in einer 4-Wege-NVLink-Domäne, 67 Gespräche zu 32K mit FP8-Cache; unsere Seite zum Server mit vier H200 NVL behandelt ihn, ebenfalls mit rund 3,4 kW.

Zur H200 NVL gehört außerdem ein fünfjähriges Abonnement von NVIDIA AI Enterprise, das 90 Tage nach Auslieferung der Karte an den Serverhersteller beginnt.

Was wir liefern

Sie können dieses System bei uns kaufen: Unser Team legt die Konfiguration auf Ihre Arbeitslast und Ihr Budget aus und antwortet innerhalb eines Werktages. Wir liefern die H200 NVL mit ihren NVLink-Brücken und die RTX PRO 6000 Server Edition in KI-Servern nach Maß, vor der Lieferung montiert und getestet, mit EU-Vertrag und EU-Rechnung und mit Herstellergarantie auf jede Komponente. Die Einrichtung von Medium 3.5 mit seinem EAGLE-Draft, die Dokumentensuche (Retrieval) und die Plattform darum herum sind unser Service Private AI/ML.

FAQ