Speculative Decoding auf eigenen GPUs: EAGLE-3, MTP und Draft-Modelle in vLLM, SGLang und TensorRT-LLM

Speculative Decoding: wie ein Draft ein LLM schneller macht

Beim Speculative Decoding, auch spekulatives Dekodieren genannt, schlägt ein kleiner, schneller Draft mehrere Token vor, und das große Zielmodell prüft sie in einem Forward-Pass. Der Draft kann ein separates kleines Modell sein, ein EAGLE-Head, der auf den Hidden States des Zielmodells trainiert ist, oder die Layer für Multi-Token Prediction (MTP), die manche Modelle in ihrem eigenen Checkpoint mitliefern. Mit der Standard-Akzeptanzregel folgt die Ausgabe der Verteilung des großen Modells, und die Zeit pro Ausgabe-Token sinkt für einen einzelnen Nutzer oder einen kleinen Batch. Der Gewinn schrumpft mit steigender Parallelität, weil eine ausgelastete GPU wenig freie Kapazität für die zusätzliche Prüfung hat.

Leviathan, Kalman und Matias (arXiv 2211.17192, Version vom 18. Mai 2023) samplen aus dem großen Modell „ohne jede Änderung an den Ausgaben“ und berichten für T5-XXL „eine 2X-3X-Beschleunigung gegenüber der Standardimplementierung von T5X, bei identischen Ausgaben“. Chen und Kollegen bei DeepMind (arXiv 2302.01318, 2. Februar 2023) nennen das Verfahren Speculative Sampling und verwenden ein „modifiziertes Rejection-Sampling-Verfahren, das die Verteilung des Zielmodells im Rahmen der Hardware-Numerik erhält“. Für Chinchilla, ein 70B-Modell, berichten sie „eine Beschleunigung des Decodings um 2-2,5x in einem verteilten Aufbau“.

Warum der Gewinn bei einem Nutzer und kleinen Batches am größten ist

Ein Token für einen Nutzer zu erzeugen, liest jedes Gewicht aus dem GPU-Speicher, das Decode ist also durch die Speicherbandbreite begrenzt und nicht durch die Rechenleistung. Unser Leitfaden zu Latenzzielen für LLMs setzt die Obergrenze für einen einzelnen Stream bei Llama 3.3 70B in FP8 auf etwa 23 Token pro Sekunde auf einer RTX PRO 6000 Server Edition und etwa 68 auf einer H200 NVL. Auch die Prüfung von fünf Draft-Token liest die Gewichte nur einmal, sodass jedes akzeptierte Draft-Token mit wenig Mehraufwand Ausgabe liefert, solange die GPU auf den Speicher wartet. In einem großen Batch werden die Gewichte ohnehin einmal für alle Nutzer gelesen, die Tensor Cores sind ausgelastet, und jede zusätzlich zu prüfende Position kostet Rechenzeit.

vLLM beschreibt Speculative Decoding als Weg, „die Inter-Token-Latenz bei mittlerer bis niedriger QPS zu verringern“, und die Dokumentation des Pre-Release 1.4.0rc0 von TensorRT-LLM nennt es „eine Technik zur Beschleunigung der LLM-Inferenz bei kleinen Batch-Größen“. Die Dokumentation des stabilen Release 1.2.1 wie die von 1.4.0rc0 hält fest: „Derzeit gibt es keine Möglichkeit, die Spekulation dynamisch zu deaktivieren, daher sind Beschleunigungen nur bei kleinen Batch-Größen zu beobachten.“

Die Dokumentation von vLLM für Release 0.31.0 hält fest: „Das Sampling beim Speculative Decoding ist theoretisch verlustfrei bis an die Genauigkeitsgrenzen der Hardware-Numerik.“ Sie ergänzt, dass Log-Wahrscheinlichkeiten mit Spekulation noch nicht stabil sind und die Batch-Größe kleine Abweichungen verursachen kann; prüfen Sie die Qualität deshalb mit Ihrem eigenen Testdatensatz.

EAGLE-3, MTP, Draft-Modelle und N-Gram in vLLM, SGLang und TensorRT-LLM

Ein separates Draft-Modell ist ein kleineres Modell derselben Familie, etwa Qwen3-0.6B für Qwen3-8B im Beispiel von vLLM; standardmäßig verlangt vLLM, dass beide dasselbe Vokabular nutzen. EAGLE-3 (Li und Kollegen, arXiv 2503.01840, Version vom 23. April 2025) sagt Token direkt voraus statt der Features, die frühere EAGLE-Heads vorhersagen, und verbindet Features aus mehreren Layern des Zielmodells. N-Gram-Spekulation, auch Prompt Lookup genannt, braucht kein Modell und schlägt Token vor, indem sie N-Gramme im Prompt abgleicht.

Dokumentation von vLLM für Release 0.31.0 (5. Oktober 2026), Leitfaden von SGLang zu Speculative Decoding (ohne Version auf der Seite; aktuelles Release 0.5.22 vom 16. Oktober 2026) und Dokumentation von TensorRT-LLM für das stabile 1.2.1 und das Pre-Release 1.4.0rc0, alle gelesen am 16. Oktober 2026. Speicherspalte aus dem Leitfaden von SGLang, den Model Cards unten und unserer Lesart.

vLLM nimmt jede Methode als einen JSON-Wert von --speculative-config entgegen, mit Schlüsseln wie method, model, num_speculative_tokens und draft_tensor_parallel_size. SGLang nimmt --speculative-algorithm, --speculative-draft-model-path und drei Tuning-Flags, --speculative-num-steps, --speculative-eagle-topk und --speculative-num-draft-tokens, die für das Auto-Tuning ungesetzt bleiben oder gemeinsam gesetzt werden. TensorRT-LLM liest decoding_type und max_draft_len aus der YAML-Datei, die trtllm-serve mit --config übergeben wird.

Die Vergleichstabelle von vLLM nennt EAGLE, MTP, Draft-Modelle, parallele Draft-Modelle (PARD) und MLP-Speculators als die Methoden mit der größten Senkung der Latenz und bewertet N-Gram und Suffix Decoding bei niedriger QPS mit „Low to medium gain“. Seiten, die auf der Website von vLLM als „latest“ markiert sind, beschreiben den Main-Branch; gleichen Sie die Namen deshalb mit der Dokumentation Ihres Release ab.

Offene Modelle mit MTP-Layern oder EAGLE-3-Heads

Die Model Card von DeepSeek-V3 nennt auf Hugging Face insgesamt 685B Parameter, „671B für die Gewichte des Hauptmodells und 14B für die Gewichte des Multi-Token-Prediction-Moduls (MTP)“, und schreibt, das Modul „kann auch für Speculative Decoding zur Beschleunigung der Inferenz genutzt werden“. TensorRT-LLM 1.2.1 hält fest: „MTP wird derzeit nur von Deepseek unterstützt“; die Dokumentation von 1.4.0rc0 ergänzt Qwen3.8 MoE, Qwen3.5 MoE und Step-3.x. Die MTP-Seite von vLLM führt die Assistant-Checkpoints von Gemma 4 für E2B, E4B, 12B, 26B-A4B und 31B auf, die Google als separate Repositories veröffentlicht hat.

Für Modelle ohne MTP-Layer werden EAGLE-3-Heads je Zielmodell veröffentlicht. Llama-3.1-8B-Instruct-speculator.eagle3 von Red Hat, veröffentlicht am 27. Juli 2025, nennt 1,0B Parameter und einen vLLM-Befehl mit der Methode eagle3 und drei spekulativen Token. NVIDIAs gpt-oss-120b-Eagle3-short-context, veröffentlicht am 6. Oktober 2025 mit 0,8B Parametern auf Hugging Face, „eignet sich in der Regel besser für Anwendungsfälle mit weniger als 8k Kontextlänge“; Heads für langen Kontext und für Durchsatz hat NVIDIA für dasselbe Modell am 20. August 2025 veröffentlicht. Jeder Head ist für genau das eine Zielmodell trainiert, das seine Model Card nennt.

Zusätzlicher GPU-Speicher für den Draft

Jede Methode außer N-Gram bringt Gewichte und einen KV-Cache mit. Ein Head mit 1B Parametern belegt in BF16 bei zwei Bytes pro Parameter etwa 2 GB, und NVIDIAs Head mit 0,8B für gpt-oss-120b etwa 1,6 GB neben dem Checkpoint mit 65,3 GB, dessen Expertengewichte in MXFP4 vorliegen. Der Leitfaden von SGLang hält fest, dass Speculative Decoding „den GPU-Speicherverbrauch erhöhen kann, weil der Draft-Baum, CUDA-Graphs und Puffer für die Verifikation zusätzlichen VRAM belegen“. Höhere Werte von --speculative-eagle-topk oder --speculative-num-draft-tokens erhöhen ihn, und ein niedrigeres --mem-fraction-static lässt Platz für die Puffer.

Der Speicher geht vom KV-Cache ab. Nach der Regel unserer Leitfäden zur Serverauslegung hält eine RTX PRO 6000 mit 96 GB 12 Gespräche von Llama 3.3 70B in FP8 bei vollem 8K-Kontext mit einem FP8-Cache, je 1,25 GiB, und eine H200 NVL 44. Nach unserer Rechnung belegt ein Head mit 1B in BF16, 1,9 GiB, den Platz von ein bis zwei dieser Gespräche, bevor sein eigener Cache hinzukommt.

Akzeptanzrate und was sie senkt

Die Beschleunigung hängt davon ab, wie viele Draft-Token das Zielmodell akzeptiert. vLLM definiert die Draft-Akzeptanzrate je Anfrage als akzeptierte Draft-Token geteilt durch vorgeschlagene Draft-Token und die mittlere Akzeptanzlänge als die je Verifikationsschritt ausgegebenen Token einschließlich des Bonus-Tokens, zwischen 1,0 und der Zahl der spekulativen Token plus eins. Sein Endpunkt /metrics exportiert spec_decode_num_draft_tokens_total und spec_decode_num_accepted_tokens_total, mit dem Präfix vllm:.

Die Model Card des Heads von Red Hat für Llama 3.1 8B nennt mittlere Akzeptanzlängen von 3,02 für Coding (HumanEval), 2,83 für Mathematik (GSM8K) und 2,50 für Zusammenfassungen (CNN/DailyMail) bei drei spekulativen Token; mit sieben Token steigen die Werte nur auf 3,89, 3,83 und 2,99. NVIDIAs Model Card für den Head zu gpt-oss-120b nennt auf MT-Bench mit TensorRT-LLM 1.2.0rc0 auf B200 und einer Draft-Länge von 3 je Schritt 2,75 Token für Mathematik, 2,67 für Coding und 2,10 für Schreiben. Freier Text ist schwerer vorherzusagen als Code oder Arithmetik, und längere Drafts bringen zusätzliche Verifikationsarbeit für wenige zusätzliche Token.

Auch die Kontextlänge zählt, und NVIDIAs Model Card empfiehlt ihren Head für kurzen Kontext für Anwendungsfälle unter 8K Token. Der Leitfaden von SGLang warnt, dass ein tieferer Draft „Kaskaden von Ablehnungen riskiert“, und die MTP-Seite von vLLM nennt ein spekulatives Token „einen guten Standardwert für den Anfang“.

Beschleunigung und Parallelität: 20 bis 50 Nutzer oder 500

Der Blog von vLLM vom 26. Mai 2026 hat einen EAGLE-3.1-Head auf Kimi-K2.6-NVFP4 mit Tensor-Parallelismus über vier GB200-GPUs auf dem Coding-Set von SPEED-Bench gebenchmarkt. Gegenüber einem Lauf ohne Spekulation berichtet er den 2,03-fachen Ausgabedurchsatz je Nutzer bei Parallelität 1, das 1,71-Fache bei 4 und das 1,66-Fache bei 16. Das EAGLE-3-Paper berichtet „ein Beschleunigungsverhältnis von bis zu 6,5x“ und, in SGLang, „eine Durchsatzverbesserung um 1,38x bei einer Batch-Größe von 64“.

Der ältere Blog von vLLM vom 17. Oktober 2024, der auf die Dokumentation von Release 0.6.0 verweist, berichtet für Llama 3 70B mit einem Draft-Modell auf vier H100 eine bis zu 1,5-mal schnellere Generierung bei QPS 1. Bei hoher QPS zeigte derselbe Aufbau Verlangsamungen um das 1,4- und 1,8-Fache, da Speculative Decoding „das System manchmal verlangsamen kann, wenn es bereits rechengebunden ist“.

Die Effekte sind qualitativ, außer wo ein Wert mit seiner Quelle angegeben ist; H100, B200 und GB200 erscheinen nur als Testsysteme dieser Quellen.

Die Vergleichstabelle in der Dokumentation von vLLM 0.31.0 bewertet EAGLE und MTP bei hoher QPS mit „Medium to high gain“ und ein separates Draft-Modell mit „Medium gain“; behandeln Sie die Verlangsamungen von 2024 deshalb als Grund für einen Test.

Als vier Replikate betrieben, eines je Karte, halten vier Karten RTX PRO 6000 Server Edition nach unserer Auslegungsregel 48 Gespräche von Llama 3.3 70B bei 8K, oder etwa 40 mit einem Head von 1B auf jeder Karte. Bei 20 bis 50 Nutzern läuft auf jeder Karte ein mäßiger Batch, und sie bleibt nach unserer Schätzung weitgehend speichergebunden, der Fall, in dem ein Draft am meisten hilft. Bei 500 Nutzern über mehrere Server laufen auf jeder Karte große Batches, und der Gewinn je Nutzer ist kleiner, mehr Karten oder Replikate bringen dann Kapazität. NVIDIAs Durchsatz-Head für gpt-oss-120b ist laut seiner Model Card „nützlich für Inferenz mit hoher Parallelität, bei der ein einzelnes spekuliertes Token die optimale Konfiguration ist“. Batch-Jobs über Nacht werden nach Durchsatz ausgelegt; testen Sie einen Draft also zuerst am Chat-Endpunkt.

Wir bauen KI-Server mit Karten RTX PRO 6000 Server Edition oder H200 NVL, ausgelegt nach Modell und gleichzeitigen Nutzern. Nennen Sie uns das Modell, die Spitzenzahl der Anfragen in Bearbeitung und die Geschwindigkeit je Nutzer, und Konfiguration und Angebot folgen innerhalb eines Werktages.

Speculative Decoding aktivieren und testen

Der Gewinn hängt von Modell, Aufgabe, Last und Engine-Version ab; testen Sie deshalb auf dem gelieferten Server mit Ihren Prompts.

1. Prüfen Sie die Model Card auf MTP-Layer oder einen veröffentlichten EAGLE-3-Head, der für genau Ihr Zielmodell und dessen Release trainiert ist.
2. Beginnen Sie mit einem oder zwei spekulativen Token, zum Beispiel mit method auf mtp in der --speculative-config von vLLM oder mit --speculative-algorithm EAGLE3 und dem Pfad des Heads in SGLang.
3. Führen Sie vllm bench serve bei fester Parallelität aus, 1, 2, 4, 8 und bis zu Ihrer Spitzenlast, mit und ohne Draft, und vergleichen Sie TPOT und gesamten Ausgabedurchsatz; ein gestreamter Chunk kann mehrere Token enthalten, die ITL-Abstände sind also nicht vergleichbar.
4. Lesen Sie die Akzeptanzzähler unter /metrics und die Größe des KV-Caches, die vLLM beim Start meldet.
5. Behalten Sie den Draft bei der Parallelität, bei der sich die TPOT verbessert und der Gesamtdurchsatz nicht sinkt, und notieren Sie Engine-Version und Einstellungen.

Für einen privaten Coding-Assistenten, dessen Änderungen große Teile des Prompts wiederholen, nehmen Sie einen N-Gram-Lauf in den Vergleich auf. Unser Vergleich der Engines behandelt Releases und Standardwerte.

Einen Pilotplan mit Metriken liefert das technische Assessment unserer Leistung Private AI/ML, dessen Preis vor Beginn der Arbeiten festgelegt wird. Beschreiben Sie das Modell und die Last, mit der Sie mit und ohne Draft testen würden, im Formular unten.

Was wir liefern

Wir bauen KI-Server auf Bestellung für Inferenz und RAG, mit 2 bis 8 GPUs pro Knoten, im Burn-in getestet und mit Herstellergarantie auf jede Komponente. Für latenzgebundenen Chat sind die Karten die H200 NVL mit 141 GB HBM3e bei 4,8 TB/s und die RTX PRO 6000 Blackwell Server Edition mit 96 GB; unser GPU-Sortiment ergänzt die L40S, die L4 sowie die Workstation- und Max-Q-Editionen der RTX PRO 6000. Lizenzen für NVIDIA AI Enterprise kommen unter demselben EU-Vertrag und auf dieselbe Rechnung wie die Hardware. Das Deployment des Modells mit einem Draft, seine Messung und sein Produktivbetrieb sind unsere Leistung Private AI/ML, mit Engineering von unserem Engineering-Partner Vixen.UNO.

FAQ