Kimi K2.7-Code auf acht NVIDIA RTX PRO 6000 Blackwell Server Edition für Coding-Agenten

Kimi K2.7-Code auf acht Server-Edition-Karten: was passt

Kimi K2.7-Code läuft auf einem Server mit acht NVIDIA RTX PRO 6000 Blackwell Server Edition: Die 595,2 GB INT4-Gewichte passen in die 664,3 GiB, die acht Karten nach unserer Regel für Nutzer je Karte für Gewichte und Cache bereithalten. Viele lange Agenten-Sitzungen fasst dieser Server dagegen nicht. Mit Decode Context Parallelism (DCP) über alle acht Karten hält er nach unserer Schätzung etwa 12 Sitzungen mit 128K Token in 16 Bit, mit FP8-Cache etwa 25; reiner Tensor-Parallelismus fasst eine.

Damit passt der Server mit acht Server-Edition-Karten zu einem Team, in dem 10 bis 25 Agenten gleichzeitig arbeiten, oder zu einem Pilotbetrieb vor einem größeren Ausbau. Eine Entwicklungsabteilung mit 40 bis 60 Personen, die den ganzen Tag mit Agenten arbeiten, braucht acht H200 NVL oder zwei Server mit Server Edition. Unser Leitfaden zu den Hardware-Anforderungen von Kimi K2 dimensioniert die K2.6-Familie für Chat mit 32K; diese Seite dimensioniert das Coding-Modell für die langen Sitzungen, die Coding-Agenten erzeugen.

Was Moonshot AI zu Kimi K2.7-Code veröffentlicht

Moonshot AI hat das Hugging-Face-Repository am 11. Juni 2026 angelegt. Die Model Card beschreibt ein Modell „With substantial improvements on real-world long-horizon coding tasks“ und hält fest, dass es „adopts the same native int4 quantization method as Kimi-K2-Thinking“. Die Bereitstellung von K2.5 und K2.6 „can be directly reused“, so die Card, weil die Architektur gleich ist.

Model Card, config.json und Dateiliste von moonshotai/Kimi-K2.7-Code (Summe der 64 Safetensors-Dateien, 595.177.988.208 Byte), gelesen am 24. Oktober 2026.

Die config.json quantisiert die gerouteten Experten auf 4-Bit-Ganzzahlen im Compressed-Tensors-Format „pack-quantized“ und belässt Attention, den geteilten Experten, die dichte erste Schicht, den Output-Head und den Vision-Tower in BF16. Die Card nennt vLLM, SGLang und KTransformers als empfohlene Engines. vLLMs Rezept für das Modell, aktualisiert am 29. Juli 2026, nennt „8x H200 GPUs (verified)“ oder „equivalent aggregate VRAM (~640 GB)“ und vLLM 0.19.1 als Mindestversion. Acht Server-Edition-Karten haben 768 GB.

Die Card hält außerdem fest: „Kimi-K2.7-Code forces thinking and preserve_thinking as True“. Nach unserem Verständnis bleibt das Reasoning früherer Runden damit im Gespräch, und eine Agenten-Sitzung wächst schneller, als ihre sichtbaren Prompts und Antworten vermuten lassen. Bilder, etwa ein Screenshot eines fehlgeschlagenen UI-Tests, landen als Token im selben Kontext.

Warum lange Agenten-Sitzungen die Konfiguration bestimmen

Ein Coding-Agent ruft das Modell nach jedem Schritt erneut auf, mit der Aufgabe, den gelesenen Dateien und der bisherigen Befehlsausgabe. Unser Beitrag zum Server für Coding-Agenten erklärt das Muster und zählt als Obergrenze eine generierende Sitzung je Entwickler zur Spitzenstunde. Was jede Sitzung bei K2.7-Code kostet, folgt aus der config.json: 61 Schichten speichern je Token 576 Werte (den Latent-Vektor mit 512 Werten und den Positionsteil mit 64), in 16 Bit 70.272 Byte.

Unsere Rechnung aus der config.json (num_hidden_layers 61, kv_lora_rank 512, qk_rope_head_dim 64): 61 × 576 Werte × 2 Byte je Token in 16 Bit; FP8 mit 576 Byte je Schicht, einem Byte je Wert, denn vLLM 0.32.0 bemisst einen dichten MLA-Cache mit kv_lora_rank plus qk_rope_head_dim Werten im Datentyp des Caches; das FP8-Format mit 656 Byte samt Skalen gehört zu den Sparse-MLA-Backends, die etwa DeepSeek-V3.2 und GLM-5.3 nutzen.

vLLMs Blogbeitrag zu Decode Context Parallelism vom 7. August 2026 hält fest, dass bei Tensor-Parallelismus „the latent KV cache is replicated in full across every TP rank“. Jede Karte hält also den ganzen Cache jeder Sitzung, und die 13,8 GiB je Karte, die die Gewichte auf acht Server-Edition-Karten übrig lassen, sind das Budget für alle Sitzungen zusammen. Eine volle Sitzung mit 256K braucht 17,16 GiB auf jeder Karte und passt bei reinem TP=8 nicht.

Sitzungen auf acht RTX PRO 6000 Server Edition

Unsere Regel für Nutzer je Karte nimmt 90 Prozent der 95,6 GiB, die der Treiber meldet, und zieht 3 GiB je Karte ab: 83,0 GiB je Karte, 664,3 GiB für acht. Die INT4-Gewichte belegen 554,3 GiB, 69,3 GiB je Karte, und es bleiben 13,8 GiB je Karte. Drei Aufteilungen ändern, wie viel von jeder Sitzung auf einer Karte landet.

Unsere Schätzungen per Rechnung, keine Messungen: gleichzeitige Sitzungen in voller Länge, 13,8 GiB Cache je Karte, ganze Zahlen abgerundet. PP: Pipeline-Parallelismus, jede Karte hält den Cache der Schichten ihrer Stufe. DCP: Decode Context Parallelism, das den Cache jeder Sitzung nach Token auf die Karten verteilt.

DCP wird in vLLM mit --decode-context-parallel-size gesetzt. Laut Blog muss bei MLA-Modellen die Größe des Tensor-Parallelismus mindestens so groß wie die DCP-Größe und durch sie teilbar sein; acht Karten erlauben also DCP 8. Der Benchmark im Blog lief mit Kimi K2.6 in NVFP4 auf einem Knoten mit acht B200 und einem Agenten-Trace mit einem Median von etwa 67K Eingabe-Token: Reines TP erreichte bei 64 gleichzeitigen Anfragen 100 Prozent Cache-Auslastung und blieb bei etwa 1.863 Token pro Sekunde je GPU stehen, DCP erreichte 6.091 bei 512 gleichzeitigen Anfragen mit 82 Prozent belegtem Cache. Time-to-first-Token und Latenz je Token nennt der Blog nicht, und bessere Unterstützung für MTP und Speculative Decoding führt er als weitere Arbeit.

Behandeln Sie die Werte für die Server Edition als Obergrenzen. Unser Kimi-K2-Leitfaden hält fest, dass vLLMs Kimi-K2-Thinking-Rezept auf acht H200 etwa 7,4 GiB je Karte weniger Cache ließ als unsere Regel; derselbe Abstand ließe auf dieser Karte etwa 6,35 GiB je Karte, etwa 5 Sitzungen mit 128K mit DCP in 16 Bit und 11 mit FP8-Cache. Prüfen Sie die Token-Zahl, die vLLM beim Start für den KV-Cache ausgibt, auf dem gelieferten Server; unser Leitfaden zu KV-Cache-Größe und maximaler Parallelität in vLLM zeigt, wo sie steht.

Kernel auf Blackwell RTX (SM120) für dieses Modell

Die RTX PRO 6000 hat Compute Capability 12.0. vLLMs Tabelle der Attention-Backends, gelesen am 24. Oktober 2026, führt die MLA-Decode-Backends nach Compute Capability. Die Dense-MLA-Backends FLASHINFER_MLA, CUTLASS_MLA und FLASHMLA stehen für 9.x oder 10.x. Unter den GPU-Backends für Dense-MLA ist TRITON_MLA dasjenige für „Any“, mit den Cache-Typen fp8 und fp8_e4m3 und mit DCP. Auf dieser Karte liefe die Attention von K2.7-Code nach unserem Verständnis der Tabelle also über das Triton-Backend, und eine veröffentlichte Geschwindigkeit dieses Pfads mit einem Kimi-Modell haben wir nicht gefunden.

Die INT4-Experten sind der zweite Prüfpunkt. Unser Vergleich von vLLM, SGLang und TensorRT-LLM führt für vLLM Marlin-Kernel, gebaut für 12.x, für 4-Bit-Gewichte in AWQ und GPTQ. K2.7-Code speichert seine Experten dagegen im Compressed-Tensors-Format, das Rezept nennt keine RTX-PRO-Karte, und kein Dokument von Moonshot AI betreibt das Modell auf einer. Unsere Seite zur Software-Unterstützung von Blackwell RTX SM120 verfolgt die Engine-Releases.

Wir bauen Server mit acht Server-Edition-Karten nach Auftrag und rechnen die Dimensionierung mit Ihren Sitzungslängen durch, bevor wir anbieten; nennen Sie uns die Zahl der Entwickler und den Kontext, den Ihre Agenten erreichen, und unser Team antwortet mit den Sitzungen je Aufteilung und einer Konfiguration.

Entwickler, Sitzungen und die Alternative H200 NVL

Aus der Zahl der Entwickler werden Sitzungen über den Anteil der Personen, deren Agenten im selben Moment generieren. Das Gateway-Log eines Pilotbetriebs zeigt diesen Anteil; bis dahin planen wir wie unser Leitfaden zum Server für Coding-Agenten mit einer Sitzung je Entwickler zur Spitzenstunde.

Unsere Schätzungen per Rechnung, keine Messungen, Obergrenzen: Sitzungen mit 131.072 Token; 13,8 GiB Cache je Server-Edition-Karte und 54,1 GiB je H200 NVL (0,9 × 140,4 − 3, abzüglich 69,3 GiB Gewichte). Leistung an der Steckdose: acht Karten mit 600 W, zwei Prozessoren und 15 Prozent für den Rest wie in unserem Leitfaden zur Leistung von acht Karten; dieselbe Schätzung gilt für H200 NVL mit 600 W.

vLLMs Kimi-K2-Thinking-Rezept maß auf acht H200 46,8 GiB Cache je Karte, das ergibt etwa 43 Sitzungen mit 128K mit DCP in 16 Bit. Acht H200 NVL sind damit die Konfiguration für 40 bis 60 Entwickler auf einem Server; unser Leitfaden zum Server mit acht H200 NVL behandelt seine zwei NVLink-Domänen zu je vier Karten. Zwei Server mit Server Edition erreichen mit FP8-Cache als zwei Replikate hinter einem Load Balancer eine ähnliche Zahl, mit doppelt so vielen Gehäusen und Stromzuführungen. Ein Team, in dem 10 bis 25 Agenten gleichzeitig arbeiten, passt nach den DCP-Werten auf einen Server mit Server Edition, sobald der Abnahmetest sie bestätigt.

Kürzere Sitzungen ändern das Bild. Mit 64K fasst ein Server mit Server Edition und DCP 8 in 16 Bit etwa 25 Sitzungen. Viele Agenten verdichten ihren Kontext, bevor er die Grenze erreicht, und die Schwelle Ihres Agenten-Frameworks dafür bestimmt die Länge, für die Sie dimensionieren.

Kimi K2.7-Code mit vLLM betreiben

vLLMs Rezept betreibt das Modell auf acht H200 mit --tensor-parallel-size 8, --tool-call-parser kimi_k2, --enable-auto-tool-choice und --reasoning-parser kimi_k2 und hält fest, dass das Modell „runs in thinking mode only with preserve_thinking forced on; keep the reasoning parser enabled“. Für Agenten, die Werkzeuge aufrufen, entscheidet der Parser, ob Tool-Calls als strukturierte Aufrufe beim Client ankommen; unser Leitfaden zu den Tool-Calling-Parsern in vLLM behandelt sie.

--mm-encoder-tp-mode data aus dem Rezept betreibt den Vision-Encoder datenparallel, laut Rezept „to avoid TP communication overhead“. Nach unserem Verständnis hält dann jede Karte eine volle Kopie des Encoders mit 400M Parametern, in BF16 etwa 0,75 GiB. Für reine Text-Agenten empfiehlt das Rezept --language-model-only, „to skip loading MoonViT and free VRAM for KV cache“. Auf acht Server-Edition-Karten, wo eine Sitzung mit 128K bei DCP 8 etwa 1,07 GiB je Karte kostet, ist das fast eine Sitzung.

Ergänzen Sie --decode-context-parallel-size 8 für die DCP-Aufteilung und setzen Sie --max-model-len auf die geplante Sitzungslänge. Für den H200-Pfad setzt das Rezept keinen Cache-Typ; ein FP8-Cache braucht halb so viel Platz wie der 16-Bit-Cache, und seine Wirkung auf die Code-Qualität gehört in Ihren Pilotbetrieb. Der Checkpoint mit 595 GB und die nächste Version, die Sie testen wollen, brauchen mehrere Terabyte lokalen NVMe-Speicher. NVIDIAs Konfigurations­leitfaden für NVIDIA-Certified Systems, aktualisiert am 30. September 2026, verlangt Arbeitsspeicher von mindestens dem Doppelten des GPU-Speichers, 1.536 GB für acht Server-Edition-Karten. Unser Leitfaden zur Leistung der RTX PRO 6000 Server Edition bei 600, 450 und 300 W enthält die Tabelle der Stromanschlüsse für einen Server mit acht Karten, der je Seite einen 400-V-Drehstromanschluss braucht.

Modified MIT License und Quellcode

Moonshot AI veröffentlicht Code und Gewichte von K2.7-Code unter einer Modified MIT License. Ihre einzige Änderung greift, wenn die Software oder ein abgeleitetes Werk in kommerziellen Produkten oder Diensten genutzt wird, „that have more than 100 million monthly active users, or more than 20 million US dollars“ (oder dem Gegenwert) an Monatsumsatz. Solche Produkte müssen „prominently display "Kimi K2.7 Code" on the user interface“. Im Übrigen gilt der MIT-Text. Ein Modell, das aus heruntergeladenen Gewichten auf Ihrem eigenen Server läuft, sendet keine Prompts und keinen Quellcode an Moonshot AI. Ob die Klausel für Ihr Unternehmen gilt, beurteilt Ihre Rechtsabteilung.

Was wir liefern

Sie können dieses System bei uns kaufen: Unser Team dimensioniert die Konfiguration nach Ihrer Arbeitslast und Ihrem Budget und antwortet innerhalb eines Werktages. Wir bauen KI-Server nach Auftrag mit acht RTX PRO 6000 Server Edition oder acht H200 NVL mit ihren NVLink-Brücken, vor der Lieferung montiert und getestet, mit EU-Vertrag und EU-Rechnung sowie Herstellergarantie auf jede Komponente. Mengen und Lieferzeit werden schriftlich mit dem Angebot bestätigt. Unsere Seite zum Kauf eines Servers mit 8× RTX PRO 6000 Server Edition listet die Varianten, und unser Überblick zu großen LLMs auf acht Server-Edition-Karten stellt Kimi neben die anderen Modelle. Den Betrieb von K2.7-Code mit vLLM, das Gateway und die Anbindung der Agenten übernimmt unser Service Private AI/ML, umgesetzt von unserem Engineering-Partner Vixen.UNO.

FAQ