Kolibri-1 Hardware-Anforderungen: GPUs, VRAM und Nutzer für das Modell von Aleph Alpha

Kolibri-1 auf einer GPU oder auf zwei

Kolibri-1, das offene deutsch-englische Modell von Aleph Alpha, braucht für seine FP8-Gewichte rund 73 GiB GPU-Speicher und passt damit auf eine Karte mit 96 GB oder eine mit 141 GB. Nach unserer Regel für Nutzer je Karte hält eine NVIDIA RTX PRO 6000 Blackwell Server Edition das Modell mit rund 28 gleichzeitigen Gesprächen zu 32K Token, zwei Server-Edition-Karten, die sich das Modell teilen, kommen auf rund 279 und eine H200 NVL auf rund 150. Für einen Dienst, den eine Abteilung nutzt, würden wir zuerst zwei Karten oder eine H200 NVL auslegen.

Die Aleph Alpha GmbH hat Kolibri-1, ein Modell für Deutsch und Englisch mit offenen Gewichten, am 3. Oktober 2026 auf Hugging Face veröffentlicht. Die Modellkarte nennt 78.103.074.560 Parameter insgesamt und 3.457.573.120 aktive je Token. Das Modell eignet sich für Organisationen, die ein starkes deutsches Modell auf eigener Hardware betreiben wollen, und unser Leitfaden zu offenen LLMs für europäische Sprachen ordnet es neben EuroLLM, Teuken und den anderen ein.

Aleph Alpha, Modellkarte, config.json und Dateiliste von Kolibri-1 auf Hugging Face, gelesen am 24. Oktober 2026. 78,8 GB sind die Summe der 32 Safetensors-Dateien, 78.841.467.208 Byte, also 73,4 GiB.

Die Karte empfiehlt höchstens 262.144 Token „for serving efficiency and complex tasks“, und das längere Fenster bis 1.048.576 Token braucht zusätzliche vLLM-Flags. Embeddings, Ausgabeschicht, Normierungen und der Experten-Router bleiben in BF16. Ein BF16-Repository, Kolibri-1-BF16, ist das Basismodell der FP8-Version und umfasst 156,2 GB.

Was Aleph Alpha als Mindest-Hardware nennt

Die Modellkarte schreibt: „Minimum: 2× A100 80 GB, 2× H100 SXM5, 1× H200, 1× B200 or 1× B300.“ Empfohlen sind zwei H100 SXM5, zwei H200, eine B200 oder eine B300. Jeder Eintrag der Liste hat mindestens 141 GB auf einer Karte oder 160 GB auf zwei, rund das Doppelte der Gewichte; Aleph Alpha plant also Platz über das Modell hinaus ein.

RTX-Karten erwähnt die Modellkarte überhaupt nicht. Von den Karten der Liste liefern wir die H200: Die NVIDIA H200 NVL ist ihre PCIe-Version mit denselben 141 GB HBM3e und derselben Hopper-Architektur und kommt der Zeile „1× H200“ damit am nächsten. Die RTX PRO 6000 Server Edition hat 96 GB je Karte, zwischen den 80 GB einer A100 und den 141 GB einer H200, und eine andere Chip-Generation, Compute Capability 12.0. Ob Kolibri-1 darauf läuft, hängt von der Software ab, die wir weiter unten behandeln.

Wie viel KV-Cache ein Gespräch braucht

Kolibri-1 braucht je Gespräch wenig Speicher. Seine config.json wiederholt ein Muster aus vier Sliding-Window-Schichten und einer Schicht mit voller Attention, also halten nur 10 der 50 Schichten jedes Token des Kontexts. Die anderen 40 halten ein Fenster von rund 512 Token (513 in der config.json). Jede Schicht speichert Keys und Values für vier KV-Köpfe der Dimension 128, in FP8 also 1 KiB je Token.

Der Startbefehl auf der Modellkarte setzt --kv-cache-dtype fp8, und Aleph Alpha gibt an, das Modell mit FP8-KV-Cache evaluiert zu haben. Die Design-Notizen von vLLM zum hybriden KV-Cache-Manager (Seite vom 13. Oktober 2026) beschreiben, wie Sliding-Window-Schichten die Blöcke außerhalb des Fensters freigeben, während Schichten mit voller Attention für jedes Token einen Platz behalten.

Unsere Schätzung aus der config.json: 10 Schichten mit voller Attention × 2 × 4 × 128 Werte je Token, plus 40 Sliding-Window-Schichten × 513 Token. Hielte eine Engine den vollen Kontext in allen 50 Schichten, läge der FP8-Wert bei 32K bei 1,56 GiB.

Zum Vergleich: Llama 3.3 70B braucht für dasselbe Gespräch mit 32K 5 GiB FP8-Cache, wie unser Leitfaden Wie viele Nutzer schafft eine RTX PRO 6000? herleitet. Bei Kolibri-1 bestimmen die Gewichte die Zahl der Karten; die Gespräche fallen kaum ins Gewicht.

Gespräche je Konfiguration

Unsere Regel für Nutzer je Karte nimmt 90 Prozent des Speichers, den der Treiber meldet, und zieht je Karte 3 GiB ab: 83,0 GiB je RTX PRO 6000 Server Edition, 123,4 GiB je H200 NVL und 25,7 GiB je RTX PRO 4500 Server Edition. Die Gewichte gehen je Kopie einmal von diesem Budget ab, der Rest nimmt KV-Cache auf.

Unsere Schätzung nach der Regel für Nutzer je Karte: gleichzeitige Gespräche in voller Länge mit FP8-KV-Cache, Gewichte 73,4 GiB je Kopie. Gezählt sind Anfragen, die im selben Moment laufen, nicht die Mitarbeitenden, die den Dienst nutzen.

Mit einer Engine, die den vollen Kontext in jeder Schicht hielte, käme eine Server-Edition-Karte auf 6 Gespräche zu 32K, eine H200 NVL auf 31 und ein TP=2-Paar auf 59: für ein Team immer noch genug. Deshalb rechnen wir mit beiden Werten, bis das gelieferte System zeigt, welcher gilt.

Zwei Kopien auf zwei Karten halten weniger Gespräche als eine Kopie über beide, laufen aber weiter, wenn eine Karte ausfällt oder eine Engine neu startet. Mit vier KV-Köpfen verteilt Tensor-Parallelismus den Cache gleichmäßig auf zwei oder vier Karten. Die beiden Karten tauschen Daten über PCIe aus, und für zwei Karten behält vLLM seinen eigenen All-Reduce-Kernel, wie unser Artikel zur RTX PRO 6000 ohne NVLink erklärt.

Eine einzelne Karte hält bei den vollen 262.144 Token nach dieser Regel drei Gespräche. Wer Dokumente dieser Länge verarbeitet, plant zwei Karten oder eine H200 NVL ein. Wir liefern Server mit einer, zwei oder vier RTX PRO 6000 Server Edition und mit H200 NVL; nennen Sie uns die erwartete Kontextlänge und die Spitzenlast an Anfragen, und unser Team antwortet mit einer Konfiguration für Kolibri-1.

Geschwindigkeit: 3,46 Mrd. aktive Parameter je Token

Für jedes erzeugte Token werden die aktiven Gewichte einmal gelesen. Bei Kolibri-1 sind das rund 2,8 GB FP8-Gewichte der Experten und der Attention plus die 0,66 GB große Ausgabeschicht in BF16, nach unserer Schätzung insgesamt rund 3,5 GB. Geteilt durch die Speicherbandbreite ergibt das nach unserer Schätzung eine Obergrenze von rund 450 Token pro Sekunde je Datenstrom auf einer RTX PRO 6000 Server Edition mit 1.597 GB/s und rund 1.370 auf einer H200 NVL mit 4.800 GB/s.

Die realen Werte liegen darunter: Auch der KV-Cache wird gelesen, Kernel erreichen nicht die volle Bandbreite, und gebündelte Anfragen gehen an unterschiedliche Experten, sodass ein Batch mehr von den 384 Experten liest als ein einzelner Datenstrom. Eine veröffentlichte Messung von Kolibri-1 auf einer der beiden Karten haben wir mit Stand 24. Oktober 2026 nicht gefunden. Für die Kaufentscheidung zeigt die Obergrenze trotzdem das Wesentliche: Mit 3,46 Mrd. aktiven Parametern antwortet Kolibri-1 auf jeder dieser Karten schnell, und die Wahl zwischen ihnen hängt an Speicher, Software-Unterstützung und der Zahl der Gespräche.

Kolibri-1 mit vLLM auf der RTX PRO 6000: Plugin und FP8-Blöcke

Drei Punkte entscheiden, ob Kolibri-1 auf einer Blackwell-RTX-Karte gut läuft.

1. Das vLLM-Plugin. Laut Modellkarte „requires the aleph-alpha-inference package that provides the Kolibri vLLM plugin“; installiert wird es mit pip install 'aleph-alpha-inference>=1' oder als Container-Image ghcr.io/aleph-alpha/aleph-alpha-inference. Das Paket bringt seine eigene unterstützte vLLM-Version mit, die die Karte nicht nennt. Der Modelltyp in der config.json ist kolibri1.
2. FP8 in Blöcken von 128 × 128. Die Gewichte tragen je Block von 128 × 128 Werten eine Skala, die Aktivierungen werden zur Laufzeit quantisiert. Unser Leitfaden zur Software-Unterstützung für Blackwell RTX (SM120) zeigt den Stand vom 24. Oktober 2026: vLLM 0.30.0 nennt einen Blockwise-FP8-Kernel für SM12x, SGLang ein CUTLASS-Backend für Block-FP8 auf SM120, und TensorRT-LLM nennt für sm120 keine FP8-Block-Skalierung. Welchen Kernel der vLLM-Build des Plugins auf dieser Karte wählt, ist nicht dokumentiert.
3. Hopper als sicherer Weg. Die H200 NVL hat Compute Capability 9.0, und die Matrix von TensorRT-LLM nennt FP8-Block-Skalierung für Hopper; eine H200 steht auf der Liste von Aleph Alpha.

Transformers unterstützt das Modell ab Version 5.20 nativ, ein Ausweg für Tests, nicht für einen Dienst mit vielen Nutzern. Bevor ein System mit Server Edition in Betrieb geht, starten Sie den Container des Plugins darauf mit Ihren Prompts und lesen das Start-Log auf Fallback-Warnungen. Unser Leitfaden zur Abnahmeprüfung von GPU-Servern nennt, was bei der Lieferung zu prüfen ist.

Welche Konfiguration passt

Für die Geschäftsführung gibt es drei sinnvolle Varianten.

• Eine RTX PRO 6000 Server Edition für ein Pilotprojekt: Das Modell passt, und rund 28 Gespräche zu 32K nach unserer Regel reichen, um die deutsche Qualität an Ihren eigenen Dokumenten zu prüfen. Planen Sie die Software-Prüfung oben ein.
• Zwei RTX PRO 6000 Server Edition für eine Abteilung oder den ersten Dienst einer Behörde: zwei Kopien für Ausfallsicherheit oder eine TP=2-Kopie für lange Kontexte. Unsere Seite zum Server mit zwei Server-Edition-Karten beschreibt die Konfiguration; mit zwei AMD EPYC 9135 schätzen wir rund 1,8 kW an der Steckdose.
• Eine oder zwei H200 NVL, wenn Sie die Hardware von der Liste von Aleph Alpha und die höhere Bandbreite wollen. Ein Server mit zwei Karten und NVLink-Brücke zieht mit zwei AMD EPYC 9355 nach der Schätzung auf unserer Seite zum Server mit zwei H200 NVL rund 2,0 kW.

Vier RTX PRO 4500 Server Edition passen zu einem Server, der auch virtuelle Desktops bereitstellt: Die Karte steht ab Release 20.0 auf der vGPU-Liste von NVIDIA, und vier davon halten Kolibri-1 als eine TP=4-Kopie mit 88 Gesprächen zu 32K nach unserer Regel. Unser Artikel zum Server mit vier RTX PRO 4500 Server Edition in 2U behandelt dieses Gehäuse. Wie man einen Server für eine ganze Verwaltung auslegt, steht in unserem Leitfaden zu GPU-Servern für die öffentliche Verwaltung.

Lizenz, Sprachen und was die Modellkarte berichtet

Die LICENSE-Datei ist die Apache License 2.0 ohne zusätzliche Klauseln (11.358 Byte, die Größe des Standardtexts), und laut Modellkarte setzt Aleph Alpha bewusst keine Acceptable-Use-Policy ein („do not implement an acceptable use policy“). Der Abschnitt zur verantwortungsvollen Nutzung bittet, das Modell nicht für nach Artikel 5 des AI Act verbotene Praktiken oder für Urheberrechtsverletzungen einzusetzen, es „following ethical standards“ zu nutzen, und rät: „Avoid unsupervised use in high-stakes environments.“ Das sind Bitten auf der Modellkarte, keine zusätzlichen Lizenzbedingungen. Aleph Alpha gibt an, dass die Lizenz die veröffentlichten Gewichte und Konfigurationsdateien umfasst und sich nicht auf Trainingscode oder -methoden erstreckt. Der Wissensstand reicht für beide Sprachen bis zum 18. Juni 2026.

Aleph Alpha meldet für das nachtrainierte Modell bei hohem Reasoning-Aufwand einen Gesamtwert von 75,5 auf Englisch und 70,8 auf Deutsch sowie 96,9 bei AIME 2025 auf Englisch. Das sind Angaben des Herstellers; prüfen Sie das Modell an Ihren eigenen deutschen Dokumenten, bevor Sie einen Dienst darauf auslegen.

Was wir liefern

Sie können dieses System bei uns kaufen: Unser Team legt die Konfiguration auf Ihre Arbeitslast und Ihr Budget aus und antwortet innerhalb eines Werktages. Wir liefern die RTX PRO 6000 Server Edition und die H200 NVL als Karten und in KI-Servern nach Maß, vor der Lieferung montiert und getestet, mit EU-Vertrag und EU-Rechnung und mit Herstellergarantie auf jede Komponente; auf Wunsch installieren wir Betriebssystem, Treiber, CUDA und eine Container-Laufzeit. Die Einrichtung von Kolibri-1, die Dokumentensuche (Retrieval) auf Ihren Daten und die Plattform darum herum sind unser Service Private AI/ML.

FAQ