Open-Source-LLM für Unternehmen: ein Open-Weight-Modell nach Lizenz, Sprachen und GPUs auswählen

Open-Source-LLM für Unternehmen: wie Sie ein Modell auswählen

Für einen Unternehmensassistenten wird ein Open-Source-LLM, also ein Open-Weight-Modell auf eigenen Servern, nach fünf Kriterien ausgewählt: Lizenzbedingungen, die Ihre Nutzung abdecken, Antwortqualität in den Sprachen, in denen Ihre Mitarbeiter schreiben, eine Größe, die Ihre GPUs für die Zahl der Nutzer in der Spitze tragen, Tool Calling und Kontextlänge für die geplanten Aufgaben sowie die Update-Historie des Herstellers. Stand Oktober 2026 stehen auf unserer Shortlist die Familien gpt-oss, Qwen3.8, Mistral, Gemma 4, Llama 4, DeepSeek, GLM und Nemotron, jede mit einem eigenen Hardware-Leitfaden. Welche davon zu Ihrem Assistenten passt, entscheidet ein Test mit Ihren eigenen Fragen; Leaderboards und Herstellerangaben helfen nur, die Liste einzugrenzen.

Dieser Artikel verwendet den Begriff Open-Weight, weil „Open Source“ eine Lizenz bezeichnet, und gibt die Lizenz jedes Checkpoints so an, wie ihr Lizenzgeber sie bezeichnet: Apache 2.0 und MIT stehen auf der Liste der von der Open Source Initiative anerkannten Lizenzen, während die Llama 4 Community License, die Qwen Community License, die GLM-5.3 License und die NVIDIA Nemotron Open Model License eigene Bedingungen ihrer Hersteller sind.

Dieser Vergleich gibt Fakten aus Model Cards, Lizenzdateien und Dokumenten von vLLM wieder, gelesen am 9. und 10. Oktober 2026, und keine eigene Rangfolge. Die Auslegung je Modell steht in unseren LLM-Hardware-Anforderungen je Modell, die Klauseln jeder Lizenz in unserem Vergleich der Open-LLM-Lizenzen für die kommerzielle Nutzung.

Open-Weight-Modellfamilien im Vergleich: Lizenz, Größen und Sprachen

Model Cards, Lizenzdateien und Metadaten auf Hugging Face, abgerufen am 9. und 10. Oktober 2026; Launch-Post zu Qwen3 vom 29. April 2025; Model Card von OpenAI zu gpt-oss vom 5. August 2025. „Sprachen in der Card“ nennt, was der Hersteller angibt, keine getestete Qualität.

Die Lizenz gilt je Checkpoint, nicht je Familie. Qwen3.8-27B steht unter Apache 2.0, während Qwen3.8-Flash-Next eine gesonderte Lizenz von Qwen verlangt, wenn der Lizenznehmer oder ein verbundenes Unternehmen ein Geschäft mit „Model as a Service“ oder „AI Work Assistant“ betreibt; die interne Nutzung ist davon ausgenommen. Gemma 4 steht unter Apache 2.0, während Gemma 3 unter den Gemma Terms of Use und deren Prohibited Use Policy bleibt. Die modifizierte MIT-Lizenz von Mistral Medium 3.5 gewährt keine Rechte, wenn der Monatsumsatz Ihres Unternehmens eine darin genannte Schwelle übersteigt, und die Bedingung erstreckt sich auf abgeleitete Werke.

Für Llama 4 gewährt Metas Acceptable Use Policy Unternehmen mit Hauptgeschäftssitz in der EU die Rechte nach Abschnitt 1(a) an den multimodalen Modellen nicht, ausgenommen Endnutzer eines Produkts, das diese Modelle integriert, und Metas Card bezeichnet die Llama-4-Modelle als „nativ multimodale KI-Modelle“. Die GLM-5.3 License verlangt von Unternehmen, die Model as a Service oberhalb einer Umsatzschwelle betreiben, eine Sicherheitsprüfung durch Z.AI, wie die Lizenz den Namen schreibt. Ob eine Klausel auf Ihr Unternehmen zutrifft, ist eine rechtliche Bewertung für Ihre Rechtsabteilung.

Sprachen: was die Model Cards angeben

Eine Model Card nennt die Sprachen, die ihr Hersteller angibt, und sagt nichts über die Qualität bei Ihren Verträgen oder Tickets. Nemotron 3 Super nennt sieben Sprachen, darunter Deutsch, und Llama 4 nennt zwölf, darunter Deutsch, aber nicht Polnisch oder Rumänisch. Gemma 4 gibt 35+ Sprachen als direkt nutzbar und 140+ im Pre-Training an, ohne sie zu nennen.

Die Cards von Qwen3.8-27B und DeepSeek-V4-Flash-0731 nennen keine Sprachen, und GLM-5.3 trägt nur die Tags Englisch und Chinesisch. OpenAI gibt für gpt-oss-120b auf dem deutschen MMMLU bei hohem Reasoning-Aufwand 83,0 an, eine Zahl des Entwicklers selbst. Für Deutsch, Polnisch und Rumänisch vergleicht unser Artikel zu offenen LLMs für europäische Sprachen europäische Modelle wie EuroLLM, Bielik und PLLuM.

Modellgröße, GPUs und gleichzeitige Nutzer

Die GPUs müssen die Gewichte des Checkpoints und einen KV-Cache für jedes laufende Gespräch fassen. Nach den Schätzungen in unserer Übersicht laufen gpt-oss-120b in der veröffentlichten Form (65,3 GB) und Qwen3.8-27B in FP8 (30,9 GB) auf einer RTX PRO 6000 oder einer H200 NVL, und ein DGX Spark (128 GB) fasst jedes der beiden Modelle für einen Pilotbetrieb. Mistral Small 4 in FP8 und Llama 4 Scout in FP8 brauchen zwei RTX PRO 6000 oder eine bis zwei H200 NVL. DeepSeek-V4-Flash-0731 braucht zwei RTX PRO 6000 für 20 Nutzer bei 32K. Llama 4 Maverick braucht vier H200 NVL oder acht RTX PRO 6000, und DeepSeek-V3.2 und GLM-5.3 brauchen acht H200 NVL.

Für ein ganzes Unternehmen bestimmt die Spitze der Anfragen in Bearbeitung die Zahl der Karten. Unser Leitfaden zur GPU-Auslegung nach Unternehmensgröße rechnet 2.000 Mitarbeiter mit Beispielwerten durch: 40 Prozent aktiv in der Spitzenstunde, je 6 Anfragen pro Stunde, 30 Sekunden pro Anfrage und ein Spitzenfaktor von 2. Das ergibt 80 Anfragen in Bearbeitung. Mit gpt-oss-120b bei 32K fasst eine RTX PRO 6000 etwa 19 Gespräche und eine H200 NVL etwa 55, die Spitze braucht also fünf Kopien auf RTX PRO 6000 oder zwei Kopien auf H200 NVL.

Zwei Server mit je zwei H200 NVL fassen noch 110 Gespräche, wenn einer ausfällt. Mit DeepSeek-V4-Flash fasst eine Kopie auf zwei RTX PRO 6000 etwa 43 Gespräche bei 0,12 GiB FP8-Cache je Gespräch, sodass zwei Server mit je vier Karten die Spitze von 80 halten, wenn einer ausfällt. Das sind Speicherschätzungen, und die Antwortzeit unter Last braucht einen eigenen Test.

Wir bauen KI-Server auf Bestellung mit H200 NVL oder RTX PRO 6000 Server Edition und liefern Konfiguration und Angebot innerhalb eines Werktages. Schicken Sie uns die Modelle auf Ihrer Shortlist und die erwartete Spitze an Nutzern.

Tool Calling, Kontextlänge und Reasoning-Modi

Ein Assistent, der Tickets nachschlägt, eine Datenbank abfragt oder eine interne API aufruft, braucht ein Modell, das Tool-Aufrufe erzeugt, und eine Engine, die sie parst. Die Tool-Calling-Dokumentation von vLLM kennzeichnet dafür --enable-auto-tool-choice als zwingend, und --tool-call-parser benennt das Format der Modellfamilie.

Model Cards auf Hugging Face; Tool-Calling-Dokumentation von vLLM vom 8. Oktober 2026 und Rezepte von vLLM, aktualisiert zwischen dem 11. Mai und dem 8. Oktober 2026, abgerufen am 10. Oktober 2026; Kontext aus den Cards und unseren Hardware-Leitfäden.

Planen Sie mit dem Kontext, den Ihre Anfragen brauchen, statt mit dem längsten, den ein Modell akzeptiert, denn der KV-Cache wächst mit dem festgelegten Kontext. Auf einer RTX PRO 6000 fasst gpt-oss-120b nach unserer Schätzung etwa 19 Gespräche bei 32K, 79 bei 8K und 4 bei 128K, und der festgelegte Kontext muss abgerufene Passagen und Tool-Ergebnisse einschließen.

Reasoning-Modi verändern die Zeit, die jede Anfrage in Bearbeitung bleibt. gpt-oss setzt seine Reasoning-Stufe im System-Prompt, zum Beispiel „Reasoning: high“, die Card von Mistral Small 4 nennt den Reasoning-Aufwand „pro Anfrage konfigurierbar“, und für hohen und maximalen Reasoning-Aufwand empfiehlt DeepSeek bis zu 384K Ausgabe-Token. Testen Sie jeden Anwendungsfall auf der Reasoning-Stufe, mit der er laufen wird.

Release-Rhythmus und Update-Historie des Herstellers

Offene Modellfamilien veröffentlichen mehrmals im Jahr neue Versionen, oft innerhalb der Nutzungsdauer eines Servers. DeepSeek veröffentlichte V4-Flash als Preview, ersetzte es durch das Release -0731 und brachte am 10. September 2026 V4.1-Flash heraus, das unser DeepSeek-Leitfaden auf vier H200 NVL mit seinen Engram-Tabellen im Host-Speicher einordnet, so wie das Rezept von vLLM es betreibt. NVIDIA veröffentlichte Nemotron 3 Nano 30B-A3B am 15. Dezember 2025, Super am 11. März 2026, Ultra am 4. Juni 2026 und 3.5 Lightning am 11. August 2026, und die letzten beiden kamen unter OpenMDW-1.1 statt unter der Nemotron Open Model License. Google wechselte von den Gemma Terms of Use für Gemma 3 zu Apache 2.0 für Gemma 4.

Eine neue Version kann deshalb die Lizenz, den Speicherbedarf und die benötigten Karten ändern. Notieren Sie für jeden Hersteller auf der Shortlist, wie oft Checkpoints erscheinen, ob frühere herunterladbar bleiben, ob es FP8- oder NVFP4-Checkpoints und Rezepte von vLLM für Ihre Karten gibt und ob die Lizenz gleich geblieben ist. Bevor Sie ein Modell in der Produktion austauschen, führen Sie die Regressionstests aus, die unser Leitfaden zur LLM-Evaluierung vor dem Modellwechsel beschreibt.

Öffentliche Leaderboards: was LMArena zeigt

Das Text-Leaderboard von LMArena, das lmarena.ai inzwischen unter dem Titel „Text Arena“ an arena.ai weiterleitet, zeigte am 8. Oktober 2026 8.734.330 Stimmen für 414 Modelle. Nach eigener Beschreibung decken seine Rankings „Text-zu-Text-Aufgaben aus Mathematik, Programmierung, kreativem Schreiben und anderen offenen Bereichen“ ab. Jeder Eintrag hat einen Score mit Konfidenzintervall, eine Rangspanne und eine Lizenzspalte; die Lizenzen in diesem Artikel stammen aus den eigenen Dateien der Lizenzgeber.

An diesem Tag hatte gemma-4-31b einen Score von 1452 ±7 bei einer Rangspanne von 55 bis 95. qwen3.8-27b hatte 1438 ±5 und eine Spanne von 81 bis 118. gpt-oss-120b hatte 1352 ±4 und nvidia-nemotron-3-super-120b-a12b 1360 ±7. deepseek-v4-flash hatte 1436 ±4 und eine Spanne von 86 bis 119, und die Seite sagt nicht, ob dieser Eintrag die Preview oder das Release -0731 ist. Ein eigener Eintrag, deepseek-v4-flash-high-preview, ist die Preview auf einer festen Reasoning-Stufe.

Ein Leaderboard hilft beim Aufstellen einer Shortlist, enthält aber keines Ihrer Dokumente, keine Ihrer Sprachen und keines Ihrer Tools. Die Seite definiert die Rangspanne nicht; Spannen, die sich so weit überschneiden, deuten aber darauf hin, dass benachbarte Modelle nicht verlässlich geordnet sind, und die Entscheidung beruht deshalb auf Ihrem eigenen Test.

Auswahlverfahren für einen Unternehmensassistenten

1. Halten Sie die Anwendungsfälle, die Sprachen, die Nutzerspitze, den Kontext, den jede Anfrage braucht, und die Tools fest, die der Assistent aufrufen muss.
2. Lesen Sie die Lizenz jedes infrage kommenden Checkpoints, notieren Sie das Lesedatum und geben Sie sie an Ihre Rechtsabteilung weiter.
3. Streichen Sie mithilfe unserer Hardware-Leitfäden Modelle, deren Gewichte plus Cache in der Spitze nicht auf die geplanten Karten passen.
4. Behalten Sie zwei oder drei Kandidaten und betreiben Sie jeden mit derselben Engine, denselben Prompts, denselben abgerufenen Passagen und demselben Kontextlimit.
5. Bauen Sie aus Ihren eigenen Fragen in jeder Sprache einen Evaluierungssatz mit Tool-Call-Fällen und den erwarteten Aufrufen, und lassen Sie Muttersprachler die Antworten blind bewerten.
6. Testen Sie den Kandidaten, den Ihre Bewerter bevorzugen, auf dem GPU-Typ der Produktion in der erwarteten Spitze unter Last und messen Sie die Zeit bis zum ersten Token und die Geschwindigkeit je Nutzer.
7. Halten Sie Repository, Revision und Lizenz des gewählten Checkpoints fest und lassen Sie den Evaluierungssatz bei jedem Update erneut laufen.

Das technische Assessment in unserem Service Private AI/ML umfasst Modell- und GPU-Auswahl und einen Pilotplan mit Metriken; sein Preis steht vor Beginn fest. Beschreiben Sie Ihre Anwendungsfälle und Sprachen im Formular unten.

Was wir tun

Unser Service Private AI/ML stellt offene und kommerzielle Modelle on-premise mit vLLM, Ollama oder NVIDIA AI Enterprise bereit oder auf dedizierter Hardware in einem Tier-3-Rechenzentrum in Litauen und protokolliert Anfragen und Antworten, sodass Security und Legal sehen, wer worauf zugreift. Das erste Gespräch ist kostenlos, und danach haben Sie zwei oder drei mögliche Lösungsszenarien. Wir starten mit einem Pilotprojekt auf einem Prozess mit klaren Metriken und skalieren nur, was seinen Wert bewiesen hat. Eurokommerz hält den Vertrag und liefert die KI-Server mit H200 NVL, RTX PRO 6000 Server Edition oder L40S, mit Engineering von unserem Engineering-Partner Vixen.UNO.

FAQ