Lokale KI vs. ChatGPT: welche Antwortqualität der eigene KI-Server im Betrieb liefert

Wie gut lokale KI 2026 im Vergleich zu ChatGPT ist

Für Briefe, E-Mails, Zusammenfassungen, Umformulierungen und Übersetzungen in die großen europäischen Sprachen liefert ein Open-Weight-Modell auf einem Firmenserver mit vier oder acht Karten der NVIDIA RTX PRO 6000 Blackwell Server Edition Antworten in derselben Qualitätsklasse wie die GPT-Modelle in ChatGPT, soweit die öffentliche Bestenliste vom Oktober 2026 das zeigen kann. Ein Server mit zwei Karten betreibt kleinere Modelle, die gut schreiben, aber weniger Fakten kennen und bei schwierigen Fragen mehr Fehler machen. Bei Antworten über das eigene Unternehmen hängt die Qualität weniger vom Modell ab als davon, ob der Assistent das richtige Dokument findet und zitiert.

Mit „lokaler KI“, einem lokalen Sprachmodell oder LLM, meinen wir ein großes Sprachmodell (die Art KI hinter ChatGPT), dessen Dateien, die Gewichte, ein Unternehmen herunterlädt und auf dem eigenen Server betreibt, sodass Fragen und Dokumente im eigenen Netz bleiben. „Open-Weight“ (oft locker Open-Source-KI genannt) bedeutet, dass der Hersteller diese Dateien unter einer Lizenz veröffentlicht, die das erlaubt. ChatGPT läuft nur in der Cloud seines Anbieters.

Diese Seite richtet sich an Geschäftsführung und Abteilungsleitung, die vor der Entscheidung ein realistisches Bild brauchen. Sie vergleicht nur die Qualität. Datenverarbeitung, Verträge und Kostentreiber von ChatGPT Business und Enterprise vergleicht unser Artikel ChatGPT Enterprise oder eigene KI, die Auswahl eines Modells nach Lizenz und Sprachen für die IT unser Leitfaden zur Wahl eines offenen LLM für einen Firmenassistenten.

Was die öffentliche Bestenliste im Oktober 2026 zeigt

Bei LMArena, dessen Bestenliste heute unter arena.ai mit dem Titel „Text Arena“ läuft, stellen Nutzer eine Frage an zwei anonyme Modelle und stimmen für die bessere Antwort. Aus diesen Stimmen berechnet die Seite einen Punktwert je Modell. Am 22. Oktober 2026 zählte die Text-Bestenliste 8.946.356 Stimmen zu 418 Modellen und beschreibt ihre Rangliste als Abdeckung von „text-to-text tasks across math, coding, creative writing, and other open-ended domains“.

LMArena-Text-Bestenliste (arena.ai), Gesamtwertung, Stand 22. Oktober 2026, gelesen am 25. Oktober 2026; der DeepSeek-Eintrag ist die Version vom 10. September 2026. In ChatGPT angebotene Modelle laut OpenAIs Hilfeseite „ChatGPT Enterprise and Edu models and limits“, gelesen am 25. Oktober 2026. Lizenzen der offenen Modelle von ihren Hugging-Face-Seiten, gelesen am 25. Oktober 2026.

Die Rangspanne ist der Bereich der Ränge, die ein Modell angesichts der Unsicherheit seines Punktwerts einnehmen könnte. Wo sich die Spannen zweier Modelle überlappen, wie bei den besten offenen Modellen und den GPT-Modellen in ChatGPT, kann die Bestenliste nicht sagen, welches besser ist. Der Abstand zur Spitze ist dagegen klar: Das führende proprietäre Modell liegt auf Rang 1 bis 3. gpt-oss-120b, das offene Modell, das auf eine einzige Karte passt, liegt 124 bis 133 Punkte unter den GPT-Modellen in ChatGPT.

Drei Grenzen gelten. Die Stimmen stammen von anonymen Nutzern mit eigenen Fragen, überwiegend auf Englisch, und enthalten keines Ihrer Dokumente und keinen Ihrer Kunden. „Max“ und „xHigh“ bedeuten, dass das Modell mit der höchsten Reasoning-Stufe lief, was Antworten langsamer macht. Und die Rangliste sagt nichts über die Sprache, in der Ihre Mitarbeiter schreiben; die Modellseite von GLM-5.3-Flash trägt nur die Sprach-Tags Englisch und Chinesisch.

Welche Modelle auf welchen Server passen

Wie groß das Modell sein kann, bestimmt der Speicher auf den Grafikkarten (GPUs) des Servers. Unsere Regel für nutzbaren Speicher zählt 90 Prozent der 95,6 GiB, die der Treiber je 96-GB-Karte meldet; das ergibt 166,1 GiB für zwei Karten, 332,2 GiB für vier und 664,3 GiB für acht. Die Gewichte müssen hineinpassen, mit Platz für jedes laufende Gespräch.

Gewichte sind die Summen der safetensors-Dateien, die Hugging Face für openai/gpt-oss-120b, Qwen/Qwen3.8-27B-FP8, nvidia/GLM-5.3-Flash-NVFP4 und deepseek-ai/DeepSeek-V4.1-Flash listet, gelesen am 25. Oktober 2026; Punkte aus der Tabelle oben; ob das Modell passt, nach unserer Regel für nutzbaren Speicher.

gpt-oss-120b hat 117 Milliarden Parameter, von denen 5,1 Milliarden an jedem Wort arbeiten, und OpenAI ordnet es Einsätzen zu, die „fit into a single 80GB GPU“. Qwen3.8-27B ist ein dichtes Modell mit 27 Milliarden Parametern. GLM-5.3-Flash hat laut der Karte von Z.ai „320B total parameters and just 18B active parameters“, und NVIDIAs 4-Bit-Version NVFP4 erreicht in NVIDIAs eigener Tabelle fast dieselben Werte wie das Modell in voller Genauigkeit, 0,9211 gegenüber 0,9217 bei GPQA Diamond. DeepSeek-V4.1-Flash mit 510,3 GB an Dateien passt nach unserer Regel in die 664,3 GiB von acht Karten.

Der Qualitätssprung von zwei auf vier Karten ist also groß; von vier auf acht Karten zeigt die Bestenliste für diese Beispiele kaum weiteren Gewinn. Acht Karten lohnen sich für mehr gleichzeitige Nutzer, für mehrere Modelle nebeneinander oder für ein Modell, das Ihr eigener Test vorzieht.

Aufgabe für Aufgabe: wo lokale Modelle nah dran sind und wo sie zurückliegen

Die Tabelle fasst zusammen, was bei alltäglichen Aufgaben im Unternehmen zu erwarten ist. Sie folgt aus der Bestenliste, den Modellkarten und der Arbeitsweise dieser Systeme; Ihr eigener Test bestätigt sie für Ihre Dokumente.

Unsere Zusammenfassung aus der Bestenliste vom 22. Oktober 2026, der gpt-oss-Modellkarte vom August 2025 und OpenAIs Hilfeseite zu ChatGPT Enterprise, gelesen am 25. Oktober 2026; durch Ihren eigenen Test zu bestätigen.

Schreiben und Zusammenfassen. Diese Aufgaben verlangen mehr Sprachgefühl als Wissen, und schon die Modelle für eine Karte schreiben flüssige, gut gegliederte Texte. Geben Sie dem Modell zwei oder drei eigene Briefe als Beispiel, dann übernimmt es Ihren Ton. Bei langen Verträgen oder Berichten begrenzt die auf dem Server eingestellte Kontextlänge, wie viel Text in eine Frage passt.

Übersetzung. OpenAI meldet für gpt-oss-120b 83,0 im deutschen Teil seines mehrsprachigen Tests MMMLU, bei hoher Reasoning-Stufe, gegenüber 81,3 im Mittel aller getesteten Sprachen. Das ist ein Wert des Entwicklers selbst. Für Polnisch, Rumänisch oder kleinere EU-Sprachen prüfen Sie zuerst die Modellkarte und testen mit Muttersprachlern, wie unser Vergleich offener LLMs für europäische Sprachen zeigt.

Aktuelle Ereignisse und Recherche. Ein Modell kennt nur, was in seinen Trainingsdaten stand. OpenAI nennt für gpt-oss einen Wissensstand bis Juni 2024. ChatGPT Enterprise führt Suche, Deep Research und Datenanalyse unter seinen Werkzeugen, kann also nachschlagen und rechnen. Ein lokaler Server hat nichts davon, solange Ihre IT keinen Suchdienst anbindet, und jede Suchanfrage verlässt dann Ihr Netz.

Programmieren. Größere Modelle helfen beim Code mehr; unser Leitfaden zu einem privaten Coding-Assistenten behandelt diesen Fall.

Wir liefern Server mit zwei, vier oder acht Karten der RTX PRO 6000 Server Edition und richten die Modelle darauf ein; schicken Sie uns drei typische Aufgaben Ihrer Mitarbeiter, und unser Team schlägt Modell und Servergröße für diese Qualitätsstufe vor.

Wenn die KI halluziniert: Ursache und was hilft

Ein Sprachmodell halluziniert, wenn es eine selbstsichere, flüssige Antwort schreibt, die falsch ist. Das liegt daran, dass es den wahrscheinlichsten Text erzeugt, und eine fehlende Tatsache hält es nicht davon ab, eine plausible zu formulieren.

OpenAI hat das für seine eigenen offenen Modelle gemessen. Bei SimpleQA, „a diverse dataset of four thousand fact-seeking questions with short answers“, beantwortete gpt-oss-120b 16,8 Prozent richtig, bei einer Halluzinationsrate von 78,2 Prozent, ohne Webzugriff. OpenAIs o4-mini erreichte im selben Test 23,4 und 75,0 Prozent. OpenAI erklärt das so: „smaller models have less world knowledge than larger frontier models and tend to hallucinate more“. Dieselbe Modellkarte stellt fest, dass das Nachschlagen von Informationen Halluzinationen tendenziell verringert.

Für ein Unternehmen folgt daraus eine einfache Regel: Lassen Sie das Modell Firmenfragen nicht aus dem Gedächtnis beantworten. Drei Maßnahmen verringern falsche Antworten:

1. Antworten aus Dokumenten. Der Assistent durchsucht zuerst Ihre Dokumente und gibt die gefundenen Stellen mit in die Frage, ein Verfahren namens Retrieval-Augmented Generation (RAG). Unser Artikel zu RAG auf Unternehmensdaten erklärt, warum der Suchschritt über die Antwort entscheidet.
2. Quellenangaben. Jede Antwort nennt das Dokument und sein Datum, sodass der Leser sie in Sekunden prüfen kann.
3. Erlaubnis, „nicht gefunden“ zu sagen. Der Assistent wird so eingerichtet, dass er meldet, nichts gefunden zu haben, wenn keine Stelle passt, und Mitarbeiter prüfen Antworten, die an Kunden oder in Verträge gehen.

Diese Maßnahmen helfen bei ChatGPT ebenso wie bei einem lokalen Modell. Auf dem eigenen Server wirken sie auf Dokumente, die Ihr Netz nie verlassen.

Ein Qualitätstest mit Ihren eigenen Fragen

Eine Bestenliste grenzt die Wahl auf zwei oder drei Modelle ein. Ihr eigener Test entscheidet, und für seinen Aufbau braucht es keine IT-Abteilung.

1. Sammeln Sie 50 bis 100 echte Fragen aus den Abteilungen, die den Assistenten nutzen werden, in den Sprachen, in denen sie schreiben, mit der richtigen Antwort und dem Dokument, aus dem sie stammt.
2. Ergänzen Sie typische Schreibaufgaben: eine Antwort auf eine Reklamation, eine Zusammenfassung einer Besprechungsnotiz, die Übersetzung eines Produktblatts.
3. Stellen Sie dieselben Fragen zwei oder drei Kandidatenmodellen mit denselben Dokumenten und Einstellungen und, wo Ihre Daten es erlauben, zum Vergleich ChatGPT.
4. Lassen Sie die Fachleute, die die Antworten kennen, bewerten, ohne zu wissen, welches Modell welche Antwort geschrieben hat.
5. Zählen Sie falsche Antworten und Antworten ohne korrekte Quelle getrennt vom Stil, denn eine falsche Tatsache kostet mehr als ein holpriger Satz.

Unsere Leitfäden dazu, was ein Pilot für private KI messen sollte, und zur LLM-Evaluierung vor Modellwechseln liefern der IT die Messseite. Bewahren Sie den Fragenkatalog auf: Neue offene Modelle erscheinen mehrmals im Jahr, und derselbe Test zeigt, ob ein neueres für Sie besser ist.

Unser Service Private AI/ML führt einen solchen Test als Pilot an einem Prozess mit klaren Kennzahlen durch; beschreiben Sie den Prozess und die Sprachen, und wir schlagen die Kandidaten und den Server für den Pilot vor.

Hardware für jede Qualitätsstufe

Dieser Abschnitt fasst die Hardware an einer Stelle zusammen. Die Servergrößen folgen den Referenz­konfigurationen auf unserer Seite KI-Server.

Nutzer sind gleichzeitig laufende Gespräche mit 32.768 Token nach unserer Regel für Nutzer je Karte (0,9 × 95,6 GiB − 3 GiB je Karte − Gewichte): gpt-oss-120b (19 je Karte) aus unserem Leitfaden nach Unternehmens­größe und GLM-5.3-Flash aus unserem GLM-5.3-Flash-Leitfaden, beide mit 16-Bit-Cache; Qwen3.8-27B in FP8 (47 je Karte) mit FP8-Cache, aus unserem Leitfaden zu Qwen3.8-27B auf der RTX PRO 4500 Server Edition; Leistung nach unserer Schätzung (Karten mit 600 W, zwei Prozessoren, plus 15 Prozent).

„Nutzer gleichzeitig“ zählt Gespräche, die im selben Moment beantwortet werden, weit weniger als die Mitarbeiter, die den Assistenten im Laufe eines Tages nutzen. Unser Leitfaden zum privaten ChatGPT-Server nach Unternehmens­größe rechnet die Mitarbeiterzahl in diesen Wert um. Mit seinen Beispielwerten deckt eine Karte mit gpt-oss-120b die Spitzenstunde von einigen Hundert Mitarbeitern ab.

Der Server mit zwei Karten ist die Einstiegskonfiguration: Eine Karte betreibt das Hauptmodell, die zweite wird mit NVIDIAs MIG-Funktion in bis zu vier getrennte Teile mit 24 GB für die Modelle der Dokumentensuche aufgeteilt. Der Server mit vier Karten betreibt ein Modell in der Qualitätsklasse der GPT-Modelle in ChatGPT. Alle drei gehören wegen Lärm und Wärme in einen Serverraum oder ein Rechenzentrum, wie unser Leitfaden zum GPU-Server im Büro erklärt. Ein Anschluss mit 230 V und 16 A trägt bei 80 Prozent 2,94 kW, genug für zwei Karten. Ohne eigenen Serverraum betreibt unser Service Private AI/ML die Modelle auf dedizierter Hardware in einem Tier-3-Rechenzentrum in Litauen, innerhalb der EU.

Die RTX PRO 6000 Max-Q ist die Workstation-Version der Karte mit 300 W; für einen Server im Rack im Dauerbetrieb empfehlen wir die Server Edition.

Was wir liefern

Sie können dieses System bei uns kaufen: Unser Team legt die Konfiguration nach Ihrer Arbeitslast und Ihrem Budget aus und antwortet innerhalb eines Werktages. Wir bauen die Server auf Bestellung mit zwei, vier oder acht Karten der RTX PRO 6000 Server Edition, vor der Lieferung montiert und getestet, geliefert in die gesamte EU mit einem EU-Vertrag und einer Rechnung, mit Herstellergarantie auf jede Komponente, abgewickelt über uns; Stückzahlen und Lieferzeit werden mit dem Angebot schriftlich bestätigt. Unser Service Private AI/ML, mit unserem Engineering-Partner Vixen.UNO, richtet die Modelle ein, die Suche in Ihren Dokumenten mit Quellenangaben und den Pilot, der die Kandidaten an Ihren eigenen Fragen vergleicht.

FAQ