ONLYOFFICE-KI mit lokalem LLM: Änderungen in Docs 10, Ollama oder vLLM, passende GPU

ONLYOFFICE-KI mit Ollama auf der eigenen GPU

ONLYOFFICE Docs 10 kann seine KI-Tools mit einem Sprachmodell auf eigener Hardware betreiben, sodass Entwürfe, Verträge und Tabellen zusammengefasst, übersetzt und umformuliert werden, ohne das Unternehmen zu verlassen. Der Release-Beitrag von ONLYOFFICE vom 10. Oktober 2026 sagt, dass man auf Server-Builds „any AI model, including local models for privacy-sensitive use cases“ anbinden kann, und das Help Center bindet Ollama und LM Studio über deren Adresse an. Für ein kleines Team ist eine Workstation mit einer NVIDIA RTX PRO 4000 Blackwell (24 GB) und gpt-oss-20b der Einstieg; eine RTX PRO 6000 Blackwell Workstation Edition mit 96 GB betreibt das größere gpt-oss-120b für eine Abteilung.

Dieser Leitfaden richtet sich an Unternehmen, die ONLYOFFICE bereits nutzen oder es auswählen und den Assistenten im Editor ohne Cloud-Modell wollen: Firmen und Behörden, die eine lokale Alternative zu Copilot in Word suchen, und IT-Teams, die das einrichten. Er beschreibt, was sich in Version 10 geändert hat, wie der Editor mit einem lokalen Modell spricht, was im Unternehmen bleibt und welche Grafikkarte zu welchem Team passt.

Zwei Begriffe vorab. Ein Sprachmodell (LLM) ist die KI, die Text liest und schreibt; „lokal“ heißt, dass es auf einem Rechner in Ihrem Netz läuft statt in der Cloud eines Anbieters. Ollama ist ein quelloffenes Programm (MIT-Lizenz), das solche Modelle herunterlädt und anderen Anwendungen über das Netz bereitstellt.

Was sich in ONLYOFFICE Docs 10 geändert hat

Mit Version 10.0 wurde die KI aus dem Open-Source-Paket herausgelöst. Der Release-Beitrag sagt: „In response to user feedback, we've removed built-in AI from the open-source versions.“ Und weiter: „AI tools are installed separately.“ Derselbe Beitrag nennt die Werkzeuge je Editor:

• Dokumente: lange Dokumente zusammenfassen, Absätze umformulieren oder vereinfachen, Text direkt auf der Seite übersetzen, Korrektur lesen, ein Inhaltsverzeichnis erstellen. Schnelle KI-Aktionen und KI-Assistenten sind „currently available only in the document editor“.
• Tabellen: Formeln erzeugen und erklären, Daten analysieren, Prognosen und Pivot-Tabellen erstellen, uneinheitliche Daten bereinigen, fehlende Werte ergänzen.
• Präsentationen: Gliederungen und Folientitel vorschlagen, Stichpunkte schreiben, Sprechernotizen und Bildideen erzeugen.
• PDF: Fragen zum Dokument stellen, es mit einem Klick zusammenfassen, E-Mails aus dem Inhalt entwerfen, sensible Angaben schwärzen.

Der Beitrag zu den Desktop-Editoren vom 13. Oktober 2026 ergänzt, dass dort keine KI vorinstalliert ist („There is no pre-installed AI component“); das KI-Modul ist ein separater Download. Neben den Cloud-Anbietern nennt er „local LLMs (running via Ollama, LM Studio or GPT4ALL)“.

Die Verwaltung unterscheidet sich je Edition. Laut dem Beitrag von ONLYOFFICE für Entwickler vom 21. Oktober 2026 richten Administratoren in den kommerziellen Editionen von Docs 10.0 die KI-Anbieter einmal zentral im Admin Panel ein; danach können Nutzer keine eigenen Schlüssel mehr hinzufügen und das verwendete Modell nicht mehr wechseln. Zwei Schalter entfernen die KI, wo sie nicht gewünscht ist: editorConfig.customization.ai mit dem Parameter disabled blendet sie in einer Editor-Konfiguration aus, und die Servereinstellung aiSettings.enable schaltet sie ab und nimmt die KI-Tools aus der Plugin-Liste.

Eine Unstimmigkeit sollten Sie kennen. Die Plugin-Dokumentation von ONLYOFFICE führt am 30. Oktober 2026 das KI-Plugin noch als standardmäßig in der Community Edition enthalten, aktiviert im Plugin-Manager unter Background Plugins, und die KI-Schnellstartanleitung im Help Center sagt, die KI-Tools seien in die Editoren eingebaut und es sei kein Plugin zu installieren. Der Release-Beitrag zu 10.0 ist die neuere Aussage. Planen Sie bei einer neuen Community-Installation von 10.0 ein, die KI-Tools selbst hinzuzufügen; der Quellcode des Plugins liegt im öffentlichen Plugin-Repository von ONLYOFFICE unter der Lizenz AGPL-3.0.

ONLYOFFICE mit Ollama, LM Studio oder vLLM verbinden

Die Anleitung des Help Centers für Ollama geht so vor (die Seite selbst nennt keine Docs-Version):

1. Ollama installieren und vor dem Start die erlaubten Ursprünge setzen: OLLAMA_ORIGINS=http://*,https://*,onlyoffice://*.
2. Ein Modell herunterladen, etwa mit ollama run.
3. Im Editor den Reiter AI öffnen, dann Settings, dann Edit AI models, und auf Add klicken (Bezeichnungen wie in der englischen Anleitung).
4. Ollama als Anbieter wählen, http://localhost:11434 eintragen und das Modell auswählen.
5. Das Modell Aufgaben zuordnen. Die Schnellstartanleitung nennt AI Chat, Code, Summarization, Translation, Text Analysis, Image generation, OCR und Vision, auf Wunsch jeweils mit eigenem Modell.

Die Schnellstartanleitung ergänzt, dass aus Sicherheitsgründen standardmäßig kein Modell verbunden ist und dass man bei lokalen Anbietern wie LM Studio oder Ollama statt eines API-Schlüssels die Base URL einträgt.

Vom einzelnen PC zum Team. localhost in der Anleitung bedeutet, dass Ollama auf dem Rechner des Nutzers läuft. Im Team läuft das Modell auf einer GPU-Workstation oder einem Server, und die Base URL wird zur Adresse dieses Rechners. Laut der FAQ von Ollama lauscht Ollama standardmäßig nur auf 127.0.0.1, Port 11434; OLLAMA_HOST muss also gesetzt werden, bevor andere Rechner es erreichen, und OLLAMA_ORIGINS regelt, welche Browser-Ursprünge Cross-Origin-Anfragen senden dürfen. Nach unserer Lesart der beiden Anleitungen schickt der Editor im Browser oder in der Desktop-App jedes Nutzers die KI-Anfragen selbst, also muss jeder Nutzerrechner die Modelladresse erreichen. Wird Ihr ONLYOFFICE Docs über HTTPS ausgeliefert, stellen Sie das Modell über einen Reverse Proxy ebenfalls per HTTPS bereit, weil Browser unverschlüsselte HTTP-Anfragen aus HTTPS-Seiten einschränken. Die FAQ von Ollama beschreibt keine Benutzer-Authentifizierung; begrenzen Sie den Zugang zum Modellport deshalb über die Firewall.

Kontextlänge. Ollama legt den Standardkontext, also die Textmenge, die das Modell auf einmal liest, nach Grafikspeicher fest: 4k Tokens unter 24 GiB, 32k von 24 bis 48 GiB und 256k ab 48 GiB, laut seiner Dokumentationsseite zur Kontextlänge. Nach unserer Lesart meldet der Treiber für eine Karte mit 24 GB wie die RTX PRO 4000 etwas weniger als 24 GiB, Ollama startet sie also mit 4k. Ein langer Vertrag passt nicht in 4k Tokens. Setzen Sie OLLAMA_CONTEXT_LENGTH auf das, was Ihre Dokumente brauchen; Ollama weist darauf hin, dass ein größerer Kontext mehr Speicher braucht.

Mehrere Nutzer gleichzeitig. Ollama bearbeitet standardmäßig eine Anfrage pro Modell zur selben Zeit (OLLAMA_NUM_PARALLEL ist 1) und stellt die übrigen in eine Warteschlange. Für eine Abteilung bedient eine Serving-Engine wie vLLM viele Anfragen auf einer Karte über eine OpenAI-kompatible Schnittstelle. ONLYOFFICE bindet Anbieter, die nicht in seiner Liste stehen, über eine kleine JavaScript-Datei mit Namen, Basis-URL, optionalem Schlüssel und einem Zusatz wie „v1“ an; ein Beispiel für vLLM veröffentlicht es nicht, diese Verbindung richten Sie also selbst ein und testen sie. Unser Vergleich von vLLM, SGLang, TensorRT-LLM, llama.cpp und Ollama und der Schritt von Ollama auf dem PC zum KI-Server im Unternehmen behandeln die Engines.

Sie können die Workstation allein bestellen, die Einrichtung von ONLYOFFICE Docs Community Edition, Ollama und einem lokalen Modell allein oder beides zusammen: die Workstation mit allem fertig installiert und eingerichtet; schreiben Sie uns, wir schlagen Ihnen die beste Lösung für Ihre Aufgaben und Ihr Budget vor.

Welches Modell für welche Aufgabe im Editor

Aufgaben im Editor sind kurz: ein Absatz zum Umformulieren, eine Seite zum Zusammenfassen, eine Formel zum Erklären. Beginnen Sie mit einem mittelgroßen Modell, testen Sie es an Ihren eigenen Dokumenten und wechseln Sie zu einem größeren, wo lange Dokumente oder anspruchsvolle deutsche oder juristische Texte es verlangen.

• gpt-oss-20b unter Apache 2.0 ist in Ollama ein Download von 14 GB mit einem Kontextfenster von 128K. Es ist das Einstiegsmodell für ein Team auf einer Karte mit 24 GB.
• gpt-oss-120b, ebenfalls Apache 2.0, ist ein Download von 65 GB und braucht für ein Team eine Karte mit 96 GB, wie unser Leitfaden zu gpt-oss-120b erklärt.
• EuroLLM-9B-Instruct unter Apache 2.0 deckt laut Modellkarte die Amtssprachen der EU ab und wurde mit Schwerpunkt auf dem Befolgen allgemeiner Anweisungen und auf maschineller Übersetzung feinabgestimmt. Weil ONLYOFFICE Modelle je Aufgabe zuordnet, kann es die Übersetzung übernehmen, während ein anderes Modell schreibt und zusammenfasst.

Unsere Übersicht zu offenen LLMs für europäische Sprachen vergleicht weitere Modelle für deutsche, französische oder polnische Texte. Für ganze Dateien mit Layout ist unser Leitfaden zum lokalen Übersetzen von Dokumenten mit erhaltenem Layout der bessere Weg als der Editor.

Prüfen Sie, was die KI schreibt, bevor es hinausgeht. Auch der Desktop-Beitrag von ONLYOFFICE beschreibt, dass man das Ergebnis vor dem Abschließen prüft. Testen Sie in Tabellen eine erzeugte Formel an einigen Zeilen, deren Ergebnis Sie kennen; eine Formel kann plausibel aussehen und trotzdem auf den falschen Bereich verweisen.

Was im Unternehmen bleibt

Ist nur ein lokales Modell verbunden, gehen markierter Text, Dokumentpassagen und Antworten vom Editor zu Ihrem GPU-Rechner und zurück, und kein Dokumenttext geht an einen Cloud-KI-Anbieter. Drei Einstellungen können das ändern, und das IT-Team legt sie vor dem Rollout fest:

• Cloud-Anbieter. Die Anbieterliste enthält zum Beispiel OpenAI, Anthropic, Google Gemini und OpenRouter. Die Bindung der Nutzer an freigegebene Anbieter beschreibt ONLYOFFICE für seine kommerziellen Editionen; vereinbaren Sie in der Community Edition eine schriftliche Regel und sperren Sie die Adressen der Anbieter bei Bedarf an der Firewall.
• Websuche. Die Schnellstartanleitung nennt Websuche, etwa über Exa, als optionale Einstellung; lassen Sie sie aus, wenn Anfragen das Netz nicht verlassen dürfen.
• MCP-Server. Kommerzielle Editionen können MCP-Server für den Zugriff auf externe Werkzeuge anbinden; jeder ist ein weiterer Datenweg, den Sie prüfen.

Unser Leitfaden zu lokaler KI und DSGVO erklärt, was der eigene Betrieb für personenbezogene Daten ändert, und Ihre Datenschutz­beauftragte oder Ihr Datenschutz­beauftragter bestätigt die Verarbeitung. Wer Nextcloud nutzt, findet den vergleichbaren Assistenten in unserem Leitfaden zu Nextcloud Assistant mit lokalem LLM.

Welche GPU für ONLYOFFICE-KI, und für wie viele Nutzer

Wir dimensionieren mit unserer Nutzer-pro-Karte-Regel aus dem Leitfaden, wie viele Nutzer eine RTX PRO 6000 bedient: 90 Prozent des Speichers, den der Treiber meldet, abzüglich 3 GiB für die Laufzeitumgebung und der Modellgewichte, ergeben den Speicher für Gespräche. Die Zahlen gelten für gleichzeitig laufende Gespräche mit 32.768 Tokens und 16-Bit-Cache, bedient von einer Engine, die Anfragen bündelt, etwa vLLM. Sie sind keine Kopfzahl, denn Kolleginnen und Kollegen drücken nicht alle in derselben Sekunde auf den Knopf.

Unsere Schätzungen nach der Nutzer-pro-Karte-Regel, keine Messungen; Gewichte und Cache je Gespräch (0,75 GiB für gpt-oss-20b, 1,125 GiB für gpt-oss-120b bei 32K) aus unserem Leitfaden zu gpt-oss-120b.

Einstieg. Die RTX PRO 4000 Blackwell ist eine Single-Slot-Karte mit 24 GB bei 672 GB/s und 145 W. Nach unserer Regel hält sie 18,5 GiB, gpt-oss-20b lässt 5,7 GiB übrig, und 5,7 ÷ 0,75 ergibt etwa 7 Gespräche, wie in unserem Artikel zu 30B-MoE-Modellen auf GPUs mit 24 GB. Das passt zu einem Team in der Größe, die ONLYOFFICE für seine kostenlose Community Edition empfiehlt: laut Repository bis zu 20 Nutzer. Für mehr gleichzeitige Verbindungen verweist die Download-Seite von ONLYOFFICE auf die kommerzielle Enterprise Edition, die ONLYOFFICE gesondert lizenziert.

Nächste Stufe. Die RTX PRO 5000 Blackwell mit 48 GB bei 1.344 GB/s hält nach unserer Regel 40,0 GiB und lässt Platz für etwa 36 Gespräche mit gpt-oss-20b oder für ein zweites Modell wie EuroLLM für die Übersetzung. Eine RTX PRO 4500 mit 32 GB kommt auf etwa 17.

Mitte. Eine RTX PRO 6000 Blackwell Workstation Edition oder Max-Q mit 96 GB betreibt gpt-oss-120b mit etwa 19 Gesprächen; auf der RTX PRO 5000 mit 72 GB lädt das Modell fast ohne Reserve, wie unser Vergleich RTX PRO 5000 mit 48 GB oder 72 GB zeigt. Die Workstation Edition nimmt 600 W auf, die Max-Q 300 W. Zwei Karten der Workstation Edition sind das realistische Maximum für diese Edition; drei oder vier Max-Q gehören nur in ein dafür gebautes Gehäuse mit starkem, gerichtetem Luftstrom, denn Puget Systems (Juli 2025) stellte fest, dass direkt benachbarte Max-Q-Karten wenig Raum zum Ansaugen haben, und Exxact (aktualisiert im März 2026) berichtet, dass vier benachbarte Karten ohne seine eigene Luftführung drosselten.

Groß. Ein Rack-Server mit zwei RTX PRO 6000 Server Edition betreibt zwei Kopien von gpt-oss-120b und bedient die Editoren neben einem Firmen-Chat wie AnythingLLM, der KI-Suche über SharePoint und Confluence mit Onyx, Paperless-ngx für die Eingangspost und anderen Abteilungen. Nach unserer Schätzung nimmt er etwa 1,8 kW an der Steckdose auf, wie unsere Seite zum Server mit zwei RTX PRO 6000 Server Edition erklärt.

Die Geschwindigkeit einer Antwort hängt davon ab, wie schnell die Karte die Gewichte liest: 672 GB/s bei der RTX PRO 4000, 1.344 GB/s bei der RTX PRO 5000 und 1.792 GB/s bei der RTX PRO 6000 Workstation Edition. Eine veröffentlichte Messung der KI-Tools von ONLYOFFICE auf diesen Karten haben wir nicht gefunden; die Geschwindigkeit hängt von Modell, Engine, Textlänge und der Zahl gleichzeitiger Anfragen ab.

Wir liefern Workstations mit einer RTX PRO 4000, RTX PRO 5000 oder RTX PRO 6000 Workstation Edition und Server mit RTX PRO 6000 Server Edition für ONLYOFFICE-KI; nennen Sie uns, wie viele Kolleginnen und Kollegen die Editoren nutzen und in welchen Sprachen, und wir schlagen Ihnen Stufe und Modell vor.

FAQ