Nextcloud Assistant mit lokalem LLM: Anforderungen, GPU je Funktion und Nutzer je Karte

Nextcloud-KI lokal und ohne Cloud: die Funktionen auf eigener Hardware

Nextcloud Assistant kann mit einem lokalen LLM vollständig auf Ihren eigenen Servern laufen: Nextclouds eigene Apps betreiben ein Sprachmodell, beantworten Fragen zu Ihren Dateien und übersetzen Texte vor Ort, und für größere Modelle oder mehr Nutzer verbindet sich der Assistant mit einem OpenAI-kompatiblen Modellserver wie vLLM auf einem GPU-Server. Die Text-App braucht eine NVIDIA-GPU mit mindestens 8 GB Speicher, und Nextcloud erklärt, dass sich diese App und Context Chat noch nicht skalieren lassen; eine einzelne Instanz bedient also grob 1.000 Anfragen pro Stunde. Darüber trägt ein eigener GPU-Server mit einer NVIDIA RTX PRO 4500 Blackwell Server Edition oder RTX PRO 6000 Blackwell Server Edition die Last und kann auch andere Abteilungen bedienen.

Viele Organisationen in Europa betreiben Nextcloud, damit ihre Dateien auf eigenen Servern bleiben. Der Assistant bringt Zusammenfassungen, Formulierungshilfe, Chat und Fragen zu Dokumenten an denselben Ort, und damit stellt sich der Geschäftsleitung die praktische Frage, mit welcher Hardware auch diese KI-Funktionen im eigenen Haus bleiben. Dieser Leitfaden beantwortet sie zuerst in einfachen Worten und dann in einem technischen Teil für die IT. Jede Angabe zu Nextcloud stammt aus dem Administrationshandbuch „latest“ und Nextclouds GitHub-Seiten, gelesen am 25. Oktober 2026; das Handbuch ändert sich mit jedem Release.

Was die Geschäftsleitung entscheiden muss

Der Assistant selbst ist nur das Fenster in Nextcloud, in das Mitarbeitende eine Anfrage tippen. Dahinter erledigt ein „Provider“ die Arbeit, und davon gibt es zwei Arten:

• Nextclouds eigene lokale Apps. Sie laufen auf einer Maschine unter Ihrer Kontrolle, nutzen kleine offene Modelle und brauchen wenig Einrichtung. Ihre Grenze ist die Kapazität: Für die Text-App llm2 und für Context Chat erklärt Nextcloud, dass sie sich noch nicht skalieren lassen.
• Eine Verbindung zu einem Modellserver. Nextclouds App „OpenAI and LocalAI integration“ schickt die Anfragen an jeden Dienst, der dieselbe Schnittstelle spricht wie OpenAI. Das kann ein GPU-Server in Ihrem eigenen Rechenzentrum mit vLLM sein, einer verbreiteten Open-Source-Engine. Auch in diesem Aufbau verlässt nichts Ihr Netzwerk.

Drei Fragen entscheiden die Hardware: wie viele Mitarbeitende den Assistant zur Spitzenstunde nutzen, ob sie Antworten aus ihren eigenen Dateien brauchen (Context Chat) und ob Besprechungs­aufnahmen transkribiert werden sollen. Ein Pilotbetrieb in einer Abteilung beantwortet die erste; die beiden anderen ergeben sich aus dem, was Sie anbieten wollen.

Nextcloud-Administrationshandbuch, Abschnitt KI (llm2, Context Chat), gelesen am 25. Oktober 2026; Kapazität je Karte nach unserer Nutzer-pro-Karte-Regel, wie unten erläutert.

Der zweite und dritte Aufbau passen auch zu Organisationen, deren andere Systeme später KI nutzen sollen: Ein GPU-Server kann Nextcloud, eine Chat-Oberfläche und einen Coding-Assistenten zugleich bedienen. Unser Leitfaden zur privaten ChatGPT-Alternative beschreibt diesen größeren Aufbau.

Was jede KI-App von Nextcloud braucht

Nextclouds Übersicht nennt, welche App jede Funktion vor Ort bereitstellt. Für die Apps, die für die Hardware zählen, nennt das Handbuch diese Anforderungen:

Nextcloud-Administrationshandbuch, Seiten zu llm2, Context Chat, Local Whisper Speech-To-Text und Recognize, gelesen am 25. Oktober 2026.

llm2 läuft auf llama.cpp und ist damit „compatible with any model in gguf format“. Nextcloud testet nur mit Llama 3.1, dessen unterstützte Sprachen es mit Englisch, Portugiesisch, Spanisch, Italienisch, Deutsch, Französisch, Hindi und Thai angibt, und nennt OLMo als vollständig offene Alternative, die nur mit Englisch gut funktioniert und keine Tools nutzen kann. Die App braucht CUDA 12.2 oder neuer auf dem Host, eine CPU mit AVX und AVX2 und belegt standardmäßig alle Kerne. Sie ist eine External App (ExApp), die über AppAPI und einen Deploy Daemon in einem Docker-Container läuft.

Context Chat indexiert Ihre Dateien in eine mitgelieferte PostgreSQL-Datenbank mit Vektorunterstützung und braucht für die Antworten einen eigenen Text-Provider, llm2 oder die OpenAI-Integration. Das Handbuch warnt, dass die erste Indexierung lange dauern kann, eine synchrone Indexierung „could take several days“, und dass sie im Wartungsfenster läuft. Als Größenhinweis nennt es 20 MB als groß für einen CPU-Aufbau und 100 MB für einen Aufbau mit GPU; passwortgeschützte PDFs werden nicht unterstützt.

stt_whisper2 nutzt faster-whisper mit Whisper large-v2 oder v3 für viele Sprachen oder medium.en für Englisch. Seine Seite sagt klar „Using GPU is currently not supported“; eine GPU bringt dieser App also nichts.

Recognize vergibt Tags für Gesichter, Objekte, Landschaften, Musikgenres und Handlungen in Videos. GPU-Verarbeitung „is supported, but not required“, für NVIDIA-Karten mit Treiber 450.80.02 oder neuer, CUDA Toolkit 11.x und cuDNN 8.x. RTX-PRO-Blackwell-Karten brauchen Software, die mit CUDA 12.8 oder neuer gebaut ist, wie unser Artikel zur Software-Unterstützung von Blackwell zeigt; planen Sie Recognize auf diesen Karten also auf der CPU, solange das aktuelle Release nichts anderes angibt.

Kapazität: was eine lokale App-Instanz trägt

Zu llm2 schreibt Nextcloud, die App lasse sich derzeit nicht skalieren, man arbeite daran, und nach eigener Berechnung habe eine Instanz „a rough capacity of 1000 user requests per hour“; die Zahl beruhe auf Theorie. Für Context Chat gelten dieselben beiden Aussagen. Tausend Anfragen pro Stunde sind etwa eine alle 3,6 Sekunden.

Was das in Mitarbeitenden bedeutet, hängt von der Nutzung ab, und wir haben kein veröffentlichtes Verhältnis zwischen Belegschaft und KI-Anfragen gefunden. Mit den Beispielwerten aus unserem Leitfaden zur Auslegung eines privaten ChatGPT-Servers nach Unternehmens­größe, 40 Prozent der Belegschaft in der Spitzenstunde aktiv mit je 6 Anfragen, entsprechen 1.000 Anfragen pro Stunde etwa 420 Mitarbeitenden, oder etwa der Hälfte, wenn die stärksten Minuten mit dem Doppelten der Stundenrate laufen, dem Spitzenfaktor desselben Beispiels. Das sind Beispielwerte; der Aufgabenverlauf des Assistant in einem Pilotbetrieb ersetzt sie.

Zwei Einstellungen beeinflussen, was Mitarbeitende wahrnehmen. Nextcloud verarbeitet KI-Aufgaben über sein Hintergrund-Job-System, das standardmäßig nur alle 5 Minuten Jobs ausführt, und die Seite zu AI as a Service warnt, dass Prompts eine Verzögerung von bis zu 5 Minuten haben können. Die Abhilfe im Handbuch sind eigene Worker: occ background-job:worker für OC\TaskProcessing\SynchronousBackgroundJob „4 or more times“ ausführen, zum Beispiel als systemd-Dienste. Richten Sie das ein, bevor Sie die GPU beurteilen; sonst misst der Pilot vor allem die Wartezeit in der Warteschlange.

Wir liefern L4, RTX PRO 4500 und RTX PRO 6000 Server Edition als Karten und GPU-Server auf Bestellung; nennen Sie uns die Zahl Ihrer Nextcloud-Nutzer und die geplanten KI-Funktionen, und unser Team antwortet mit einer Konfiguration für die lokalen Apps oder einen vLLM-Server.

Der Weg zu vLLM über die OpenAI-Integration

Nextclouds App „OpenAI and LocalAI integration“ (integration_openai) kann sich mit einer selbst betriebenen LocalAI- oder Ollama-Instanz verbinden oder mit jedem Dienst, der eine Schnittstelle „similar enough to the OpenAI API“ bietet. Ihre README nennt, was sie je Modelltyp bereitstellt: Textfunktionen wie „Free prompt, Chat, Chat with tools, Summarize“, Bilderzeugung, Transkription, Untertitel und Transkription mit Absatzformatierung für Transkriptionsmodelle sowie Sprachausgabe. Der Administrator verbindet beliebig viele Dienste, setzt den API-Schlüssel je Dienst und legt Nutzungskontingente je Dienst fest.

vLLM wird auf Nextclouds Seiten nicht genannt. Seine Dokumentation beschreibt einen HTTP-Server mit den OpenAI-Endpunkten /v1/chat/completions, /v1/completions, /v1/embeddings und, für Sprach­erkennungs­modelle, /v1/audio/transcriptions, also die Schnittstelle, die die Integration erwartet. Nextclouds Maintainer schreiben, die App sei „mainly tested with OpenAI“ und andere Modelle und APIs funktionierten möglicherweise nicht; prüfen Sie die geplanten Nextcloud-Funktionen in einem Pilotbetrieb mit Ihrem vLLM-Server, bevor Sie ausrollen. Starten Sie vLLM mit --api-key und tragen Sie den Schlüssel in Nextcloud ein; der Schlüssel schützt nur Pfade unter /v1, /v2, /inference und /cohere (Sicherheitsleitfaden von vLLM 0.32.0), halten Sie die Engine also im internen Netz.

Dieser Weg hat für eine wachsende Installation drei Vorteile. vLLM bündelt viele Anfragen auf einer Karte, die Kapazität wächst also mit dem GPU-Speicher. Die Blackwell-Unterstützung ist für vLLM dokumentiert; damit entfällt die Frage, ob der Build einer ExApp die Karte unterstützt. Und derselbe Server beantwortet andere Clients, so teilen sich RAG auf Unternehmensdaten und Nextcloud ein GPU-Budget.

Welche GPU für welche Funktion

Unsere Nutzer-pro-Karte-Regel nimmt 90 Prozent des vom Treiber gemeldeten Speichers und zieht 3 GiB je Karte ab; was die Gewichte übrig lassen, nimmt den KV-Cache auf, das Arbeitsgedächtnis jeder laufenden Unterhaltung. Beide Modelle unten stehen laut ihren LICENSE-Dateien auf Hugging Face unter Apache 2.0.

Gewichte als Summe der Safetensors-Dateien auf Hugging Face: gpt-oss-20b 12,8 GiB, gpt-oss-120b 60,8 GiB, gelesen am 25. Oktober 2026. Cache je Unterhaltung mit 16-Bit-KV-Cache aus der jeweiligen config.json: gpt-oss-20b 0,75 GiB je 32K, gpt-oss-120b 1,125 GiB. L4 mit eingeschaltetem ECC. Unsere Schätzungen, keine Messungen.

Die Textfunktionen. Für die lokale App llm2 macht Nextclouds Minimum von 8 GB die L4 (24 GB, 72 W, Low Profile) zur naheliegenden Karte in einem bestehenden Nextcloud-Server, dessen Hersteller sie listet. Ihre Ada-Architektur umgeht zudem die Blackwell-Frage beim Build von llama.cpp. Für den vLLM-Weg empfehlen wir die RTX PRO 4500 Server Edition: 32 GB, 165 W, passiv und einschlitzig, per MIG in zwei isolierte Hälften zu 16 GB teilbar. Mit gpt-oss-20b trägt sie 17 Unterhaltungen zu 32K Token oder 68 zu 8K, was die meisten Assistant-Anfragen wie Zusammenfassungen und Entwürfe abdeckt.

Context Chat. Er braucht 2 GB GPU-Speicher für seine Embeddings und den Text-Provider für die Antworten. Auf einem vLLM-Server kann eine MIG-Hälfte einer RTX PRO 4500 Server Edition kleine Embedding- und Reranker-Modelle wie die 0.6B-Modelle von Qwen3 für einen eigenen Retrieval-Dienst halten, wie unser Leitfaden zum Embedding- und Reranker-Server erklärt.

Sprache. Die lokale Whisper-App läuft nur auf der CPU. Für Transkription auf der GPU binden Sie einen Sprachserver über die Transkriptionsmodelle der Integration an; unser Leitfaden zu den GPU-Anforderungen von Whisper legt ihn aus, und eine RTX PRO 4500 Server Edition trägt Erkennung und Sprechertrennung.

Mehr Nutzer und ein größeres Modell. gpt-oss-120b, mit 117 Milliarden Parametern gegenüber 21 Milliarden bei gpt-oss-20b, läuft auf einer RTX PRO 6000 Server Edition mit 19 Unterhaltungen zu 32K je Karte. Die Einstiegskonfiguration auf unserer Seite KI-Server, mit zwei solchen Karten, zwei AMD-EPYC-Prozessoren und 384 GB DDR5-ECC-Speicher, betreibt eine Kopie je Karte und nimmt nach unserer Schätzung etwa 1,8 kW auf; mit den Beispielwerten unseres Leitfadens nach Unternehmens­größe erzeugen 500 Mitarbeitende in der Spitze etwa 20 gleichzeitige Anfragen, die zwei Kopien mit Reserve abdecken, und ein zweiter Server bringt Redundanz.

Zugriffsrechte und Datenschutz

Context Chat antwortet aus den Dateien, die ein Nutzer lesen darf, und laut Handbuch können Nutzer, die nie Zugriff auf eine Datei oder einen Ordner hatten, deren Inhalte auf keine Weise sehen („will NOT be able to see those contents in any way“). Es nennt aber ein bekanntes Problem: Nutzer, die Zugriff auf Dateien oder Ordner hatten und ihn verloren haben, können den Inhalt unter Umständen weiter über die Context-Chat-App erreichen. Nextcloud arbeitet nach eigener Aussage daran. Für eine Organisation, die Zugriffe bei Rollenwechseln entzieht, ist das wichtig, und Ihr Datenschutz­beauftragter sollte es prüfen, bevor Context Chat für alle eingeschaltet wird.

Auch die allgemeinen Hinweise des Handbuchs gehören in die Rollout-Unterlagen: Sprachmodelle erzeugen mit hoher Wahrscheinlichkeit auch falsche Informationen, Nextclouds Support deckt Implementierungsfehler ab, nicht die Ausgabe der Modelle, und Ausgaben sollen geprüft werden. Nextclouds Übersicht gibt jedem KI-Provider ein „Ethical AI Rating“ von Grün bis Rot, das die Dokumentation der Modellwahl erleichtert.

Was wir liefern

Wir liefern L4, RTX PRO 4500 Server Edition und RTX PRO 6000 Server Edition als Karten mit Herstellergarantie für bestehende Server sowie GPU-Server auf Bestellung, vor der Lieferung montiert und getestet, mit Linux, NVIDIA-Treiber, CUDA und Container-Runtime auf Wunsch vorinstalliert. Unser Engineering-Partner Vixen.UNO richtet vLLM, die Modelle und die Anbindung an Nextcloud im Rahmen unseres Angebots Private AI/ML ein. Mengen und Lieferzeit werden mit dem Angebot schriftlich bestätigt, mit einem EU-Vertrag und einer Rechnung. Wenn Sie eine Konfiguration für Ihre Installation möchten, schicken Sie uns Ihre Nutzerzahl und die geplanten Nextcloud-Funktionen.

FAQ