AnythingLLM GPU-Anforderungen: Desktop-App für eine Person oder Docker-Server fürs Team

AnythingLLM als Desktop-App oder Docker-Server im Unternehmen

Nehmen Sie die Desktop-App von AnythingLLM, wenn eine Person am eigenen Rechner mit ihren PDFs und anderen Dokumenten chattet, und den Docker-Server, wenn mehrere Kollegen Workspaces teilen, eigene Konten brauchen oder ein Chat-Widget im Intranet nutzen. Die Hardware richtet sich nach dem Modell, das Sie betreiben: Eine Workstation mit einer RTX PRO 4000 Blackwell (24 GB) betreibt ein Modell der 20B-Klasse gut für eine Person oder ein kleines Team, eine RTX PRO 6000 Workstation Edition mit 96 GB betreibt gpt-oss-120b für eine Abteilung.

AnythingLLM ist eine quelloffene Anwendung, mit der Sie über ein Sprachmodell mit Ihren eigenen Dokumenten chatten, veröffentlicht von Mintplex Labs unter der MIT-Lizenz. Die Desktop-App ist die Ausnahme: Ihre eigenen Nutzungsbedingungen in der Fassung vom 14. Juli 2025 erteilen eine nicht übertragbare Lizenz für die persönliche oder interne geschäftliche Nutzung und untersagen, sie zu vertreiben, zu verkaufen oder auf andere Weise an Dritte weiterzugeben; jeder Nutzer lädt sie deshalb selbst bei Mintplex Labs herunter. Am 30. Oktober 2026 wird das Projekt aktiv weiterentwickelt; die letzte Version auf GitHub stammt vom 27. August 2026. Die Installationsübersicht beschreibt die Wahl klar: Die Desktop-App ist für den Fall gedacht, dass Sie keine Mehrbenutzer-Unterstützung brauchen und alles nur auf Ihrem Gerät bleiben soll; die Docker-Version für eine Instanz, die viele Menschen gleichzeitig nutzen, mit Admin- und regelbasiertem Zugriff auf Workspaces und Dokumente.

Dieser Artikel behandelt diese Wahl, die Voreinstellungen, die für deutsche Dokumente zählen, was die App nach außen sendet, und die Grafikkarte je Stufe. Das Prinzip des Dokumenten-Chats erklärt unser Leitfaden zu RAG auf Unternehmensdaten; den Schritt vom PC-Experiment zum gemeinsamen Firmenserver beschreibt unser Leitfaden von Ollama auf dem PC zum KI-Server für das Unternehmen.

Was die Desktop-App auf einem Rechner leistet

Die Desktop-App installiert sich wie jedes andere Programm unter Windows, macOS oder Linux und bezeichnet sich selbst als Anwendung für eine Person. Sie bringt eine eingebaute Modell-Engine mit, die laut README auf Lemonade und llama.cpp beruht, mit CUDA auf NVIDIA-Karten, sodass ein heruntergeladenes Modell ohne eigenen Server läuft. Sie kann auch Ollama oder LM Studio auf demselben Rechner nutzen.

Die Systemanforderungen der Dokumentation sind für die App selbst bescheiden: 16 GB RAM und ein Prozessor mit 8 Kernen beliebiger Art. Den Rest entscheidet das Modell. Laut der Seite ist das Sprachmodell oft der Engpass für eine gute Nutzung, und für lokale Modelle empfiehlt sie eine GPU. Sie schlägt außerdem ein Muster vor, das zu einer kleinen Firma passt: Hat ein Rechner keine geeignete GPU, läuft das Modell auf einer anderen Maschine mit GPU, und die App verbindet sich über das Netz damit. Mehrere Kollegen behalten dann jeweils ihre eigene Desktop-App und ihre Dokumente auf dem Laptop, während eine GPU-Workstation allen das Modell bereitstellt.

Docker-Server für mehrere Benutzer mit Rollen und Chat-Widgets

Die Docker-Version läuft als Server, den Kollegen im Browser öffnen. Ihre Seite zu Sicherheit und Zugriff nennt die Rollen des Mehrbenutzer-Modus:

Dokumentation von AnythingLLM, Security and Access, gelesen am 30. Oktober 2026.

Die Seite hält fest, dass diese Einstellungen nur in der Docker-Version verfügbar sind und dass der Mehrbenutzer-Modus nach dem Einschalten nicht in den Einzelbenutzer-Modus zurückkehren kann. Ohne Mehrbenutzer-Modus schützt ein Passwort die ganze Instanz, und wer es kennt, sieht alle Chats. Für Single Sign-on dokumentiert AnythingLLM auf seiner Konfigurationsseite ein „Simple SSO“ (SIMPLE_SSO_ENABLED): Ein System, das Sie selbst betreiben, fordert über die API von AnythingLLM einen einmaligen Anmeldelink für einen vorhandenen Nutzer an, der nach 10 Minuten verfällt. OpenID Connect oder SAML ist das nicht. Soll sich die Belegschaft direkt über das Verzeichnis anmelden, passt eine Oberfläche, die das dokumentiert, etwa der Open-WebUI-Stack aus unserem Leitfaden zur privaten ChatGPT-Alternative.

Die Docker-Version veröffentlicht außerdem Chat-Widgets, kleine Chatfenster für eine Webseite, die aus einem Workspace antworten. Die Installationsübersicht nennt das Veröffentlichen von Chat-Widgets im öffentlichen Internet als Grund für Docker. Auf einer Intranetseite bleibt das Widget intern; alles im öffentlichen Internet braucht dieselbe Sorgfalt wie jeder öffentliche Webdienst. Nach Artikel 50 Absatz 1 der KI-Verordnung, anwendbar seit dem 2. August 2026, müssen Menschen, die mit einem KI-System chatten, darüber informiert werden, sofern das nicht offensichtlich ist; unser Leitfaden zu den Pflichten nach der KI-Verordnung erklärt den Zeitplan, und was für Ihr Widget gilt, bestätigt Ihre Rechtsberatung.

Dokumente im Workspace anhängen, einbetten oder anheften

Ein Workspace ist eine Sammlung von Dokumenten und Chats zu einem Thema oder Team. AnythingLLM behandelt Dokumente auf drei Arten, wie seine Dokumentation zum Chatten mit Dokumenten beschreibt:

• Im Chat anhängen: Standardmäßig fügt die App den vollen Text des Dokuments in das Gespräch ein, beschränkt auf diesen Thread; übersteigt das Dokument das Kontextfenster des Modells, fragt die App, ob sie es stattdessen einbetten soll.
• In den Workspace einbetten: Das Dokument wird in Abschnitte zerlegt, vom Embedder in Vektoren umgewandelt und in der Vektordatenbank gespeichert, standardmäßig LanceDB; jede Frage holt die passendsten Abschnitte, und die Dokumentation empfiehlt für die meisten Modelle etwa 4 bis 6 Ausschnitte.
• Anheften: Der volle Text eines eingebetteten Dokuments geht in jede Antwort des Workspace ein, was die Dokumentation als letzten Ausweg für Dokumente bezeichnet, die ins Kontextfenster passen.

Bei deutschen Dateien kommt es auf den Embedder an. Der eingebaute Embedder ist all-MiniLM-L6-v2, etwa 25 MB groß, er läuft auf dem Prozessor, und die Dokumentation sagt, er sei überwiegend mit englischen Dokumenten trainiert. Ollama gehört zu den aufgeführten lokalen Embedder-Anbietern, sodass ein mehrsprachiges Modell wie bge-m3 stattdessen auf der GPU laufen kann, in Ollama ein Download von 1,2 GB, den die Modellseite mit mehr als 100 Arbeitssprachen beschreibt. Entscheiden Sie das, bevor Sie Dokumente laden: Die Seite zum Embedder warnt, dass Sie bei einem Wechsel Ihre hochgeladenen Dokumente löschen und neu einbetten müssen.

Ganze Dokumente anzuhängen kostet Grafikspeicher. Ein langer Vertrag, voll angehängt, ergibt ein langes Gespräch, und der Speicher, den jedes Gespräch auf der GPU belegt, wächst mit seiner Länge, wie der nächste Abschnitt zeigt.

Sie können die Workstation allein bestellen, die Einrichtung der Docker-Version von AnythingLLM mit Ollama oder vLLM und den Modellen allein oder beides zusammen: die Workstation mit allem fertig installiert und eingerichtet; schreiben Sie uns, wir schlagen Ihnen die beste Lösung für Ihre Aufgaben und Ihr Budget vor.

Eingebaute Engine, Ollama oder vLLM als Modell-Backend

Für eine Person genügen die eingebaute Engine oder Ollama. Für ein Team entscheidet das Backend, wie viele Kollegen gleichzeitig eine Antwort bekommen. Laut FAQ bearbeitet Ollama standardmäßig pro Modell eine Anfrage nach der anderen (OLLAMA_NUM_PARALLEL steht auf 1) und stellt den Rest in eine Warteschlange; der Wert lässt sich erhöhen, und jeder zusätzliche Platz braucht Speicher für seinen Kontext. Eine Serving-Engine wie vLLM bündelt viele Gespräche auf einer Karte und bietet eine OpenAI-kompatible Schnittstelle, die AnythingLLM über seinen generischen OpenAI-Anbieter erreicht. Unser Vergleich von vLLM, SGLang, TensorRT-LLM, llama.cpp und Ollama beschreibt die Engines für das IT-Team.

Welche GPU für AnythingLLM und für wie viele Nutzer

Wir rechnen mit der Nutzer-pro-Karte-Regel aus unserem Leitfaden, wie viele Nutzer eine RTX PRO 6000 bedient: 90 Prozent des Speichers, den der Treiber meldet, abzüglich 3 GiB für die Laufzeit und abzüglich der Modellgewichte, bleibt für die Gespräche. Die Zahlen unten sind Gespräche mit 32.768 Token, die im selben Moment laufen, mit 16-Bit-Cache; das ist nicht dasselbe wie die Zahl der Mitarbeitenden.

Unsere Schätzungen nach der Nutzer-pro-Karte-Regel, keine Messungen; Gewichte und Cache pro Gespräch (0,75 GiB für gpt-oss-20b, 1,125 GiB für gpt-oss-120b bei 32K) aus unserem gpt-oss-120b-Leitfaden.

Die Einstiegszeile: Eine RTX PRO 4000 hält nach unserer Regel 18,5 GiB, gpt-oss-20b lässt 5,7 GiB frei, und 5,7 ÷ 0,75 ergibt 7 Gespräche, wie in unserem Artikel zu 30B-MoE-Modellen auf 24-GB-GPUs. Die RTX PRO 5000 mit 48 GB hält 40,0 GiB, damit bleiben 27,2 GiB und etwa 36 Gespräche; eine RTX PRO 4500 mit 32 GB kommt auf etwa 17. Das größere gpt-oss-120b braucht für ein Team die Karte mit 96 GB: Auf der RTX PRO 5000 mit 72 GB lädt es mit etwa 0,7 GiB Reserve, wie unser Vergleich RTX PRO 5000 mit 48 GB oder 72 GB zeigt, und lässt keinen Platz für Gespräche. Auf einer RTX PRO 6000 bleiben 22,2 GiB, etwa 19 Gespräche; zwei Karten als getrennte Kopien halten etwa 38, laut unserem Leitfaden zu gpt-oss-120b.

Zwei Dinge verschieben diese Zahlen. Lange angehängte Dokumente verlängern Gespräche: Bei vollen 131.072 Token braucht gpt-oss-120b 4,5 GiB pro Gespräch, und eine RTX PRO 6000 hält vier. Und nicht alle fragen in derselben Sekunde. Unser Leitfaden zum privaten ChatGPT-Server nach Unternehmens­größe rechnet ein Beispiel durch, in dem 500 Mitarbeitende im stärksten Moment etwa 20 laufende Anfragen erzeugen; mit Ihrer eigenen Nutzung weicht der Wert ab, und ein Pilot misst ihn.

Die Karten unterscheiden sich auch im Tempo. Ein einzelnes Gespräch wird davon begrenzt, wie schnell die Karte die Gewichte liest, und die Bandbreite beträgt 672 GB/s bei der RTX PRO 4000, 1.344 GB/s bei der RTX PRO 5000 und 1.792 GB/s bei der RTX PRO 6000 Workstation Edition. Eine veröffentlichte Messung von AnythingLLM auf diesen Karten haben wir nicht gefunden; das Tempo hängt von Modell, Engine, Kontextlänge und der Zahl gleichzeitiger Fragen ab. Zwei RTX PRO 6000 Workstation Edition mit je 600 W sind das realistische Maximum dieser Edition in einer Workstation, und drei oder vier Max-Q gehören nur in ein dafür gebautes Gehäuse mit starkem, gerichtetem Luftstrom, wie unsere Seite zur Workstation mit vier Max-Q erklärt. Für größere Teams ist ein Rack-Server mit RTX PRO 6000 Server Edition der nächste Schritt.

Was AnythingLLM nach außen sendet

Das README beschreibt die Telemetrie als anonyme Nutzungsinformationen, die an PostHog gehen: die Installationsart, Ereignisse beim Hinzufügen oder Entfernen von Dokumenten ohne Angaben zum Dokument, den Typ der Vektordatenbank, Modell-Anbieter und Modell-Tag sowie ein Ereignis, wenn ein Chat gesendet wird, ohne dessen Inhalt. Laut README werden keine IP-Adresse und keine anderen identifizierenden Angaben erhoben. Die Anleitung zum Abschalten im README legt nahe, dass die Telemetrie standardmäßig an ist; sie wird mit DISABLE_TELEMETRY auf „true“ in der Umgebungsdatei des Servers oder in der App unter Privacy abgeschaltet. Das README nennt weitere ausgehende Verbindungen: cdn.anythingllm.com für Modell-Downloads und GitHub-Domains für Dateien, die Größen von Kontextfenstern zwischenspeichern. Eine Firewall-Regel, die ausgehenden Verkehr der Maschine sperrt, fängt auf, was eine Einstellung übersieht, wie unser Artikel zur Telemetrie in selbst gehosteten KI-Werkzeugen für andere Komponenten erklärt.

Mit einem lokalen Modell und einem lokalen Embedder bleiben Dokumente, Vektoren und Chats auf Ihrer Hardware. Stellt jemand den Workspace auf einen Cloud-Modellanbieter um, was AnythingLLM unterstützt, geht der Text dorthin. In der Docker-Version darf nur die Rolle Admin die Einstellungen für Modell und Embedder ändern, ein Grund, die Zahl der Admins klein zu halten.

AnythingLLM vs. Open WebUI für das ganze Unternehmen

AnythingLLM passt zu einer Firma oder Abteilung, die in Workspaces denkt: eine Dokumentensammlung pro Mandant, Projekt oder Thema, mit dem Chat daneben und Agenten im selben Fenster. Open WebUI ist die Oberfläche des Stacks in unserem Leitfaden zur privaten ChatGPT-Alternative, mit dort dokumentierter Anmeldung über OpenID Connect und einem Leitfaden zur Skalierung auf 1.000 Nutzer. Beide sprechen mit demselben vLLM-Server, die GPU-Entscheidung hängt also nicht von der Oberfläche ab. Beginnen Sie mit der, die zur Arbeitsweise Ihrer Leute passt, auf der Hardware aus der Tabelle oben.

Dieselbe GPU kann neben AnythingLLM weitere Dokumentenwerkzeuge bedienen: Paperless-ngx mit lokaler KI legt die Eingangspost ab und verschlagwortet sie, Onyx durchsucht SharePoint und Confluence, Open Notebook und andere lokale NotebookLM-Alternativen machen aus Quellen belegte Antworten und Audio-Zusammen­fassungen, und die KI-Tools von ONLYOFFICE arbeiten direkt im Editor.

Was die Einrichtung von AnythingLLM umfasst

Wenn wir AnythingLLM einrichten, ist auf der Workstation oder dem Server die Docker-Version installiert, dazu die Modell-Engine auf der GPU mit einem zur Karte passenden Modell und ein mehrsprachiger Embedder für deutsche und englische Dokumente; die Telemetrie ist abgeschaltet, und die ersten Workspaces sind angelegt. Wer lieber mit der Desktop-App arbeitet, lädt sie selbst unter den Nutzungsbedingungen von Mintplex Labs herunter und verbindet sie mit derselben Modell-Engine. Für ein Team sind Konten und Rollen eingerichtet, und der Server ist nur im eigenen Netz erreichbar. Unser Leitfaden zur Vorbereitung von Firmendokumenten für einen KI-Assistenten hilft bei der Auswahl der ersten Dokumente.

Wir liefern Workstations mit einer RTX PRO 4000, RTX PRO 5000 oder RTX PRO 6000 Workstation Edition und Server mit RTX PRO 6000 Server Edition für AnythingLLM; nennen Sie uns, wie viele Kollegen es nutzen und welche Dokumente, und wir schlagen die passende Stufe vor.

FAQ