Von Ollama oder LM Studio auf einem PC zum gemeinsamen KI-Server für die ganze Firma

Was sich ändert, wenn die ganze Firma das PC-Experiment will

Eine lokale KI, die in Ollama oder LM Studio auf einem PC läuft, ist ein Werkzeug für einen Benutzer. Damit daraus ein Dienst für 20 bis 100 Kollegen wird, braucht die Firma eine Server-Software, die viele Fragen gleichzeitig beantwortet, Logins mit Berechtigungen, einen Ablauf für Updates und Sicherungen, Lizenzbedingungen, die den Einsatz in der ganzen Firma abdecken, und Grafikkarten mit genug Speicher für jedes laufende Gespräch. Das Modell, das Ihnen gefallen hat, und die Fragen, mit denen Sie getestet haben, gehen mit; die Desktop-Software und ihre Dateiformate werden meist ersetzt.

Dieser Leitfaden hat zwei Teile. Die erste Hälfte richtet sich an Inhaber und Geschäftsführung, die das Experiment haben funktionieren sehen und jetzt über den nächsten Schritt entscheiden. Die zweite Hälfte, ab dem Abschnitt zur Server-Software, gibt dem IT-Team oder dem externen IT-Dienstleister die Details.

Ollama und LM Studio sind Programme, die ein offenes KI-Modell (ein großes Sprachmodell, die Art KI hinter ChatGPT) herunterladen und auf dem Rechner ausführen, auf dem sie installiert sind. Open WebUI ist eine Chat-Seite im Browser, die viele Firmen vor Ollama setzen, damit es wie ein öffentlicher Chatbot aussieht und funktioniert.

Ollama mit mehreren Benutzern: standardmäßig eine Anfrage nach der anderen

Am PC stellt eine Person eine Frage und wartet auf die Antwort. In einer Firma fragen zehn Personen im selben Moment. Die Dokumentation von Ollama nennt die Voreinstellung klar: OLLAMA_NUM_PARALLEL, „The maximum number of parallel requests each model will process at the same time“, steht auf 1. Weitere Anfragen warten in einer Warteschlange von bis zu 512, bevor Ollama neue ablehnt. Schreiben fünf Kollegen gleichzeitig, warten vier, während die erste Antwort entsteht.

Der Wert lässt sich erhöhen, aber jeder parallele Platz braucht eigenen Speicher für das Gespräch. Die FAQ formuliert es so: „Parallel request processing for a given model results in increasing the context size by the number of parallel requests.“ Jedes Gespräch hält auf der Grafikkarte einen Arbeitsspeicher, den KV-Cache, der mit der Länge des Textes wächst. Bei gpt-oss-120b belegt ein Gespräch mit 32.768 Token etwa 1,125 GiB, nach der Rechnung in unserem Leitfaden zum privaten ChatGPT-Server nach Unternehmens­größe. Das Modell selbst belegt etwa 60,8 GiB.

Server-Software wie vLLM ist für den gemeinsamen Betrieb gebaut. Sie hält diesen Speicher in kleinen Blöcken und nimmt neue Fragen in den laufenden Stapel auf, sobald ein Platz frei wird, sodass die Karte viele Gespräche gleichzeitig bedient, statt sie in eine Warteschlange zu stellen. Unser Vergleich von vLLM, SGLang, TensorRT-LLM, llama.cpp und Ollama erklärt die Unterschiede für das IT-Team.

Logins, Berechtigungen und das Netz

Am PC ist Benutzer, wer an der Tastatur sitzt. Ein Firmendienst muss wissen, wer fragt, welche Modelle und Dokumente jede Person nutzen darf und wer ihn verwaltet.

Ollama antwortet standardmäßig nur auf dem PC selbst: „Ollama binds 127.0.0.1 port 11434 by default.“ Damit andere Rechner es erreichen, wird die Adresse mit OLLAMA_HOST geändert, und das eigene Container-Image von Ollama setzt bereits OLLAMA_HOST=0.0.0.0:11434; ein so gestarteter Container antwortet auf jeder Netzadresse des Rechners. Die Dokumentation von Ollama beschreibt keine Anmeldung für die API, also kann jeder sie nutzen, der den Port erreicht. Das GitHub-Advisory GHSA-w8p2-phwr-px3r, CVE-2026-103663, veröffentlicht am 8. Oktober 2026 und als kritisch eingestuft, beschreibt eine Path-Traversal-Lücke im Endpunkt /api/pull, über die ein nicht angemeldeter Angreifer eine Datei außerhalb des Modellspeichers schreiben kann, mit Codeausführung nach einem Neustart; behoben ist sie in Ollama 0.35.0. Die aktuelle Version am 25. Oktober 2026 war 0.40.11.

Logins gehören in die Chat-Oberfläche. In Open WebUI wird das erste Konto einer neuen Installation Administrator, neue Registrierungen erhalten die mit DEFAULT_USER_ROLE gesetzte Rolle, und die Dokumentation empfiehlt pending für gemeinsam genutzte Instanzen, damit ein Administrator jedes Konto freigibt. Benutzergruppen bestimmen, wer ein Modell oder eine Dokumentensammlung lesen oder ändern darf, und mit ENABLE_OAUTH_GROUP_MANAGEMENT folgen die Benutzergruppen bei jeder Anmeldung dem Identitätsanbieter der Firma. Die Berechtigungen in Open WebUI addieren sich: Wer mehreren Benutzergruppen angehört, erhält die Rechte aller, und Verbotsregeln gibt es nicht.

Wer welche Dokumente sieht, ist die Frage mit rechtlichem Gewicht; unser Artikel zum Vorbereiten von Firmendokumenten für einen KI-Assistenten behandelt sie für die Verantwortlichen der Dokumente. Unser Service Private AI/ML richtet den Server, die Logins und die Dokumentensuche ein; sagen Sie uns, wie viele Kollegen den PC-Aufbau heute nutzen und wofür, und unser Team schlägt die nächste Konfiguration vor.

Lizenzbedingungen der Desktop-Werkzeuge

Ein Werkzeug, das für das Experiment einer Person passt, kann für den Einsatz in der ganzen Firma andere Bedingungen haben; lesen Sie daher jede Lizenz vor der Einführung. Stand 25. Oktober 2026:

Ollama-Repository auf GitHub (MIT); App-Bedingungen von LM Studio, Fassung vom 23. August 2026; Lizenzseite von Open WebUI; openai/gpt-oss-120b auf Hugging Face; alle gelesen am 25. Oktober 2026.

Die Bedingungen von LM Studio erteilen eine Lizenz „solely for Your personal and / or internal business purposes“, und wenn ein Mitarbeiter es nutzt, ist „the corporate entity“ der Kunde. Sie verbieten, die Software zu „sublicense, distribute, sell, use for service bureau use, as an application service provider, or a software-as-a-service“, und halten fest, dass „Certain features of the Software may be offered for a fee“. LM Studio bietet für Server auch einen Hintergrunddienst ohne Oberfläche namens llmster. Die Lizenz von Open WebUI, gültig ab v0.6.6 vom 19. April 2025, verbietet das Ändern oder Entfernen des Brandings außer bei Installationen mit „50 or fewer users in a 30-day period“ oder mit Erlaubnis, und erlaubt den Einsatz „to any number of internal users within your own organization (with all official branding kept)“. Die Modelldateien haben eine eigene Lizenz, die unser Vergleich der Lizenzen offener LLMs für den Firmeneinsatz darstellt. Ob eine Klausel auf Ihre Firma zutrifft, bestätigt Ihre Rechtsberatung.

Was auf den Firmenserver mitgeht und was nicht

Unsere Zusammenfassung; GGUF-Dokumentation von vLLM (latest, 12. Juni 2026); README von Open WebUI; Bibliotheksseite von Ollama für gpt-oss; gelesen am 25. Oktober 2026.

Das Modell ist das wertvollste Ergebnis des Experiments. gpt-oss:120b in Ollama ist ein Download von 65 GB, dasselbe offene Modell, das OpenAI auf Hugging Face als etwa 65 GB an Dateien veröffentlicht, im Format MXFP4, das Ollama „natively without additional quantizations or conversions“ ausführt. Auf dem Server lädt die Software die Dateien des Herstellers. Die meisten anderen Modelle in der Bibliothek von Ollama liegen als GGUF-Dateien vor, einem Format des Projekts llama.cpp, und die Dokumentation von vLLM stellt fest: „GGUF support in vLLM is highly experimental and under-optimized at the moment“. Der Server nutzt daher das Original oder eine FP8- oder NVFP4-Version des Modells.

Open WebUI verbindet sich mit „any OpenAI-compatible API alongside local Ollama models“, sodass die Chat-Seite, die Ihre Kollegen kennen, bleiben und auf die neue Software zeigen kann. Mit der Datenbank des Pilots ist es anders: Open WebUI überträgt keine Daten zwischen Datenbanken, wie unser Leitfaden zur Skalierung von Open WebUI anmerkt; entscheiden Sie also, ob die Chats des Pilots mitgehen oder der Firmendienst leer startet.

Der Hardware-Schritt vom PC zum Server

Das PC-Experiment lief meist mit einem kleinen Modell oder mit einem großen, aber langsam. Der Firmenserver wird nach dem Modell bemessen, das Ihr Test bevorzugt hat, und nach der Zahl der gleichzeitig laufenden Gespräche zur Spitzenzeit. Unsere Regel für Nutzer je Karte nimmt 90 Prozent der 95,6 GiB, die der Treiber je 96-GB-Karte meldet, abzüglich 3 GiB je Karte und abzüglich der Gewichte.

Alle Karten sind NVIDIA RTX PRO 6000 Blackwell (Max-Q oder Server Edition). Gleichzeitig laufende Gespräche mit 32.768 Token nach unserer Regel für Nutzer je Karte, aus unserem Leitfaden nach Unternehmens­größe; Leistung nach unserer Schätzung (Server: Karten mit 600 W, zwei Prozessoren, plus 15 Prozent; Workstation: zwei Max-Q mit 300 W, ein Prozessor, plus 15 Prozent, wie in unserem Leitfaden zur Workstation mit zwei Max-Q).

Für eine Firma mit 20 bis 100 Personen sind es zur Spitzenstunde mit den Beispielwerten unseres Leitfadens nach Unternehmens­größe nur wenige gleichzeitige Gespräche, die eine Karte mit gpt-oss-120b trägt. Der Einstiegsserver mit zwei Karten der RTX PRO 6000 Server Edition hält die zweite Karte für die Modelle der Dokumentensuche frei, per MIG (Multi-Instance GPU von NVIDIA) in bis zu vier getrennte Teile mit 24 GB aufgeteilt. Ein Kartenpaar mit einer gemeinsamen Kopie des Modells hält etwa 93 Gespräche, ein Server mit vier Karten und zwei solchen Paaren etwa 186; das lässt Platz für ein größeres Modell oder eine zweite Abteilung.

Die Workstation mit zwei Karten der RTX PRO 6000 Max-Q läuft an einer normalen 230-V-Steckdose und passt zu einem Team, das noch keinen Serverraum hat. Stand Oktober 2026 haben wir keine Geräuschangabe eines Herstellers für einen solchen Tower unter Last gefunden, daher gehört sie in einen Nebenraum mit Tür statt neben die Arbeitsplätze. NVIDIA erlaubt bis zu vier dieser 300-W-Karten mit Radiallüfter in einer Workstation, und unser Leitfaden zum Kauf einer Workstation mit zwei RTX PRO 6000 Max-Q behandelt sie. In einem Rack-Server im Dauerbetrieb empfehlen wir die Server Edition, weil viele Serverhersteller die Max-Q für ihre GPU-Server nicht aufführen. Ein Anschluss mit 230 V und 16 A trägt bei 80 Prozent 2,94 kW, genug für den Server mit zwei Karten; der Server mit vier Karten braucht 32 A oder Drehstrom.

Ollama führt die RTX PRO 4000, 4500, 5000 und 6000 Blackwell unter seinen unterstützten Karten, sodass der Pilot auf dem neuen Server weiterlaufen kann, während das IT-Team die Server-Software daneben aufbaut.

Server-Software, Versionen und Netz für das IT-Team

1. Server-Software. Betreiben Sie das Produktionsmodell mit vLLM (0.32.0 vom 18. Oktober 2026 oder neuer) oder SGLang; beide bündeln Anfragen fortlaufend und bieten eine OpenAI-kompatible API. Ollama bleibt zum Ausprobieren neuer Modelle, auf einem eigenen Port und ab Version 0.35.0.
2. Netz. Halten Sie jede Engine in einem internen Netz hinter der Chat-Oberfläche oder einem LLM-Gateway mit Schlüsseln und Abfrageprotokoll. --api-key von vLLM schützt nur Pfade unter /v1, /v2, /inference und /cohere, Routen wie /metrics antworten ohne Schlüssel. Unser Leitfaden zum Absichern eines GPU-Servers nennt die übrigen Ebenen.
3. Ollama im Container. Das offizielle Image setzt OLLAMA_HOST=0.0.0.0:11434; veröffentlichen Sie Port 11434 nicht ins Netz. Setzen Sie OLLAMA_NUM_PARALLEL und OLLAMA_CONTEXT_LENGTH ausdrücklich, denn die FAQ nennt einen Standardkontext von 4.096 Token, die Seite zur Kontextlänge dagegen 256K für Karten ab 48 GiB.
4. Open WebUI. Nutzen Sie die aktuelle Version (v0.12.4 am 25. Oktober 2026; v0.12.2 behob mehrere Zugriffsprobleme), setzen Sie DEFAULT_USER_ROLE=pending oder binden Sie Single Sign-on an, und wechseln Sie von SQLite zu PostgreSQL, bevor mehrere Instanzen laufen.
5. GPU-Auswahl. Ollama lädt ein Modell auf eine GPU, wenn es dort hineinpasst, und verteilt es sonst auf alle GPUs; begrenzen Sie es mit CUDA_VISIBLE_DEVICES und GPU-UUIDs aus nvidia-smi -L, damit es nicht die Karten der Produktions-Engine belegt.
6. Software bei Lieferung. Der Server kommt auf Wunsch mit Betriebssystem, NVIDIA-Treiber, CUDA und einer Container-Runtime.

Wir bauen die Server mit zwei und vier Karten und richten Server-Software, Oberfläche und Logins über unseren Service Private AI/ML ein; schicken Sie uns das Modell, das Ihr Test bevorzugt hat, und die Zahl der Nutzer, und wir bemessen den Server dafür.

Was wir liefern

Sie können dieses System bei uns kaufen: Unser Team legt die Konfiguration nach Ihrer Arbeitslast und Ihrem Budget aus und antwortet innerhalb eines Werktages. Wir bauen Workstations mit zwei Karten der RTX PRO 6000 Max-Q und Server mit zwei, vier oder acht Karten der RTX PRO 6000 Server Edition, vor der Lieferung montiert und getestet, geliefert in die gesamte EU mit einem EU-Vertrag und einer Rechnung, mit Herstellergarantie auf jede Komponente, abgewickelt über uns; Stückzahlen und Lieferzeit werden mit dem Angebot schriftlich bestätigt. Unser Service Private AI/ML, mit unserem Engineering-Partner Vixen.UNO, bringt Modell und Chat-Oberfläche vom Experiment auf den Server, bindet die Logins an und schult Ihr Team für den Betrieb. Firmen ohne eigene IT finden die Aufgabenteilung in unserem Leitfaden zum KI-Server ohne IT-Abteilung.

FAQ