Eigene KI absichern: zehn Fragen der Geschäftsführung an IT und Dienstleister

Wann eine lokale KI sicher genug ist

Eine eigene KI ist so sicher wie der Server, auf dem sie läuft, die Art, wie sich Menschen anmelden, und die Dokumente, die sie lesen kann. Sicher genug ist sie, wenn sich Mitarbeitende mit ihrem Firmenkonto anmelden, der Server aus dem Internet nicht erreichbar ist, wenige benannte Personen Administratorrechte haben, Updates den Sicherheitshinweisen der Hersteller folgen, Backups durch Wiederherstellen getestet werden und der Assistent nur lesen kann, was die fragende Person öffnen darf. Zehn Fragen unten prüfen jeden Punkt; zu jeder Frage nennen wir, was eine gute Antwort enthält, und die Warnzeichen.

KI auf einem eigenen Server hält Prompts und Dokumente im Unternehmen, oft der Grund für die Anschaffung. Sie bringt aber auch ein neues System mit eigener Software, eigenen Administratoren und eigenen Schwachstellen. Dieser Leitfaden richtet sich an Inhaber und Geschäftsführung, die dieses System verantworten, ohne IT-Fachleute zu sein, und wissen wollen, was sie die IT-Abteilung oder den Dienstleister fragen sollen. Fachbegriffe werden beim ersten Vorkommen erklärt, und jeder Abschnitt verweist auf den technischen Leitfaden, mit dem Ihr IT-Team arbeiten kann.

Zehn Fragen und was eine gute Antwort enthält

Unsere Zusammenfassung; jede Zeile wird in den Abschnitten unten erklärt.

Wer die KI erreicht und wie sich Mitarbeitende anmelden

Frage 1: Von wo ist die KI erreichbar? Ein KI-Server betreibt eine Inferenz-Engine, das Programm, das das Modell hält und Anfragen beantwortet, und meist eine Chat-Oberfläche, die Mitarbeitende im Browser öffnen. Mehrere Engines antworten jedem, der sie über das Netz erreicht. Die Dokumentation von vLLM, einer verbreiteten Engine, sagt, dass ihr API-Schlüssel nur „endpoints under the /v1, /v2, /inference, and /cohere path prefixes“ schützt, warnt davor, sich allein auf den Schlüssel zu verlassen, und empfiehlt einen Proxy, der nur die Endpunkte freigibt, die Nutzer brauchen. Ollama, eine weitere Engine, bindet sich standardmäßig an den Server selbst (127.0.0.1), die Einstellung OLLAMA_HOST ändert das aber, und unser Leitfaden zum Absichern eines GPU-Servers hält fest, dass das offizielle Container-Image auf allen Adressen lauscht. Eine gute Antwort: Die Engines sind nur vom Server selbst oder aus einem geschlossenen internen Netz erreichbar, Mitarbeitende erreichen die KI über ein Gateway, und nichts ist zum Internet offen. Wer von außen arbeitet, kommt wie bei jedem internen System über das Firmen-VPN.

Frage 2: Wie melden sich Mitarbeitende an? Die Antwort, die Sie hören wollen: „mit ihrem normalen Firmenkonto“, über das Unternehmensverzeichnis oder Single Sign-on, mit zweitem Faktor, wo das Unternehmen ihn sonst auch nutzt. Eigene Passwörter für die KI vervielfachen Konten, die niemand verwaltet. Bei Open WebUI, einer verbreiteten Chat-Oberfläche, ist die Selbstregistrierung laut Konfigurationsdokumentation standardmäßig eingeschaltet (ENABLE_SIGNUP ist True), und neue Konten erhalten die Rolle „pending“, bis ein Administrator sie freigibt. Für einen Test ist das eine vernünftige Voreinstellung; ein Dienstleister sollte sagen können, ob die Registrierung abgeschaltet und die Anmeldung an Ihr Verzeichnis gebunden ist. Unser Leitfaden zu Open WebUI absichern nennt die Einstellungen.

Frage 3: Was passiert, wenn jemand das Unternehmen verlässt oder die Abteilung wechselt? Kommt der Zugang aus dem Verzeichnis, beendet das Sperren des Kontos auch den Zugang zur KI, und ein Wechsel der Abteilung ändert, was der Assistent dieser Person zeigen kann. Eine von Hand im KI-Werkzeug geführte Liste veraltet.

Administratoren und der Fernwartungsanschluss

Frage 4: Wer hat Administratorrechte, auf welchen Teilen? Ein KI-Server hat mehrere Administratorebenen: das Betriebssystem, die KI-Software, die Chat-Oberfläche und den BMC. Der BMC, der Baseboard Management Controller, ist ein kleiner eigener Computer auf der Hauptplatine, mit dem ein Administrator den Server über das Netz ein- und ausschalten, überwachen und neu installieren kann, selbst wenn der Server ausgeschaltet ist. Wer den BMC kontrolliert, kontrolliert den Server.

Deshalb gehören BMCs in ein eigenes Verwaltungsnetz. Ein Beispiel zeigt, worum es geht. CVE-2024-54085, eine Schwachstelle in der BMC-Firmware MegaRAC SPx von AMI, erlaubt einem Angreifer, die Authentifizierung aus der Ferne zu umgehen; AMI bewertet sie mit 10,0, dem Höchstwert, und die US-Behörde CISA hat sie am 25. Juni 2025 in ihren Katalog ausgenutzter Schwachstellen aufgenommen. Eine gute Antwort nennt die Personen mit Administratorrechten, hält den BMC aus dem Büronetz und dem Internet heraus, nutzt lange individuelle Passwörter und einen zweiten Faktor für Administratoren und nimmt die BMC-Firmware in den Update-Ablauf auf. Unsere Leitfäden zu Privileged Access Management und zu Firmware-Updates am GPU-Server geben die Details.

Updates: wer auf Sicherheitshinweise achtet

Frage 5: Wer prüft, ob Sicherheitsupdates vorliegen, und wie oft? KI-Software ändert sich schnell, ihre Sicherheitskorrekturen ebenso. NVIDIAs Sicherheitsbulletin vom 30. September 2026 nennt die korrigierten Linux-Treiber 580.178.04 und 595.91.07. Die erste Seite der Hinweisliste von Open WebUI zeigte zehn Sicherheitshinweise aus September und Oktober 2026, und vLLM veröffentlichte in denselben zwei Monaten etwa dreißig, wie unsere Artikel zu Open WebUI absichern und zu Sicherheitslücken in vLLM festhalten. Ein Server, der einmal installiert und dann sich selbst überlassen wird, läuft bald mit Versionen bekannter Schwachstellen.

Eine gute Antwort nennt die verantwortliche Person, einen festen Ablauf wie eine monatliche Prüfung der Hinweise von NVIDIA, der Engine und der Oberfläche, ein Wartungsfenster für Updates und eine Liste der installierten Versionen. Lassen Sie sich diese Liste zeigen: Ein Dienstleister, der sie auf Nachfrage vorlegen kann, hat einen Ablauf.

Was der Assistent lesen darf, und Prompt Injection

Frage 6: Was darf der Assistent lesen, und für wen? Ein Assistent, der aus Firmendokumenten antwortet, durchsucht vor der Antwort einen Index dieser Dokumente; das heißt Retrieval oder RAG. Liefert die Suche ein Dokument, das der Nutzer nicht öffnen darf, kann das Modell daraus zitieren, gleich was seine Anweisungen sagen. Das OWASP-Projekt, das eine verbreitete Risikoliste für KI-Anwendungen veröffentlicht, verlangt deshalb, die Berechtigung je Dokument und Abschnitt „inside the index query, not at the application layer after retrieval“ durchzusetzen, wie unser Leitfaden zu Prompt Injection und LLM-Sicherheit zitiert. Eine gute Antwort: Die Suche prüft die Rechte jedes Nutzers aus dem Verzeichnis, und Lohn- oder Vorstandsunterlagen sieht nur, wer sie auch in der Dateiablage öffnen darf. Unser Leitfaden zu RAG auf Firmendaten erklärt, wie.

Frage 7: Was darf der Assistent allein tun? Prompt Injection ist Text, der ändert, was ein Sprachmodell tut: ein Satz, versteckt im PDF eines Lieferanten, einer E-Mail oder einer Webseite, der den Assistenten zu etwas anweist, das sein Nutzer nicht verlangt hat. OWASP setzt sie in seiner Top 10 für LLM-Anwendungen 2026 an die erste Stelle. Das britische National Cyber Security Centre hat die Ursache am 8. Dezember 2025 erklärt: Im Modell gebe es keine Unterscheidung zwischen Daten und Anweisungen, und es sei „very possible that prompt injection attacks may never be totally mitigated“. Sein Rat ist, Risiko und Auswirkung zu verringern, etwa mit einem Ansatz, bei dem ein Modell, das Informationen einer Partei verarbeitet, keine weiter gehenden Rechte hat als diese Partei.

Für die Geschäftsführung wird daraus eine einfache Regel. Ein Assistent, der externe Inhalte liest, etwa eingehende E-Mails, Lieferantendokumente oder das Web, bekommt keine Werkzeuge, die senden, zahlen, löschen oder Datensätze ändern, und jede Handlung mit Wirkung außerhalb des Chats wartet auf die Freigabe einer Person. Eine gute Antwort listet die Werkzeuge, die der Assistent aufrufen darf, und wer welche Handlung freigibt.

Unser Service Private AI/ML umfasst den Schutz vor Prompt Injection, Berechtigungen auf Dokumenten und die Protokollierung von Anfragen und Antworten; nennen Sie uns die Systeme, die Ihr Assistent lesen und bedienen soll, und unser Team antwortet, wie wir das aufsetzen würden.

Protokolle, Backups und die Modelldateien

Frage 8: Was wird protokolliert, wer darf es lesen, und wie lange? Ein Abfrageprotokoll hält fest, wer wann was gefragt hat und was die Antwort war. Damit lässt sich nach einer Beschwerde oder einem Vorfall klären, was passiert ist, und es enthält oft personenbezogene Daten, weil Mitarbeitende Namen, Kundendaten und Personalfragen in einen Assistenten tippen. Eine gute Antwort: Das Protokoll existiert, wenige benannte Personen dürfen es lesen, und die Aufbewahrungsfrist ist mit dem Datenschutz­beauftragten abgestimmt, wo nötig im Rahmen einer Datenschutz-Folgenabschätzung. Unser Leitfaden zum LLM-Gateway mit Schlüsseln und Abfrageprotokoll zeigt, wo das Protokoll liegt.

Frage 9: Wie wird die KI gesichert, und wann wurde zuletzt eine Wiederherstellung getestet? Die Modelldateien lassen sich neu herunterladen; Konfiguration, Dokumentenindex, Chatverlauf und feinabgestimmte Ergänzungen nicht. Artikel 32 Absatz 1 DSGVO nennt die Fähigkeit, die Verfügbarkeit personenbezogener Daten nach einem Zwischenfall rasch wiederherzustellen, und die regelmäßige Überprüfung der Maßnahmen, wie unser Artikel zur Backup-Aufbewahrung zitiert. Eine gute Antwort nennt das Datum des letzten Wiederherstellungs­tests. Unser Leitfaden zum Backup eines KI-Servers zählt auf, was dazugehört.

Frage 10: Woher kommen die Modelle? Offene Modelle werden aus öffentlichen Verzeichnissen heruntergeladen, und eine Modelldatei kann Code enthalten. Hugging Face, das größte dieser Verzeichnisse, warnt: „There are dangerous arbitrary code execution attacks that can be perpetrated when you load a pickle file.“ Eine gute Antwort: Modelle kommen von bekannten Herausgebern, wo verfügbar im Safetensors-Format, in einer festen Version, über einen kontrollierten Downloadweg; der Server selbst braucht für den Betrieb keinen Internetzugang.

Wenn Ihr Unternehmen unter NIS2 fällt

Für Unternehmen, die nach der NIS2-Richtlinie wesentliche oder wichtige Einrichtungen sind, sind diese Fragen eine Pflicht der Leitung selbst. Nach Artikel 20 Absatz 1 billigen die Leitungsorgane die Risiko­management­maßnahmen im Bereich der Cybersicherheit und überwachen ihre Umsetzung, und sie können für Verstöße gegen Artikel 21 verantwortlich gemacht werden; Artikel 20 Absatz 2 verpflichtet ihre Mitglieder zu Schulungen, wie unser Leitfaden zur NIS2-Schulung der Geschäftsführung darlegt. Die nationale Umsetzung kann im Detail abweichen, und ob Ihr Unternehmen erfasst ist, klärt Ihre Rechtsberatung. Außerhalb von NIS2 sind dieselben zehn Fragen gute Praxis, und auch Kunden stellen sie, wie unser Leitfaden zu KI-Fragen in Kundenaudits zeigt.

KI-Server-Sicherheit im Gebäude: Raum, Strom und Nutzer

Sicherheit hängt auch davon ab, wo der Server steht. Die Tabelle zeigt unsere Referenz­konfigurationen und was sie im Gebäude brauchen; ein abgeschlossener Serverraum oder ein Rack im Rechenzentrum hält Hardware, Laufwerke und Verwaltungsanschluss von beiläufigem Zugriff fern.

Chats nach unserer Regel für Nutzer je Karte (0,9 × vom Treiber gemeldeter Speicher, abzüglich 3 GiB je Karte und der Gewichte) mit gpt-oss-120b bei 16K Token; Strom nach unserer Schätzung (Karten, Prozessoren und 15 Prozent für den Rest), bestätigt durch eine Messung am gelieferten System.

Ein laufender Chat ist eine Anfrage, die im selben Moment beantwortet wird; nutzen können den Assistenten deutlich mehr Mitarbeitende, weil die meisten gerade lesen oder tippen. Der Einstiegsserver hat zwei Karten der NVIDIA RTX PRO 6000 Blackwell Server Edition, zwei AMD-EPYC-Prozessoren, 384 GB DDR5 ECC und zwei NVMe-Laufwerke, und unsere Seite zu privaten ChatGPT-Servern nach Firmengröße setzt Chats und Mitarbeiterzahl ins Verhältnis. Unsere Server haben eine Out-of-Band-Verwaltung über den BMC, und dessen Anschluss kommt in das eigene Verwaltungsnetz aus Frage 4. Ohne Serverraum betreibt unser Service Private AI/ML die Plattform auf dedizierter Hardware in einem Tier-3-Rechenzentrum in Litauen, innerhalb der EU. Betreibt im Unternehmen niemand Server, legt unser Leitfaden zum KI-Server ohne IT-Abteilung dar, wer was übernimmt.

Was wir liefern

Sie können dieses System bei uns kaufen: Unser Team dimensioniert die Konfiguration nach Ihrer Last und Ihrem Budget und antwortet innerhalb eines Werktages. Wir bauen KI-Server auf Bestellung mit zwei, vier oder acht Karten, vor der Lieferung montiert und getestet, geliefert in die gesamte EU mit einem EU-Vertrag und einer Rechnung, mit Herstellergarantie auf jede Komponente, abgewickelt über uns, und installieren auf Wunsch Betriebssystem, Treiber, CUDA und eine Container-Laufzeit; Stückzahlen und Lieferzeit werden mit dem Angebot schriftlich bestätigt. Unser Service Private AI/ML mit unserem Engineering-Partner Vixen.UNO richtet die Modelle, die Dokumentensuche mit den Zugriffsrechten jedes Nutzers, den Schutz vor Prompt Injection und das Abfrageprotokoll ein, mit laufender Betreuung unter einem vereinbarten SLA. Für das Netz um den Server umfasst die Cyber-Resilience-Arbeit von Vixen.UNO Segmentierung, Zero-Trust-Zugang mit Multi-Faktor-Authentifizierung und geplante Test­wiederherstellungen. Schicken Sie uns die Antworten, die Sie auf diese zehn Fragen erhalten haben, und wir sagen Ihnen, wo wir Lücken sehen.

FAQ