Lokale KI und DSGVO: was der eigene KI-Server löst und welche Pflichten bleiben

Ist lokale KI DSGVO-konform?

Lokale KI ist nicht von selbst DSGVO-konform, und ein Cloud-Assistent ist nicht von selbst unzulässig. Läuft das Modell auf dem eigenen Server, fällt eine Partei weg, der Modellanbieter, und mit ihm sein Vertrag, seine Speicherung Ihrer Prompts und jede Übermittlung von Daten an ihn außerhalb der EU. Die Pflichten des Verantwortlichen bleiben im Unternehmen: eine Rechtsgrundlage, ein klarer Zweck, kurze Speicherfristen, Zugriffsschutz, Antworten auf Anfragen betroffener Personen und, bei hohem Risiko, eine Datenschutz-Folgenabschätzung.

Dieser Leitfaden richtet sich an Inhaber, Geschäftsführung und Büroleitung, die gehört haben, „KI ohne Cloud ist DSGVO-sicher“, und wissen wollen, was davon stimmt. Er trennt die Themen der DSGVO, die der eigene Betrieb erledigt, von denen, die er unverändert lässt, und endet mit dem Server und dem, was er im Gebäude braucht. Er gibt allgemeine Informationen mit Stand Oktober 2026 und ist keine Rechtsberatung; Ihr Datenschutz­beauftragter oder Ihre Rechtsberatung bestätigt die Bewertung für Ihr Unternehmen.

Vier Begriffe in einfachen Worten

Die Seiten der Europäischen Kommission für Unternehmen erklären die Rollen in je einem Satz; der Rest dieses Artikels verwendet sie.

• Personen­bezogene Daten sind alle Informationen, die sich auf eine identifizierte oder identifizierbare lebende Person beziehen. Der Name eines Kunden in einer E-Mail, der Urlaubsantrag einer Mitarbeiterin und eine Sprachaufnahme sind personenbezogen; eine Rezeptur oder eine Maschinenzeichnung meist nicht, deshalb behandelt unser Artikel zu Geschäftsgeheimnissen und KI diese gesondert.
• Verantwortlicher ist, wer über Zwecke und Mittel der Verarbeitung entscheidet. Nutzen Ihre Beschäftigten einen KI-Assistenten für ihre Arbeit, ist das in der Regel Ihr Unternehmen.
• Auftragsverarbeiter verarbeitet personenbezogene Daten nur im Auftrag des Verantwortlichen. Ein Cloud-KI-Dienst, ein Hosting-Anbieter oder ein IT-Partner mit Administratorrechten ist typischerweise Auftragsverarbeiter, und die DSGVO verlangt mit jedem von ihnen einen verbindlichen Vertrag.
• Übermittlung bedeutet, dass personenbezogene Daten in ein Land außerhalb des Europäischen Wirtschaftsraums (EU sowie Island, Liechtenstein und Norwegen) gelangen oder von dort erreichbar sind. Kapitel V der DSGVO erlaubt das nur unter seinen Bedingungen, etwa mit einem Angemessenheitsbeschluss oder Standard­vertrags­klauseln.

KI ohne Cloud: was sich beim Datenschutz mit dem eigenen Server ändert

Bei einem Cloud-Assistenten wandert jeder Prompt und jede hochgeladene Datei zum Anbieter, der sie in Ihrem Auftrag verarbeitet. Dessen Bedingungen bestimmen dann einen Teil dessen, was damit geschieht: wie lange die Daten gespeichert werden, welche seiner Mitarbeiter und Auftragnehmer sie sehen dürfen und in welchem Land sie liegen. OpenAI zum Beispiel schreibt auf seiner Seite zum Enterprise-Datenschutz (Stand 8. Januar 2026), dass es Geschäftsdaten standardmäßig nicht zum Training verwendet, dass gelöschte Unterhaltungen in ChatGPT Business innerhalb von 30 Tagen aus seinen Systemen entfernt werden, sofern keine längere Aufbewahrung gesetzlich vorgeschrieben oder zum Schutz seiner Dienste nötig ist, und dass es einen Auftrags­verarbeitungs­vertrag abschließen kann. Diese Punkte prüft Ihr Datenschutz­beauftragter, bevor das Unternehmen einen solchen Dienst freigibt.

Läuft ein Open-Weight-Modell auf einem Server, der Ihnen gehört, gilt nichts davon für das Modell. Die Gewichte sind eine Datei auf Ihrem Datenträger; eine Antwort verändert sie nicht und schickt die Frage nirgendwohin. Es gibt keinen Modellanbieter, mit dem ein Vertrag zu schließen wäre, keine Speicherfrist beim Anbieter und keine Übermittlung für das Modell, wenn der Server in der EU steht. Die Tabelle ordnet die wichtigsten Themen der DSGVO.

Verordnung (EU) 2016/679, wie auf den Datenschutzseiten der Europäischen Kommission für Unternehmen zusammengefasst, gelesen am 25. Oktober 2026; Artikelnummern wie aus EUR-Lex zitiert in unseren Leitfäden zur DSFA und zum DSGVO-konformen Cloud-Hosting; OpenAI-Seite zum Enterprise-Datenschutz, Stand 8. Januar 2026. Die Tabelle ist unsere Lesart, keine rechtliche Einordnung.

Die oberen Zeilen sind gemeint, wenn es heißt, lokale KI löse die DSGVO-Frage. Das sind echte Vorteile: Am Anbietervertrag, an der Übermittlungsfrage und an der eigenen Nutzung der Eingaben durch den Anbieter bleibt eine Freigabe oft hängen. Die unteren Zeilen sind für beide Varianten gleich.

DSGVO-konforme KI im Unternehmen: was bei Ihnen bleibt

Fünf Pflichten hängen nicht davon ab, wo das Modell läuft.

Rechtsgrundlage und Zweck. Die Kommission nennt sechs Gründe, Einwilligung, Vertrag, rechtliche Verpflichtung, lebenswichtige Interessen, Aufgabe im öffentlichen Interesse und berechtigte Interessen, und schreibt, dass ein Unternehmen personenbezogene Daten nur unter diesen Umständen verarbeiten darf. Ein Assistent, der Kunden-E-Mails zusammenfasst, verwendet personenbezogene Daten für einen Zweck, der benannt sein muss. Zweckbindung heißt auch, dass Daten, die für eine Aufgabe erhoben wurden, nicht ohne Prüfung für eine andere in den Assistenten gehen.

Datenminimierung und Speicherbegrenzung. Nur die für den Zweck nötigen Daten, nicht länger als nötig aufbewahrt. Auf dem eigenen Server legen Sie die Frist jedes Speichers selbst fest; ein Vorteil ist das nur, wenn jemand sie festlegt. Ein Chatverlauf, der auf einem lokalen Server nie gelöscht wird, ist dasselbe Problem wie einer, den ein Anbieter aufbewahrt.

Information und Anfragen. Betroffene müssen erfahren, was mit ihren Daten geschieht und wie lange sie gespeichert werden. Anträge auf Auskunft, Berichtigung oder Löschung sind laut Kommission unverzüglich und grundsätzlich innerhalb eines Monats zu beantworten.

Sicherheit. Geeignete technische und organisatorische Maßnahmen gelten für Ihren Server wie für jedes andere System: Zugriffsrechte, Verschlüsselung, Updates, protokollierte Administratorzugriffe und eine getestete Wiederherstellung. Ein Server im eigenen Haus, den jeder im Netz erreicht, ist schwächer geschützt als ein gut geführter Cloud-Dienst.

Folgenabschätzung. Hat eine Verarbeitung voraussichtlich ein hohes Risiko für die Rechte und Freiheiten von Personen, ist vor dem Start eine Datenschutz-Folgenabschätzung nötig. Ein Assistent mit Zugriff auf Personalakten oder Gesundheitsdaten erreicht diese Schwelle oft, egal wo er läuft. Unser Leitfaden zur DSFA für ein internes LLM beschreibt das Verfahren und die Angaben, die die IT dafür liefert.

Beschäftigtendaten brauchen besondere Sorgfalt. Das Abfrageprotokoll eines Assistenten zeigt, wer was gefragt hat; es enthält also personenbezogene Daten Ihrer Beschäftigten, und neben der DSGVO können nationale Regeln zum Beschäftigtendatenschutz gelten. Vereinbaren Sie mit Ihrem Datenschutz­beauftragten, wer das Protokoll zu welchem Zweck lesen darf, und beziehen Sie den Betriebsrat ein, wo es einen gibt, wie unser Artikel zu Betriebsrat und internem KI-Assistenten beschreibt.

Wo personenbezogene Daten in einem KI-Assistenten liegen

Ein Assistent für Firmendokumente ist mehr als ein Modell. Er hat eine Chat-Oberfläche, die Gespräche speichert, ein Gateway, das Prompts und Antworten protokolliert, einen Suchindex mit Passagen aus Ihren Dokumenten, die hochgeladenen Dateien selbst und die Backups von allem. Der Arbeitsspeicher des Modells auf der GPU hält ein Gespräch nur, solange es beantwortet wird.

Unsere Zusammenfassung des Datenflusses aus unserem DSFA-Leitfaden; der EDSA hält in seiner dort zitierten Stellungnahme 28/2024 fest, dass mit personenbezogenen Daten trainierte Modelle nicht in allen Fällen als anonym gelten können.

Verlangt ein Kunde die Löschung, muss der Index die Passagen aus dessen Dokumenten entfernen, das Protokoll die Einträge löschen oder anonymisieren, und die Backups folgen mit ihrem Ablauf. Planen Sie diese Funktionen vor dem Start. Unser Leitfaden zu RAG auf Firmendaten erklärt, wie der Suchindex arbeitet, und unser Leitfaden zum Entfernen personenbezogener Daten vor dem LLM behandelt das Maskieren von Namen und Nummern, wo die Aufgabe sie nicht braucht.

Unser Service Private AI/ML baut den Assistenten auf Ihrem Server mit Abfrageprotokoll sowie Daten- und Rechteverwaltung; nennen Sie uns die Dokumente und Teams, für die der Assistent arbeiten soll, und unser Team schlägt Aufbau und Server dafür vor.

Dienstleister, die weiter zählen

Der eigene Betrieb nimmt den Modellanbieter heraus; jeder andere Dienstleister mit Zugriff auf die Daten bleibt beteiligt.

• Hosting. Steht der Server in einem Rechenzentrum und kann der Betreiber auf die Daten zugreifen, ist der Betreiber Auftragsverarbeiter.
• Engineering und Support. Ein IT-Partner, der die Plattform mit Administratorrechten einrichtet und wartet, ist Auftragsverarbeiter und braucht einen Auftrags­verarbeitungs­vertrag. Unsere Seite zu Private AI/ML beschreibt, wie wir arbeiten: Die Fachleute arbeiten in Ihrer Umgebung unter Ihren Zugriffskontrollen, wir nehmen keine Kopien von Produktionsdaten mit, eine Geheimhaltungs­vereinbarung kommt vor technischen Details, ein Auftrags­verarbeitungs­vertrag auf Wunsch, und Unter­auftrag­nehmer stehen im Vertrag.
• Fernzugriff. Für den EDSA ist ein Fernzugriff aus einem Drittland, etwa für den Support, ebenso eine Übermittlung wie die Speicherung dort, wie unser Leitfaden zu DSGVO-konformem Cloud-Hosting und dem Vertrag nach Artikel 28 zitiert. Fragen Sie jeden Dienstleister, wo seine Support-Mitarbeiter sitzen.
• Öffentliche Dienste für einzelne Aufgaben. Viele Unternehmen behalten ein Cloud-Modell für Aufgaben ohne personenbezogene Daten. Für die Daten, die über eine solche Verbindung gehen, gelten wieder die Bedingungen dieses Anbieters. Auf den Plattformen, die wir bauen, werden öffentliche APIs nur genutzt, wenn Sie sie für eine bestimmte Aufgabe freischalten, und was dorthin geht, zeigt das Abfrageprotokoll.

Geht es um die Rechtsordnung am Sitz des Cloud-Anbieters, erklärt unser Artikel zu CLOUD Act und EU-Datenresidenz, was Standort, Betreiber und Schlüssel jeweils ändern.

Welcher Server, wie viele Nutzer, was er im Gebäude braucht

Die Servergröße folgt aus der Zahl der Gespräche, die gleichzeitig laufen, und das ist ein kleiner Teil der Belegschaft. Unsere Regel für Nutzer je Karte nimmt 90 Prozent der 95,6 GiB, die der Treiber bei einer RTX PRO 6000 mit 96 GB meldet, abzüglich 3 GiB je Karte und abzüglich des Modells. gpt-oss-120b, ein Open-Weight-Modell von OpenAI unter der Lizenz Apache 2.0, belegt 60,8 GiB; auf einer Karte bleiben 22,2 GiB für den Speicher der laufenden Gespräche: 19 Gespräche mit bis zu 32.000 Token gleichzeitig (ein Token ist ein Wort oder ein Teil davon).

Beispielwerte unseres Leitfadens nach Unternehmens­größe (40 Prozent der Beschäftigten in der Spitzenstunde, je sechs Anfragen pro Stunde, 30 Sekunden je Anfrage, Spitzenfaktor 2); Gespräche bei 32K nach unserer Regel für Nutzer je Karte für gpt-oss-120b mit 16-Bit-Cache, vier Karten als zwei auf Paare verteilte Kopien; Strom nach unserer Schätzung (Karten bei 600 W, Prozessoren und 15 Prozent für den Rest des Servers).

Zwei Karten sind der Einstiegsserver auf unserer Seite zu KI-Servern: zwei RTX PRO 6000 Blackwell Server Edition, zwei AMD-EPYC-Prozessoren, 384 GB DDR5-ECC-Arbeitsspeicher und zwei NVMe-Laufwerke. Eine Karte betreibt das Sprachmodell; die zweite wird per MIG, NVIDIAs Verfahren zur Aufteilung einer Karte in isolierte Teile, für die Suchmodelle und eine Testinstanz geteilt. Zwei Server erlauben, dass einer ausfällt oder aktualisiert wird, während der andere antwortet. Vier Karten je Server tragen die Spitze eines großen Unternehmens in jeweils einer Maschine. Unser Leitfaden nach Unternehmens­größe zeigt die Rechnung, und ein Pilot ersetzt unsere Beispielwerte durch Ihre eigenen.

Zum Gebäude: Der Server mit zwei Karten nimmt nach unserer Schätzung etwa 1,8 kW auf und passt an einen Stromkreis mit 230 V und 16 A, der bei 80 Prozent 2,94 kW trägt; der Server mit vier Karten nimmt etwa 3,4 kW auf und braucht 32 A oder Drehstrom, wie unser Leitfaden zum Stromanschluss von GPU-Servern mit 16 A, 32 A und Drehstrom durchrechnet. Beide sind Rack-Server und gehören in einen Serverraum oder ein gemietetes Rack. Ohne eigenen Raum betreibt unser Service Private AI/ML die Plattform auf dedizierter Hardware in einem Tier-3-Rechenzentrum in Litauen, innerhalb der EU.

Eine erste Checkliste für die Geschäftsführung

1. Benennen Sie die ersten zwei oder drei Aufgaben und die Arten personenbezogener Daten darin, etwa Kunden-E-Mails, Verträge oder Fragen an die Personalabteilung.
2. Fragen Sie Ihren Datenschutz­beauftragten, ob eine davon eine Folgenabschätzung braucht, und geben Sie ihm den Datenfluss des Assistenten.
3. Legen Sie für jeden Speicher aus der Tabelle oben eine Frist fest und eine Person, die für das Löschen zuständig ist.
4. Lassen Sie die Zugriffsrechte des Assistenten den Rechten auf den Dateiablagen folgen, damit niemand über den Assistenten Dokumente findet, die er vorher nicht öffnen konnte.
5. Listen Sie jeden Dienstleister mit Zugriff auf den Server auf, mit Standort und Auftrags­verarbeitungs­vertrag.
6. Sagen Sie den Beschäftigten, welches Werkzeug für welche Daten gilt, und schulen Sie sie vor dem Zugang; unser Leitfaden zu Schatten-KI behandelt die Regeln für öffentliche Chatbots und unser Leitfaden zur Schulung der KI-Kompetenz die Pflicht aus der KI-Verordnung, die neben der DSGVO gilt.

Unser Leitfaden zu hybrider KI, vertrauliche Daten lokal und der Rest in der Cloud zeigt, wie ein Unternehmen Aufgaben auf beide verteilt, und unser Vergleich von ChatGPT Enterprise und eigenem KI-Server fasst zusammen, was der Anbieter für seine Business-Angebote dokumentiert.

Was wir liefern

Sie können dieses System bei uns kaufen: Unser Team legt die Konfiguration nach Ihrer Arbeitslast und Ihrem Budget aus und antwortet innerhalb eines Werktages. Wir bauen die Server auf Bestellung mit zwei, vier oder acht Karten der RTX PRO 6000 Server Edition, vor der Lieferung montiert und getestet, geliefert in die gesamte EU mit einem EU-Vertrag und einer Rechnung, mit Herstellergarantie auf jede Komponente, abgewickelt über uns; Stückzahlen und Lieferzeit werden mit dem Angebot schriftlich bestätigt. Unser Service Private AI/ML, umgesetzt von unserem Engineering-Partner Vixen.UNO, richtet Modell, Dokumentensuche, Abfrageprotokoll und Zugriffsrechte ein. Die rechtliche Bewertung bleibt bei Ihrem Datenschutz­beauftragten; wir liefern den technischen Teil. Schicken Sie uns die Aufgaben und die Zahl der Beschäftigten, und wir schlagen einen Server und einen Piloten vor.

FAQ