Hybride KI: vertrauliche Daten auf dem eigenen Server, der Rest im Cloud-Assistenten

Hybride KI: welche Daten wohin gehen

Hybride KI heißt, dass ein Unternehmen KI lokal und in der Cloud kombiniert: Es behält einen Cloud-Assistenten wie ChatGPT für öffentliche und allgemeine interne Arbeit und betreibt für alles Vertrauliche ein Sprachmodell auf dem eigenen Server. Eine kurze Regel mit vier Datenklassen sagt den Beschäftigten, welches Werkzeug für welches Material gilt, und die Software setzt sie durch: Die Chat-Oberfläche bietet jeder Person nur die Modelle an, die sie nutzen darf, und ein Gateway zwischen Oberfläche und Modellen entscheidet, wohin eine Anfrage gehen darf. Der eigene Server muss dann nur den vertraulichen Teil der Arbeit tragen und bleibt kleiner als ein Server für das ganze Unternehmen.

Wir schreiben für die Geschäftsführung oder den Inhaber, die die Regel festlegen, und in der zweiten Hälfte für das IT-Team oder den Dienstleister, der sie einrichtet. Die Regel kommt zuerst, weil sie die Technik bestimmt. Unser Beitrag zu Schatten-KI und einer KI-Nutzungsrichtlinie behandelt die Richtlinie insgesamt und das Auffinden nicht freigegebener Werkzeuge; dieser Beitrag beschreibt die Aufteilung zwischen lokal und Cloud und wie sie im Alltag funktioniert.

Datenklassifizierung für KI: vier Klassen aus der Fertigung

Die Klassen unten sind ein Beispiel für einen Fertigungsbetrieb. Ihre eigenen Klassen können abweichen, und Ihr Datenschutz­beauftragter und Ihre Rechtsberatung bestätigen die Zeilen mit personenbezogenen Daten und etwaige Kundenverträge.

Beispielhafte Einteilung für einen Hersteller; die Entscheidung für jede Klasse liegt bei Ihnen. Gesundheitsdaten in Klasse 4 sind eine besondere Kategorie nach Artikel 9 Absatz 1 DSGVO.

In Klasse 3 liegt der größte Teil des Werts eines Herstellers. Eine Zeichnung, eine Rezeptur oder eine Kalkulation, die das Unternehmen in einem Prompt verlässt, ist außerhalb seiner Kontrolle, und das NDA eines Kunden kann verbieten, seine Spezifikationen überhaupt an Dritte zu geben. Unser Leitfaden zu Geheimhaltung, NDAs und KI-Werkzeugen erklärt, warum Unternehmen solches Material im Haus behalten.

Klasse 4 braucht eine Rechtsgrundlage, gleich mit welchem Werkzeug. Artikel 4 Nummer 1 DSGVO bestimmt personenbezogene Daten als „alle Informationen, die sich auf eine identifizierte oder identifizierbare natürliche Person“ beziehen, und Artikel 9 Absatz 1 untersagt die Verarbeitung besonderer Kategorien, darunter Gesundheitsdaten, sofern keine der Ausnahmen in Artikel 9 Absatz 2 greift. Läuft das Modell auf dem eigenen Server, bleiben die Daten unter Ihrer Kontrolle; die Rechtsgrundlage ersetzt das nicht, und Ihr Datenschutz­beauftragter bestätigt sie, wie unser Beitrag zu lokaler KI und DSGVO erklärt. Passwörter, Zugangsschlüssel und Zertifikate gehören in keinen Prompt, gleich welcher Klasse.

Eine Regel, der die Beschäftigten folgen können, und was sie sehen

Eine Regel wirkt nur, wenn die Beschäftigten sie in einer Sekunde anwenden können. Ein Satz genügt: „Was Sie keinem Fremden per E-Mail schicken würden, gehört in die Firmen-KI, nie in den Cloud-Assistenten.“ Die vier Klassen stehen dahinter für die Fälle, in denen jemand unsicher ist.

Den größten Teil der Arbeit übernimmt dann die Chat-Oberfläche. Die Beschäftigten öffnen eine Seite im Browser und wählen aus einer kurzen Modellliste mit Namen, die die Regel tragen, etwa „Firmen-KI (alle Daten)“ und „Cloud-Assistent (nur öffentlich und intern)“. Die Dokumentensuche über Zeichnungen, Qualitätsunterlagen oder Personalakten ist nur mit dem lokalen Modell verbunden, sodass eine Frage zu einem vertraulichen Dokument die Cloud auch aus Versehen nicht erreicht. Die Konstruktion sieht die Sammlungen der Konstruktion, die Personalabteilung die der Personalabteilung, und ein Benutzerteam, das mit dem Cloud-Assistenten nichts zu tun hat, sieht ihn gar nicht in der Liste.

Die Schulung ist kurz und praktisch: was die vier Klassen sind, welcher Name in der Liste zu welcher gehört und wen man fragt. Das Abfrageprotokoll zeigt später, ob die Regel hält. Unser Service Private AI/ML führt ein solches Protokoll: Nichts geht an öffentliche APIs, bis Sie den Hybridmodus für eine bestimmte Aufgabe freigeben, und was dorthin geht, ist im Protokoll sichtbar.

Was die Cloud-Seite bietet, nach Angaben des Anbieters

Die Cloud-Hälfte einer hybriden Lösung kann ein Business-Tarif sein, den die Beschäftigten im Browser öffnen, oder ein Cloud-Modell, das über das Gateway des Unternehmens erreicht wird; so arbeitet der Hybridmodus in unserem Service Private AI/ML. In beiden Fällen stammt, was der Anbieter zusagt, von seinen eigenen Seiten. OpenAIs Seite zu Unternehmensdaten, gelesen am 25. Oktober 2026 und ohne eigenes Datum, erklärt: „We don’t train our models on your organization’s data by default“. Sie nennt ChatGPT Enterprise, ChatGPT Business, ChatGPT Edu und die API-Plattform unter den erfassten Produkten. „Qualifying organizations“ können festlegen, wie lange OpenAI Unternehmensdaten aufbewahrt, und API-Kunden können eine Richtlinie ohne Datenaufbewahrung („zero data retention“) wählen. Die Speicherung in Europa wird „eligible ChatGPT Enterprise, ChatGPT Edu, ChatGPT for Healthcare, and API platform customers“ angeboten; ChatGPT Business nennt die Seite dafür nicht. OpenAIs Ankündigung vom 5. Februar 2025 führte die europäische Datenresidenz für neue Enterprise- und Edu-Arbeitsbereiche und neue API-Projekte ein, und ihr Nachtrag vom 16. Januar 2026 ergänzte für berechtigte Enterprise-, Edu- und Healthcare-Kunden die GPU-Inferenz in der Region Europa.

Unsere Checkliste; die Aussagen von OpenAI oben von openai.com/business-data und aus der Ankündigung der Datenresidenz in Europa, gelesen am 25. Oktober 2026.

Das sind Angaben des Anbieters über seinen eigenen Dienst. Nach Artikel 28 Absatz 1 DSGVO darf ein Verantwortlicher nur Auftragsverarbeiter einsetzen, die geeignete technische und organisatorische Maßnahmen umsetzen können; Ihr Datenschutz­beauftragter liest deshalb den Auftrags­verarbeitungs­vertrag des Tarifs, den Sie kaufen, und unser Leitfaden zu DSGVO-Cloud-Hosting, AVV und Unterauftrags­verarbeitern listet, was zu prüfen ist. Eine Datenregion legt fest, wo Daten gespeichert werden, nicht, welchem Recht der Anbieter unterliegt, wie unser Vergleich private LLMs und Cloud-APIs festhält. Einen Business-Tarif je Platz und einen eigenen Server allein vergleicht ChatGPT Enterprise oder eigene KI.

Wir richten die lokale Hälfte und die Regel zwischen beiden ein; schicken Sie uns Ihre Datenklassen und die Teams, die mit jeder arbeiten, und unser Team antwortet mit einer Konfiguration für den eigenen Server.

Die lokale Seite für den vertraulichen Anteil bemessen

Der eigene Server muss nicht das ganze Unternehmen tragen, nur die Personen und Aufgaben der Klassen 3 und 4. Unsere Regel für Nutzer je Karte nimmt 90 Prozent der 95,6 GiB, die der Treiber auf einer 96-GB-Karte RTX PRO 6000 meldet, zieht 3 GiB je Karte und die Gewichte des Modells ab und teilt den Rest durch den Speicher eines Gesprächs. Mit gpt-oss-120b bei 32K Kontext und 16-Bit-Cache sind das etwa 19 gleichzeitig laufende Gespräche auf einer Karte, wie unser Leitfaden zu Nutzern je RTX PRO 6000 herleitet. Mit den Beispielwerten unseres Leitfadens nach Firmengröße laufen im stärksten Moment etwa vier Anfragen je 100 Beschäftigte, sodass eine Karte die Spitze von etwa 475 Personen abdeckt, die die Firmen-KI nutzen.

Unsere Schätzungen: Gespräche nach unserer Regel für Nutzer je Karte mit 16-Bit-Cache; Nutzer nach den Beispielwerten unseres Leitfadens nach Firmengröße; Leistung aus der Steckdose aus Karten, Prozessoren und 15 Prozent für den Rest, wie in unseren Leitfäden zu zwei und vier Karten. Eine Messung am gelieferten System bestätigt den Wert.

In einer hybriden Lösung ist das lokale Modell dasjenige, das die Beschäftigten für vertrauliche Arbeit nutzen; seine Antwortqualität entscheidet also, ob sie der Regel folgen. Ist es bei ihren Aufgaben deutlich schwächer, kehren die Beschäftigten zum Cloud-Assistenten zurück. Testen Sie das lokale Modell vor der Einführung mit echten Fragen aus Konstruktion, Qualität und Personalabteilung, wie unser Vergleich der Antwortqualität von lokaler KI und ChatGPT nahelegt. Wo der eigene Server stehen kann und wie viel Lärm und Wärme er erzeugt, steht in unserem Leitfaden zum GPU-Server im Büro.

Wie das Routing funktioniert: Gateway, Schlüssel und Benutzerteams

Für das IT-Team hat die Lösung drei Schichten: die Anmeldung, die Chat-Oberfläche und das Gateway vor den Modellen. Die Nutzer melden sich über den Verzeichnisdienst des Unternehmens an, die Oberfläche zeigt jedem Benutzerteam seine Modelle, und das Gateway prüft jede Anfrage gegen den Schlüssel oder das Team, das sie trägt.

Im Proxy von LiteLLM, dokumentiert auf seiner Seite zum Modellzugriff, gelesen am 25. Oktober 2026, nimmt ein mit /key/generate erzeugter virtueller Schlüssel eine models-Liste an, und diese Liste verbirgt laut Dokumentation ein Modell in GET /v1/models und sperrt Aufrufe daran. Ein mit /team/new angelegtes Team nimmt ebenfalls eine models-Liste an, und die für dieses Team ausgegebenen Schlüssel sind an diese Liste gebunden; ein Aufruf außerhalb der Liste liefert einen Fehler, der die für das Team gültigen Modelle nennt. Modelle lassen sich mit access_groups unter model_info in config.yaml bündeln und unter diesem Namen einem Schlüssel oder Team zuweisen; die Dokumentation von LiteLLM verlangt eine Enterprise-Lizenz nur für den Zugriff auf Wildcard-Modelle. Ein praktischer Aufbau gibt dem Cloud-Modell einen eigenen Namen, den nur die Schlüssel freigegebener Teams aufrufen dürfen, sodass jede Anfrage daran ein Team und einen Protokolleintrag trägt.

Seiten von LiteLLM zu Modellzugriff und access_groups, Dokumentation von Open WebUI zu Teams und Modellzugriff, gelesen am 25. Oktober 2026; die Aufteilung in Schichten ist unsere Empfehlung.

In Open WebUI setzt ein Administrator laut Dokumentation, gelesen am 25. Oktober 2026, die Sichtbarkeit eines Modells auf „Private or Restricted“ und gibt ausgewählten Benutzerteams oder einzelnen Nutzern Lesezugriff, mit dem sie es sehen und nutzen, oder Schreibzugriff, mit dem sie es ändern. Die Teams lassen sich mit dem Identitätsanbieter abgleichen, wenn ENABLE_OAUTH_GROUP_MANAGEMENT aktiviert ist, und nach derselben Seite gewährt ein solches Team standardmäßig keine Rechte über die globalen Voreinstellungen hinaus. Unser Leitfaden zur Härtung von Open WebUI behandelt die zugehörigen Sicherheitseinstellungen.

Zwei Details schützen die Regel. Halten Sie Ausweichmodelle innerhalb der privaten Modelle: Eine Fallback-Liste, die das Cloud-Modell nennt, schickt vertrauliche Prompts hinaus, sobald das lokale Modell ausfällt, wie unser Leitfaden zum LLM-Gateway mit Schlüsseln, Budgets und Protokoll erklärt. Und verlassen Sie sich nicht allein auf automatische Erkennung, um vertrauliche Inhalte in Prompts an das Cloud-Modell abzufangen: Unser Leitfaden zur Entfernung personenbezogener Daten vor einem LLM berichtet, dass das beste von fünf PII-Modellen in einem veröffentlichten Benchmark einen mittleren F1-Wert von 0,471 erreichte; die Erkennung ist deshalb eine zweite Linie hinter der Regel nach Teams.

Kostentreiber auf beiden Seiten

Preise nennen wir hier nicht; beide Seiten ändern sich, und der Vergleich gehört in eine Tabellenkalkulation mit Ihren eigenen Angeboten. Die wichtigsten Kostentreiber:

Unsere Zusammenfassung; Lizenzierung von NVIDIA AI Enterprise wie in unserem Leitfaden zu NVIDIA AI Enterprise; Leistung aus der Steckdose wie in unserem Leitfaden zu zwei Karten.

Eine hybride Lösung kann die Cloud-Seite senken, weil weniger Plätze den Tarif mit den strengsten Datenbedingungen brauchen, und sie hält den eigenen Server klein, weil er nur den vertraulichen Anteil trägt. Unsere Leitfäden zum Stromverbrauch eines KI-Servers pro Jahr und zur Gewinnschwelle eines privaten LLM gegenüber einer Cloud-API machen aus diesen Treibern Zahlen.

Die Regel Schritt für Schritt einführen

1. Schreiben Sie die vier Klassen mit Beispielen aus Ihren eigenen Abteilungen auf, und lassen Sie die Klassen 3 und 4 von Datenschutz­beauftragtem und Rechtsberatung bestätigen.
2. Legen Sie fest, welche Teams den Cloud-Assistenten für welche Klassen nutzen dürfen.
3. Richten Sie den eigenen Server, das lokale Modell und die Dokumentensuche ein, und verbinden Sie vertrauliche Sammlungen nur mit dem lokalen Modell.
4. Konfigurieren Sie Anmeldung, Modellliste je Team und die Gateway-Schlüssel, ohne Ausweichen in die Cloud.
5. Schulen Sie die Beschäftigten auf die Ein-Satz-Regel und die Namen in der Modellliste.
6. Prüfen Sie das Abfrageprotokoll nach den ersten Wochen und schärfen Sie die Klassen dort nach, wo die Regel unklar war.

Was wir liefern

Sie können dieses System bei uns kaufen: Unser Team dimensioniert die Konfiguration nach Ihrer Last und Ihrem Budget und antwortet innerhalb eines Werktages. Wir bauen KI-Server auf Bestellung mit zwei, vier oder acht Karten der RTX PRO 6000 Server Edition, vor der Lieferung montiert und getestet, mit einem EU-Vertrag und einer Rechnung und mit Herstellergarantie auf jede Komponente, abgewickelt über uns; Stückzahlen und Lieferzeit werden mit dem Angebot schriftlich bestätigt. Die lokalen Modelle, die Dokumentensuche mit Zugriffsrechten, das Abfrageprotokoll und der Hybridmodus für ausgewählte Aufgaben sind unser Service Private AI/ML mit unserem Engineering-Partner Vixen.UNO.

FAQ