Wo private LLM-Inferenz in Europa laufen kann: on-premise, in einem EU-Rechenzentrum oder auf Cloud-GPUs

Wo private LLM-Inferenz in Europa laufen kann

Ein privates LLM für eine RAG-Anwendung kann in Europa an vier Orten laufen: auf GPU-Servern in Ihrem eigenen Serverraum, auf Servern in einem EU-Rechenzentrum, die nur Ihnen zur Verfügung stehen, auf GPU-Instanzen, die globale Cloud-Anbieter in ihren EU-Regionen vermieten, oder bei einem Anbieter von GPU-as-a-Service. Dürfen Prompts und Dokumente keinen US-Anbieter erreichen, betreiben Sie das Modell on-premise, wo der gesamte Datenpfad in Ihrem Netz bleibt, oder auf dedizierten Servern in einem Rechenzentrum, bei dem weder der Betreiber noch ein Hosting-Anbieter, der die Server betreibt, ein US-Unternehmen ist oder einem US-Unternehmen gehört. Auch eine GPU-Cloud, die ein solches Unternehmen betreibt, kommt in Frage, sobald der Vertrag nennt, wer die Hardware wo betreibt. Die EU-Region einer globalen Cloud legt fest, wo Daten gespeichert werden, während die Gerichtsbarkeit des Betreibers entscheidet, ob eine US-Anordnung sie erreichen kann, wie unser Artikel zu CLOUD Act und EU-Datenresidenz erklärt.

Unsere Zusammenfassung der folgenden Abschnitte und der dort zitierten Anbieterdokumente, abgerufen am 6. Oktober 2026.

Was eine RAG-Anwendung überträgt und wo Daten nach außen gelangen können

Die Frage eines Nutzers läuft vom Browser zum Chat-Frontend, das im Index nach Passagen sucht, die der Nutzer lesen darf, sie dem Prompt hinzufügt und beides an den Modellserver schickt; die Antwort kommt auf demselben Weg als Stream zurück. Jede Komponente auf diesem Weg verarbeitet Unternehmensdaten.

Datenflüsse eines selbst gehosteten Stacks wie in unserem Leitfaden zur privaten ChatGPT-Alternative; OWASP Top 10 for LLM Applications 2026, LLM02 und LLM09 (Ressourcenseite vom 3. August 2026).

Ein Index für RAG hält für jeden Chunk jedes Dokuments ein Embedding und dazu den Text des Chunks, im Index oder in einem Speicher daneben, denn dieser Text geht in den Prompt ein. Der Index ist damit eine zweite Kopie des Dokumentenbestands und gehört dorthin, wo die Dokumente liegen dürfen. Embeddings ohne den Text sind keine Ausnahme, denn OWASP hält in den Top 10 for LLM Applications 2026 unter LLM09, Vector and Embedding Weaknesses, fest: „Gespeicherte Embeddings können invertiert werden, um den Ausgangstext wiederherzustellen.“ Eine Embedding-API in der Cloud erhält beim Indexieren den Text jedes Dokuments, auch wenn das LLM selbst privat läuft. Unser Leitfaden zu einer privaten ChatGPT-Alternative nennt die Einstellungen, die verhindern, dass ein selbst gehosteter Stack Verbindungen nach außen aufbaut. Das Herunterladen offener Modellgewichte überträgt keine Prompts, und ein Identity Provider in der Cloud sieht Anmeldungen, keine Gespräche.

GPU-Server on-premise: Rack, Strom und Betrieb

On-premise steht der GPU-Server neben den Systemen, die die Dokumente halten, und Prompts, Index und Logs bleiben in Ihrem Netz, solange Sie keine Verbindung hinzufügen. Ein Server mit mehreren GPUs zieht unter Last mehrere Kilowatt, und die Absicherung des Stromkreises, der Steckdosentyp der PDU, die Traglast des Bodens und das Stromkabel der GPU entscheiden, ob sich ein gelieferter Server einschalten lässt; unser Artikel zu Strom und Kühlung für ein GPU-Rack geht diese Prüfungen durch, ebenso den Luftstrom, den ein Rack-Stellplatz braucht. Was für den Server selbst zu spezifizieren ist, steht in unserem Leitfaden zum Kauf eines KI-Servers.

Der Betrieb ist Aufgabe Ihres Teams oder eines Partners. Treiber, Serving-Engine und Frontend brauchen Updates, defekte Teile müssen ersetzt werden, und ein einzelner Server ist ein Single Point of Failure; ein produktiver Assistent braucht deshalb einen zweiten Server oder eine Rückfallebene, die der Fachbereich akzeptiert.

Wir bauen GPU-Server für private LLMs und RAG auf Bestellung und prüfen Rack, Strom und Luftstrom vor dem Angebot. Schicken Sie uns das Modell, die Höchstzahl Ihrer Nutzer und die Stromversorgung des Rack-Stellplatzes über das Formular unten.

Dedizierte GPU-Server in einem EU-Rechenzentrum

Kann der Serverraum keine GPU-Server aufnehmen oder arbeiten die Nutzer an mehreren Standorten, können die Server in einem EU-Rechenzentrum stehen und trotzdem nur Ihnen dienen. Bei Colocation gehören die Server Ihnen, und Sie mieten Fläche, Strom und Kühlung; beim dedizierten Hosting liefert und hostet ein Anbieter Server, die kein anderer Kunde nutzt. In beiden Fällen halten GPUs, Arbeitsspeicher und lokale Datenträger nur Ihre Daten, solange der Vertrag läuft.

Das Rechenzentrum übernimmt Strom, Kühlung, physische Sicherheit und Anbindung. Fragen Sie, wie viel elektrische Leistung je Rack der Vertrag enthält, denn ein Rack mit GPU-Servern kann mehr ziehen, als die Auslegung eines für klassische Server geplanten Racks vorsieht. Ein Zertifikat wie ISO 27001 zählt für den Standort nur, wenn der Geltungsbereich des Zertifikats ihn nennt. Klären Sie außerdem, wer Root-Rechte auf den Servern hat, wer die Zugangsdaten für den BMC hält, der den Server unterhalb des Betriebssystems steuert, und ob das Personal des Rechenzentrums nur auf Ihre Anforderung an der Hardware arbeitet. Der Index mit dem Text jedes Chunks und die Logs liegen dann ebenfalls im Rechenzentrum, erreichbar über ein Site-to-Site-VPN oder eine Standleitung. Die Frage der Gerichtsbarkeit betrifft den Betreiber des Rechenzentrums, jeden Hosting-Anbieter zwischen Ihnen und der Hardware und deren Eigentümer.

Unser Service Private AI/ML kann die Modelle auf dedizierter Hardware in einem Tier-3-Rechenzentrum in Litauen betreiben, wo die Daten in der EU bleiben. Nennen Sie uns, wo die Dokumente heute gespeichert sind und welche Datenklassen der Assistent sehen darf.

Cloud-GPUs und Modell-APIs in EU-Regionen

Globale Cloud-Anbieter vermieten GPU-Instanzen in ihren EU-Regionen nach Bedarf, und die gewählte Region legt fest, wo gespeicherte Daten liegen. AWS etwa schreibt in seinen FAQ zum Datenschutz, abgerufen am 6. Oktober 2026, dass es Kundeninhalte nicht aus den gewählten Regionen verschiebt oder repliziert, „außer wenn dies zur Bereitstellung der von Ihnen veranlassten Dienste erforderlich ist“, oder um Gesetze oder eine verbindliche Anordnung einer Regierungsbehörde einzuhalten. Nach seinem Modell der geteilten Verantwortung verwaltet der Kunde das Gastbetriebssystem und dessen Patches, die auf einer Instanz installierte Software und die Firewall-Regeln; Treiber, Modellserver und Frontend betreiben also Sie, wie on-premise. Prüfen Sie, ob der benötigte GPU-Typ in der Region angeboten wird und ob Kapazität reserviert werden muss.

Dieselben Anbieter verkaufen Modelle über APIs, und dort entscheidet die Art, wie Sie ein Modell aufrufen, wo ein Prompt verarbeitet wird. Die Dokumentation von Amazon Bedrock beschreibt, abgerufen am 6. Oktober 2026, an eine Geografie wie die EU gebundene Inferenzprofile, die jede Anfrage an eine Region innerhalb dieser Geografie senden, und globale Profile, die Anfragen an jede unterstützte kommerzielle Region weltweit leiten können. Jede regionsübergreifende Anfrage wird in der Quellregion protokolliert, wo das Feld additionalEventData.inferenceRegion zeigt, wo sie verarbeitet wurde. Wann eine API weniger kostet als ein eigener Server und wann nicht, behandelt unser Vergleich von privatem LLM und Cloud-API.

GPU-as-a-Service: wer die Hardware betreibt und wer sich die GPU teilt

Anbieter von GPU-as-a-Service, darunter europäische GPU-Clouds, vermieten GPUs nach Bedarf oder für feste Laufzeiten, als virtuelle Maschinen, Bare-Metal-Server oder Container. Das Unternehmen, mit dem Sie den Vertrag schließen, betreibt die Server nicht immer selbst. NVIDIA etwa schreibt, abgerufen am 6. Oktober 2026, dass seine Plattform DGX Cloud Lepton „ein globales Netzwerk aus NVIDIA Cloud Partners (NCPs), GPU-Marktplätzen, Cloud-Anbietern und lokalen Umgebungen“ zusammenführt. Lassen Sie das betreibende Unternehmen und das Rechenzentrum im Vertrag festschreiben.

Eine ganze GPU, auf Bare Metal oder an eine virtuelle Maschine durchgereicht, dient jeweils einem Mandanten, während eine geteilte GPU zwischen Mandanten aufgeteilt wird, etwa in MIG-Partitionen oder vGPU-Profile. Werden GPUs per Time-Slicing zwischen Containern geteilt, vermerkt die Dokumentation des NVIDIA GPU Operator (aktualisiert am 23. September 2026), dass dabei die Speicher- und Fehlerisolation wegfällt, die MIG bietet. Container auf einem Host teilen sich außerdem dessen Kernel, sodass eine Schwachstelle im Kernel oder in der Runtime einen Mandanten einem anderen preisgeben kann, und die Administratoren des Hosts können auf das zugreifen, was darin läuft, wie bei virtuellen Maschinen ohne Confidential Computing auch. Modellgewichte, Indizes und Logs können auf lokalen NVMe-Datenträgern liegen; fragen Sie deshalb, wie diese gelöscht werden, wenn eine Instanz endet.

Für Training oder Fine-Tuning führt die Website des Gemeinsamen Unternehmens EuroHPC, Stand Oktober 2026, 19 KI-Fabriken auf, die die EU rund um ihre Supercomputer eingerichtet hat und die der europäischen Industrie über Ausschreibungen für den Zugang Rechenressourcen anbieten. Ihre Zugangsmodi für industrielle Innovation stehen KMU und Start-ups aus dem KI-Bereich offen, während andere industrielle Anwendungen einen kommerziellen Zugang mit Abrechnung nach Nutzung in Anspruch nehmen können. Das Gemeinsame Unternehmen beschreibt KI-Fabriken als Zentren für die Entwicklung generativer KI-Modelle; ein täglich genutzter Assistent braucht deshalb ein eigenes Hosting.

Latenz, Zugriff und Vertrag: was vor der Wahl zu klären ist

Die Netzwerklatenz zwischen Standorten in der EU ist gering im Vergleich zu den Sekunden, die ein Modell braucht, um eine Antwort von einigen hundert Token zu streamen; die Entfernung innerhalb der EU entscheidet deshalb selten über den Standort. Round Trips summieren sich, wo ein Agent das Modell viele Male nacheinander aufruft oder wo das Retrieval an einem Standort und das Modell an einem anderen läuft. Die Bandbreite zählt bei der ersten Indexierung eines großen Dokumentenbestands und dabei, den Index aktuell zu halten, und die Verbindung wird zur Abhängigkeit, denn die Nutzer an diesem Standort verlieren den Assistenten, wenn sie ausfällt.

Verarbeitet ein Hosting-Anbieter in Ihrem Auftrag personenbezogene Daten, verlangt Artikel 28 DSGVO einen Vertrag, nach dem er einen weiteren Auftragsverarbeiter nur mit Ihrer vorherigen gesonderten oder allgemeinen schriftlichen Genehmigung in Anspruch nimmt und „nach Abschluss der Erbringung der Verarbeitungsleistungen alle personenbezogenen Daten nach Wahl des Verantwortlichen entweder löscht oder zurückgibt“ und vorhandene Kopien löscht, sofern nicht das Unionsrecht oder das Recht der Mitgliedstaaten ihre Speicherung verlangt. Wie diese Regeln für Ihre Daten gelten, ist eine rechtliche Bewertung für Ihre Rechtsabteilung. Klären Sie diese Punkte mit jedem infrage kommenden Hosting-Anbieter, bevor Sie sich entscheiden:

1. Der Rechtsträger, der die Hardware betreibt, das Rechenzentrum, in dem sie steht, und wem beide gehören.
2. Ob GPUs, Arbeitsspeicher und lokale Datenträger Ihnen allein zugeordnet sind und, falls sie geteilt werden, wie Mandanten getrennt und Datenträger gelöscht werden.
3. Wer Root-, Hypervisor- und BMC-Zugriff hat, aus welchen Ländern, und wie diese Sitzungen protokolliert werden.
4. Wo Prompts, Antworten, der Index, Modellgewichte, Logs und Backups gespeichert werden und wie lange.
5. Welche Verbindungen die Plattform verlassen: öffentliche APIs, Embedding-Dienste, Telemetrie und Update-Prüfungen.
6. Die im Vertrag genannten Subauftragsverarbeiter und wie die Daten am Ende zu Ihnen zurückkommen.
7. Die elektrische Leistung je Rack für Ihre eigenen Server, die Latenz von Ihren Standorten und die Bandbreite für die Indexierung.

Was wir tun

Unser Service Private AI/ML bringt private LLMs und RAG-Assistenten auf eine von drei Arten in Betrieb: on-premise auf Ihren Servern, wo die Daten Ihr Netz nie verlassen; auf dedizierter Hardware in Baltnetas Tier-3-Rechenzentren in Litauen, mit ISO 27001 und PCI DSS Level 1, wo die Daten in der EU bleiben; oder hybrid, wobei öffentliche APIs nur nach Ihrer ausdrücklichen Entscheidung freigegeben werden und im Query-Log sichtbar ist, was an sie geht. Sie wählen die Option im Assessment, und eine TCO-Rechnung gegen Cloud-GPUs steht vor jedem Kauf. KI-Server für Inferenz und RAG bauen wir auf Bestellung, mit 2 bis 8 GPUs je Knoten, ausgelegt nach Modellgröße und gleichzeitigen Nutzern. Eurokommerz hält den Vertrag und liefert die Hardware, das Engineering kommt von unserem Engineering-Partner Vixen.UNO, und auf unserer Seite Sicherheit & Compliance stehen die Dokumente, die wir unterschreiben. Das erste Gespräch ist kostenlos, und der Preis des technischen Assessments steht vor Beginn fest.

FAQ