Private-KI-Ausschreibung: die Fragen an jeden Anbieter vor dem Kauf einer LLM-Plattform

Was eine Private-KI-Ausschreibung fragen muss

Eine Private-KI-Ausschreibung, also die Angebotsaufforderung für eine LLM-Plattform auf eigenen Servern oder auf dedizierter Hardware, stellt jedem Anbieter dieselben Fragen in acht Bereichen: Daten, Modelle, Antwortqualität, Betrieb, Sicherheits- und Compliance-Unterlagen, Eigentum, Exit und Kostenstruktur. Jede Frage sollte ein Dokument, eine Zahl oder eine Vorführung verlangen, damit sich die Antworten nebeneinanderlegen lassen. Die beiden Tabellen unten lassen sich als Vorlage für eine KI-Ausschreibung kopieren und an Ihren Fall anpassen.

Diese Fragen betreffen das ganze Projekt. Der GPU-Server bekommt ein eigenes Leistungsverzeichnis mit messbaren Mindestwerten für Speicher, Bandbreite, Strom und Garantie; das behandelt unser Leitfaden zur GPU-Server-Ausschreibung. Wer zuerst die Größe der Hardware wissen will, findet die zehn Angaben dafür in unserer Sizing-Anfrage für private KI.

Fragen an Anbieter in der KI-Ausschreibung zu Daten, Modellen und Antwortqualität

unsere eigene Frageliste; die Abschnitte unten erläutern jeden Bereich.

Zu den Daten sollten Sie neben einem Satz auch eine Skizze verlangen. Eine Plattform hält Daten an mindestens drei Stellen: Prompts und Antworten bei der Übertragung, die Dokumente mit ihrem Index und die Protokolle. Für jede Stelle sollte der Anbieter das System, den Ort und die Personen mit Zugriff nennen. Der Zugriff durch Mitarbeiter des Anbieters verdient eine eigene Antwort: Verarbeitet ein Anbieter personen­bezogene Daten in Ihrem Auftrag, verlangt die DSGVO dafür einen Vertrag (siehe den Abschnitt zur DSGVO unten).

Bei den Modellen gehört die Lizenz ins Angebot. Offene Modelle stehen unter permissiven Lizenzen, unter eigenen Lizenzen mit Nutzungsrichtlinien oder unter Lizenzen nur für nichtkommerzielle Zwecke; unser Vergleich der LLM-Lizenzen für kommerzielle Nutzung stellt sie nebeneinander. Fragen Sie, wer eine lokale Kopie der eingesetzten Gewichte aufbewahrt: Basisgewichte lassen sich nur so lange erneut herunterladen, wie diese Revision existiert, wie unser Leitfaden zum Backup eines KI-Servers erklärt.

Bei der Qualität sollte eine Vorführung auf den Daten des Anbieters nicht als Nachweis gelten. Stellen Sie aus Ihren Dokumenten einen festen Satz von Fragen zusammen, legen Sie die akzeptierten Antworten und die Bestehensgrenzen vor dem Piloten schriftlich fest und lassen Sie jeden Anbieter denselben Satz beantworten. Derselbe Satz dient später als Regressionstest bei jedem Wechsel von Modell oder Prompt, wie in LLM-Evaluierung vor Modellwechseln beschrieben. Antwortet der Assistent aus Dokumenten, beginnen falsche Antworten meist beim Abruf, wie RAG auf Firmendaten erklärt; der Satz sollte deshalb Fragen enthalten, deren Dokumente ein bestimmter Nutzer nicht sehen darf.

Wir liefern die Server für solche Projekte und richten Modelle und Assistenten darauf ein; schicken Sie uns Ihre Frageliste, und wir beantworten sie für Ihren Fall.

Fragen zu Betrieb, Sicherheit, Eigentum, Exit und Kosten

unsere eigene Frageliste; die OWASP-Liste ist die Ausgabe 2025 auf der Projektseite, gelesen am 12. November 2026.

Beim Support unterscheiden sich Angebote am stärksten in der Wortwahl. Überlassen Sie die Definition dem Anbieter und verlangen Sie Zahlen: die Stunden, in denen jemand antwortet, die Reaktionszeit je Priorität, die Wartungsfenster und wer eine Änderung freigibt. Vergleichen Sie dann die Zahlen; die Namen der Servicestufen sind von Anbieter zu Anbieter verschieden. Wer die Plattform nach dem Go-live betreiben kann, eigene Mitarbeiter, der Anbieter oder beide gemeinsam, behandelt unser Artikel zum Betrieb einer privaten LLM-Plattform.

Sicherheitsfragen mit OWASP, ISO/IEC 42001 und NIST als Referenz

Eine Ausschreibung kann drei öffentliche Referenzen nennen, jede zu einem anderen Zweck.

Die OWASP Top 10 for LLM Applications sind eine Liste von Risiken. Die aktuelle Liste auf der Projektseite, gelesen am 12. November 2026, ist die Ausgabe 2025: LLM01:2025 Prompt Injection, LLM02:2025 Sensitive Information Disclosure, LLM03:2025 Supply Chain, LLM04:2025 Data and Model Poisoning, LLM05:2025 Improper Output Handling, LLM06:2025 Excessive Agency, LLM07:2025 System Prompt Leakage, LLM08:2025 Vector and Embedding Weaknesses, LLM09:2025 Misinformation und LLM10:2025 Unbounded Consumption. Fragen Sie je Eintrag, welcher Test lief und mit welchem Ergebnis. Die Schutzmaßnahmen beschreibt unser Artikel zu Prompt Injection und LLM-Sicherheit.

ISO/IEC 42001:2023, „Information technology - Artificial intelligence - Management system“, ist eine Managementsystemnorm. Laut ihrer Kurzbeschreibung, gelesen am 12. November 2026 in einem Normenkatalog, legt sie die Anforderungen an ein KI-Managementsystem fest und gibt Anleitung zu dessen Aufbau, Umsetzung, Aufrechterhaltung und fortlaufender Verbesserung; sie ist nach dieser Beschreibung auf jede Organisation anwendbar, gleich welcher Größe und Art. Die Norm beschreibt, wie eine Organisation KI steuert; die Frage in der Ausschreibung lautet also, ob der Anbieter danach arbeitet und für welchen Geltungsbereich.

Das NIST AI Risk Management Framework 1.0, veröffentlicht am 26. Januar 2023, ist nach NISTs Worten zur freiwilligen Anwendung gedacht und hat vier Funktionen: Govern, Map, Measure und Manage. NIST gibt an, dass das Framework überarbeitet wird. Sein Profil für generative KI, NIST AI 600-1 vom Juli 2024, führt zwölf Risiken auf, darunter „Data Privacy“, „Information Security“ und „Confabulation“, definiert als „the production of confidently stated but erroneous or false content“, also die Erzeugung selbstsicher formulierter, aber falscher Inhalte. Das Profil ist eine brauchbare Quelle für Begriffe in den Abschnitten zu Qualität und Sicherheit.

Eine Referenz in der Ausschreibung ist eine Aufforderung, Nachweise vorzulegen. Den Test an Ihren eigenen Dokumenten ersetzt sie nicht.

EU AI Act und DSGVO in der KI-Ausschreibung

Was folgt, ist allgemeine Information mit Stand 12. November 2026 und keine Rechtsberatung; Ihren Fall bewertet Ihre Rechtsabteilung. Der EU AI Act ist die Verordnung (EU) 2024/1689 in der Fassung der Verordnung (EU) 2026/1744 vom 8. Juli 2026, der Digital-Omnibus-Verordnung zur KI, in Kraft seit dem 27. Juli 2026. „Anbieter“ und „Betreiber“ sind in der Tabelle die Rollen der Verordnung (englisch „provider“ und „deployer“); der Anbieter im Sinne Ihrer Ausschreibung ist damit nicht gemeint.

Artikel des AI Act in der konsolidierten Fassung des AI Act Service Desk der Kommission (englische Fassung), mit den Daten des geänderten Artikels 113; DSGVO, Verordnung (EU) 2016/679 (englische Fassung); gelesen am 12. November 2026; sinngemäß wiedergegeben.

Zwei Einschränkungen gehören zu diesen Fragen. Die Artikel 13, 16 und 26 des AI Act betreffen nur Hochrisiko-KI-Systeme, und für die Nutzungen des Anhangs III gelten sie ab dem 2. Dezember 2027; bei einem internen Assistenten fragen sie nach der Vorbereitung und beschreiben keine heutige Pflicht, und ob eine geplante Nutzung hochriskant ist, bewertet Ihre Rechtsabteilung. Artikel 53 bindet den Anbieter des KI-Modells mit allgemeinem Verwendungszweck; das Unternehmen, das das Modell integriert, ist nicht sein Adressat. Nach seinem Absatz 2 gelten die Buchstaben a und b des Absatzes 1 nicht für Anbieter von KI-Modellen, die unter einer freien und quelloffenen Lizenz veröffentlicht werden, ausgenommen Modelle mit systemischem Risiko; fragen Sie bei einem offenen Modell deshalb, welche Dokumentation es gibt. Welche Rolle Ihr Unternehmen und der Anbieter einnehmen und was die Artikel 4 und 50 im Alltag bedeuten, erklärt unser Artikel zu den Pflichten der Betreiber nach dem EU AI Act; was die IT zur Abschätzung nach Artikel 35 DSGVO beiträgt, steht in der DSFA für ein internes LLM.

Öffentliche Auftraggeber können außerdem die EU-Mustervertragsklauseln für KI heranziehen. Die Seite „Updated EU AI model contractual clauses“ vom 5. März 2025 in der Public Buyers Community bietet eine Vollversion für Hochrisiko-KI, die nach den Worten der Seite auf den am 13. Juni 2024 angenommenen EU AI Act abgestimmt ist, eine Kurzversion für KI ohne hohes Risiko und einen Kommentar, auf Englisch und in 23 weiteren EU-Sprachen. Die Klauseln sind eine Ressource dieser Community für öffentliche Auftraggeber. Sie sind älter als die Verordnung (EU) 2026/1744, ihre Daten sind also gegen die geänderte Fassung zu prüfen.

Eigentum und Exit am Vertragsende

Ein Projekt erzeugt Dinge, die nirgends sonst existieren: System-Prompts, den Evaluierungssatz, den Index aus Ihren Dokumenten, Adapter und feinabgestimmte Gewichte, die Konfiguration der Plattform und die Protokolle. Die Ausschreibung sollte fragen, wem jedes davon gehört und in welchem Format es übergeben wird. Bei offenen Modellen kann die Lizenz des Basismodells Bedingungen für das setzen, was daraus abgeleitet wird; ein Grund mehr, die Lizenz im Angebot nennen zu lassen.

Für den Exit verlangen Sie eine Übergabeliste und einen Probelauf. Die Liste nennt die Gewichte und Adapter mit ihren SHA-256-Prüfsummen, den Index oder das Verfahren, das ihn neu aufbaut, die Konfiguration, die Dokumentation und die Administratorkonten. Der Probelauf ist eine Wiederherstellung auf Ihrer Seite: Prüfsummen der Gewichtsdateien, der feste Evaluierungssatz und die ersten Treffer fester Suchanfragen zeigen, dass die Plattform ohne den Anbieter läuft. Hat der Anbieter personen­bezogene Daten verarbeitet, sieht der Vertrag nach Artikel 28 DSGVO vor, dass der Auftragsverarbeiter sie löscht oder zurückgibt; fragen Sie, wie das bestätigt wird. Zur Hardware stehen die Fragen nach Garantie und Lieferant in unserer Checkliste für GPU-Lieferanten und in GPU-Server-Garantie in der EU.

Kostenstruktur ohne Zahlen

Verlangen Sie von jedem Anbieter dieselbe Kostentabelle: den Posten, seine Einheit, die Menge und ob er einmalig oder laufend anfällt. Hardware, technisches Assessment, Implementierung und Schulung sind meist einmalig. Support, Subskriptionen und Strom fallen laufend an. Bei Lizenzen muss die Einheit genannt sein. NVIDIAs Lizenzleitfaden, zuletzt aktualisiert am 2. September 2026, sagt: „NVIDIA AI Enterprise software is licensed on a per-GPU basis“, und NVIDIAs NIM-FAQ: „Using NIM in production requires an NVIDIA AI Enterprise license“; das Angebot sollte deshalb angeben, ob der vorgeschlagene Software-Stack diese Lizenz braucht. Fragen Sie auch, was zusätzliche Kosten auslöst: ein weiteres Modell, mehr Nutzer, eine neue Dokumentenquelle, ein zweiter Standort. Ein Vergleich mit Cloud-APIs über denselben Zeitraum gehört in die Antwort; Privates LLM vs. Cloud-API zeigt, wie Sie ihn mit Ihren eigenen Token-Mengen rechnen.

Wie wir diese Fragen beantworten

Unsere Antworten sind die unserer Seite Private AI/ML, und wir fügen ihnen hier nichts hinzu.

• Daten. Nichts geht an öffentliche Dienste, solange Sie es nicht ausdrücklich freigeben. Die Modelle laufen auf Ihren Servern oder auf dedizierter Hardware in einem Tier-III-Rechenzentrum in Litauen; ein Hybridmodus mit öffentlichen APIs wird nur nach Ihrer ausdrücklichen Entscheidung zugeschaltet und ist im Query-Log sichtbar. Gearbeitet wird in Ihrer Umgebung unter Ihren Zugriffsregeln, und Kopien von Produktivdaten werden nicht mitgenommen. Es gibt ein NDA vor technischen Details, einen Auftrags­verarbeitungs­vertrag auf Anfrage, und Subauftragsverarbeiter stehen namentlich im Vertrag.
• Modelle. Offene und kommerzielle Modelle werden on-premise mit vLLM, Ollama oder NVIDIA AI Enterprise bereitgestellt.
• Qualität. Wir starten mit einem Pilotprojekt auf einem Prozess mit klaren Metriken, messen an Checkpoints und skalieren nur, was seinen Wert bewiesen hat. Assistenten antworten auf Basis Ihrer Dokumente, mit Quellenangabe und unter Beachtung der Zugriffsrechte jedes Nutzers.
• Betrieb und Sicherheit. Zur Lösung gehören ein Query-Log, Daten- und Berechtigungsverwaltung und der Schutz der Modelle vor Prompt Injection, und Ihr Team wird geschult, die Plattform zu betreiben und weiterzuentwickeln.
• Compliance. Die rechtliche Bewertung macht Ihre Rechtsabteilung; wir liefern den technischen Teil.
• Kosten und Vertrag. Eine TCO-Rechnung gegen Cloud-GPUs kommt vor dem Kauf, das erste Gespräch ist kostenlos, der Preis des technischen Assessments steht vor Beginn fest, und der Vertrag läuft mit uns, einem österreichischen Unternehmen.

Die Seite nennt keine Servicezeiten, keine Evaluierungsmethode im Einzelnen, nichts zum Eigentum an feinabgestimmten Gewichten und keine Exit-Bedingungen. Stellen Sie uns diese Fragen wie jedem anderen Anbieter. Wie die Hardware nach dem Piloten wächst, beschreibt Vom KI-Piloten zur Produktion.

Sie können die Hardware allein bestellen, die Einrichtung der Software allein oder beides zusammen: den Server mit Modellen und Assistent fertig installiert und eingerichtet; schreiben Sie uns, wir schlagen Ihnen die beste Lösung für Ihre Aufgaben und Ihr Budget vor.

FAQ