Dokumente für den KI-Assistenten vorbereiten: Dateien, Versionen, Zugriff, Ausschlüsse

Was ein KI-Assistent von Ihren Dokumenten braucht

Ein KI-Assistent, der Fragen aus Ihren eigenen Firmendokumenten beantwortet, kann nur die Dateien nutzen, die er bekommt, in dem Zustand, in dem sie sind. Bevor er startet, wählen die Verantwortlichen der Dokumente die Ordner aus, entfernen alte Versionen und Dubletten, benennen für jede Sammlung eine verantwortliche Person, legen fest, welche Mitarbeiter welche Sammlung sehen dürfen, und halten Personalakten und andere sensible Unterlagen heraus.

Scans brauchen eine Texterkennung, Excel-Dateien eignen sich zum Nachschlagen von Werten, aber nicht für Summen, und jedes Dokument sollte ein Datum tragen, das der Assistent anzeigen kann. Dieser Leitfaden richtet sich an die Büroleitung, die Qualitäts­leitung oder die Entwicklungsleitung, denen diese Dokumente gehören. Er erklärt die Vorbereitung in einfachen Worten und endet mit dem, was die IT-Seite übernimmt. Die Suchtechnik selbst, wie Dokumente zerlegt und wie die Suche abgestimmt wird, behandelt unser Artikel zu RAG auf Unternehmensdaten.

Wie die KI Ihr Firmenwissen liest und durchsucht

Das Verfahren heißt Retrieval-Augmented Generation (RAG). Es arbeitet in vier Schritten:

1. Umwandlung. Ein Konverter wandelt jede Datei in reinen Text mit ihren Überschriften und Tabellen um. Gescannte Seiten durchlaufen eine optische Zeichenerkennung (OCR), die die Buchstaben aus dem Bild liest.
2. Indexierung. Der Text wird in Abschnitte von einigen Absätzen geteilt, und jeder Abschnitt kommt mit Dokumentname, Datum und verantwortlicher Person in einen Suchindex.
3. Suche. Stellt jemand eine Frage, findet der Assistent die passendsten Abschnitte.
4. Antwort. Das Sprachmodell schreibt die Antwort aus diesen Abschnitten und nennt das verwendete Dokument.

Für die Vorbereitung folgen daraus zwei Dinge. Ein Dokument, das nie sauber umgewandelt wurde, wird nicht gefunden, wie gut das Modell auch ist. Und der Assistent antwortet aus dem, was er findet: Liegt eine überholte Preisliste noch im Ordner, zitiert er sie eines Tages. Das Sprachmodell liest die Abschnitte zum Zeitpunkt der Antwort und behält danach nichts davon, weshalb eine Änderung an einem Dokument in den Antworten erscheint, sobald es neu indexiert ist. Ein Modell mit Firmendaten zu trainieren, ist ein anderes Projekt, das unser Artikel zu Fine-Tuning oder RAG vergleicht.

Welche Dateien der Assistent lesen kann

Docling ist ein Open-Source-Konverter für Dokumente, entstanden bei IBM Research Zürich und heute ein Projekt der LF AI & Data Foundation, unter der MIT-Lizenz. Er läuft vollständig auf Ihrem eigenen Server, und sein README nennt „local execution capabilities for sensitive data and air-gapped environments“. Open WebUI, eine verbreitete Chat-Oberfläche, führt Docling und Apache Tika unter seinen Engines zur Textextraktion. Die Formatliste von Docling zeigt, was ein solcher Konverter liest.

Seite „Supported formats“ und README von Docling auf GitHub, gelesen am 25. Oktober 2026 (Bilder: PNG, JPEG, TIFF, BMP, WEBP); README von Open WebUI, gelesen am 25. Oktober 2026.

Scans. OCR funktioniert bei sauberen, geraden Seiten mit gutem Kontrast. Handschrift, Stempel und blasse Kopien liefern Fehler; prüfen Sie daher eine Stichprobe Ihrer ältesten Scans, bevor Sie ein ganzes Archiv aufnehmen. Wo Scans am wichtigsten sind, durchsucht ein neueres Verfahren die Seitenbilder direkt, wie unser Leitfaden zur visuellen Dokumentensuche beschreibt.

Excel. Ein Konverter liest ein Blatt als Tabelle, und der Assistent findet die Zeile, die „aus welchem Werkstoff ist Teil 4711“ beantwortet. Schwach ist er bei „wie hoch war die Summe aller Bestellungen von Kunde X im März“, weil die Antwort eine Rechnung über viele Zeilen braucht. Für solche Fragen gehören die Daten in eine Datenbank, die der Assistent abfragt, wie unser Leitfaden zu Text-to-SQL im eigenen Haus erklärt. Geben Sie vor der Indexierung jedem Blatt eine Tabelle mit Kopfzeile, und entfernen Sie ausgeblendete Blätter und alte Reiter.

Zeichnungen. CAD-Formate stehen nicht auf der Liste von Docling. Wo Mitarbeiter die Angaben im Schriftfeld oder die Hinweise auf einer Zeichnung brauchen, exportieren Sie ein PDF und testen an einigen Beispielen, ob der Text durchkommt.

Dubletten, alte Versionen und Verantwortliche

Dieser Teil kostet die Verantwortlichen der Dokumente die meiste Zeit, und keine Software nimmt ihn ihnen ab.

• Eine gültige Version. Behalten Sie in den Ordnern des Assistenten nur die gültige Fassung einer Verfahrensanweisung, einer Preisliste oder eines Datenblatts. Verschieben Sie überholte Fassungen in ein Archiv, das nicht indexiert wird. Unser RAG-Leitfaden sagt es deutlich: Steht die alte Version noch im Index, wird sie irgendwann gefunden.
• Keine Kopien an mehreren Orten. Dasselbe Dokument in drei Ordnern erscheint dreimal in den Suchergebnissen und verdrängt andere Abschnitte. Wählen Sie einen Ablageort.
• Datum und Version im Dokument. Der Assistent zeigt mit jeder Antwort die Quelle, und ein sichtbares Datum lässt den Leser eine alte Antwort sofort erkennen.
• Eine verantwortliche Person je Sammlung. Benennen Sie je Ordner eine Person, die neue Dokumente aufnimmt, alte entfernt und Fragen zum Inhalt beantwortet. Ohne Verantwortliche veraltet eine Sammlung innerhalb von Monaten.
• Klare Dateinamen. „Arbeitsanweisung Schweißen AA-012 Rev C 2026-09“ wird gefunden und verstanden, „scan_0045.pdf“ nicht.

Die Wissensfunktion von Open WebUI kann einen Ordner spiegeln: Ihre Aktion „Sync directory“ berührt nur neue, geänderte und gelöschte Dateien und behält die Ordnerstruktur bei, und für Tausende Dateien verweist die Dokumentation auf ein eigenes Synchronisationswerkzeug. So bleibt der Index mit dem Ordner im Gleichschritt, was einen aufgeräumten Ordner umso wichtiger macht.

Wir richten Assistent, Konverter und Suche auf Ihrem Server ein; schicken Sie uns eine Liste der Ordner, an die Sie denken, mit ungefähren Seitenzahlen, und unser Team schlägt die Konfiguration und die Reihenfolge der Sammlungen vor.

Wer was sehen darf

Die gewichtigste Frage ist, welche Mitarbeiter welche Dokumente sehen dürfen. Eine Dateifreigabe hat Berechtigungen je Ordner; ob der Assistent sie übernimmt, hängt davon ab, wie er gebaut ist.

In Open WebUI wird der Zugriff je Knowledge Base festgelegt, so heißt dort eine Dokumentensammlung: Eine Sammlung ist privat oder eingeschränkt und wird für Benutzergruppen oder einzelne Personen zum Lesen oder Schreiben freigegeben. Rechte aus mehreren Mitgliedschaften addieren sich, Verbotsregeln gibt es nicht. Die Ordner­berechtigungen Ihres Dateiservers werden also nicht automatisch übernommen. Größere Aufbauten speichern die Berechtigungen jedes Quelldokuments im Index und filtern jede Suche nach der fragenden Person, wie unser RAG-Leitfaden beschreibt; so baut unser Service Private AI/ML Assistenten, die die Zugriffsrechte jedes Nutzers beachten.

Für die Verantwortlichen der Dokumente ist die Vorbereitung in beiden Fällen dieselbe: Sortieren Sie die Dokumente nach Leserkreis in Sammlungen, bevor etwas indexiert wird.

Unser Beispiel; Zugriffsstufen wie in der Dokumentation von Open WebUI zu Knowledge Bases und Zugriff, gelesen am 25. Oktober 2026.

Kundenzeichnungen und Dokumente unter einer Geheimhaltungs­vereinbarung gehören in Projektsammlungen, die nur das Projektteam öffnen kann; unser Leitfaden zu Geheimhaltung, NDAs und KI-Werkzeugen behandelt die vertragliche Seite.

Was aus einem allgemeinen Assistenten draußen bleibt

Manche Dokumente gehören nicht in einen Assistenten, den viele Mitarbeiter befragen können, auch wenn sie gut geordnet sind. Das ist eine allgemeine Information, keine Rechtsberatung; Ihr Datenschutz­beauftragter bestätigt, was für Sie gilt.

Die Hinweise der Europäischen Kommission nennen als sensible personenbezogene Daten nach der DSGVO: Daten, aus denen die rassische oder ethnische Herkunft, politische Meinungen, religiöse oder weltanschauliche Überzeugungen hervorgehen, die Gewerkschaftszugehörigkeit, genetische Daten, biometrische Daten zur Identifizierung einer Person, Gesundheitsdaten sowie Daten zum Sexualleben oder zur sexuellen Orientierung. Dieselben Hinweise verlangen sinngemäß, dass personenbezogene Daten dem Zweck angemessen, erheblich und auf das dafür Notwendige beschränkt sind, so kurz wie möglich gespeichert werden und sachlich richtig und aktuell bleiben.

Praktisch bleiben damit aus einem allgemeinen Assistenten draußen:

• Personalakten, Gehaltslisten, Beurteilungen und Bewerbungen;
• Krankmeldungen, Unfallberichte mit Gesundheitsangaben und arbeitsmedizinische Unterlagen;
• Schriftverkehr mit Betriebsrat und Gewerkschaft;
• ungeordnete E-Mail-Archive, weil sie private Nachrichten, Kundendaten und Anhänge vermischen;
• Kunden- und Lieferantendaten, die der Zweck des Assistenten nicht braucht.

Will ein Personalteam einen Assistenten für seine eigenen Dokumente, ist das eine eigene Sammlung mit eigenem Zugriff, eigenem Zweck und meist einer Datenschutz-Folgenabschätzung, wie unser Leitfaden zur DSFA beschreibt. Wo Dokumente nützliche Inhalte mit Personendaten mischen, lassen sich Namen vor der Indexierung entfernen, wie unser Leitfaden zur Schwärzung personenbezogener Daten vor einem LLM zeigt. Unser Überblick zu lokaler KI und DSGVO erklärt, was der Betrieb auf dem eigenen Server ändert und was nicht.

Mit einem Pilotordner beginnen

1. Wählen Sie eine Sammlung, zu der viele Beschäftigte Fragen haben, und eine verantwortliche Person dafür, etwa das Qualitätshandbuch und die Arbeitsanweisungen eines Werks.
2. Entfernen Sie alte Versionen und Dubletten, prüfen Sie, dass jedes Dokument sein Datum zeigt, und wandeln Sie eine Stichprobe der Scans um, um das Ergebnis zu sehen.
3. Sammeln Sie bei den Nutzern der Sammlung 50 bis 100 echte Fragen mit der richtigen Antwort und dem Dokument, aus dem sie stammt.
4. Lassen Sie die IT-Seite den Ordner indexieren und die Fragen stellen; die verantwortliche Person bewertet die Antworten und notiert jede Antwort mit falscher oder fehlender Quelle.
5. Beheben Sie zuerst die Dokumente hinter den Fehlern, dann die Sucheinstellungen, und nehmen Sie erst danach die nächste Sammlung auf.

Der Fragenkatalog ist das nützlichste Ergebnis des Pilots, denn dieselben Fragen zeigen später, ob ein Update die Antworten besser oder schlechter gemacht hat. Unser Leitfaden dazu, was ein Pilot für private KI messen sollte, nennt die Kennzahlen. Unser Service Private AI/ML führt einen solchen Pilot an einem Prozess mit klaren Kennzahlen durch; beschreiben Sie die Sammlung, mit der Sie beginnen würden, und wir schlagen den Pilot und den Server dafür vor.

Was die IT-Seite übernimmt, und der Server dafür

Das IT-Team oder der Dienstleister installiert Konverter, Suchindex und Modelle, bindet die Logins an, plant die Neuindexierung und führt das Abfrageprotokoll. Die Hardware fasst dieser Abschnitt zusammen.

Referenz­konfigurationen auf unserer Seite KI-Server; OCR-Rate etwa 0,69 Seiten pro Sekunde je Karte mit einem 5B-OCR-Modell, nach der Schätzung in unserem Leitfaden zu Dokumenten-KI; MIG mit bis zu vier Instanzen zu 24 GB laut NVIDIA; Leistung nach unserer Schätzung (Karten mit 600 W, zwei Prozessoren, plus 15 Prozent).

Nach der Regel für Nutzer je Karte aus unserem Leitfaden nach Unternehmens­größe hält eine RTX PRO 6000 Server Edition gpt-oss-120b mit etwa 19 gleichzeitig laufenden Gesprächen von 32K Token, was mit den Beispielwerten dieses Leitfadens die Spitzenstunde von einigen Hundert Mitarbeitern abdeckt. Die Suchmodelle sind klein: Die 0,6B-Modelle für Embedding und Reranking in unserem Leitfaden nach Unternehmens­größe passen in einen MIG-Teil mit 24 GB. Ein einmaliges Archiv aus Scans ist die schwerste Aufgabe: 50.000 Seiten brauchen nach unserer Schätzung bei 0,69 Seiten pro Sekunde etwa 20 Stunden auf einer Karte und laufen über Nacht oder am Wochenende. Der Index braucht schnelle Datenträger; bei vier Byte je Wert belegen eine Million Abschnitte mit Vektoren aus 1.024 Zahlen etwa 4,1 GB vor Indexstrukturen und Abschnittstext, wie unser Leitfaden nach Unternehmens­größe rechnet.

Modelle und Dokumente bleiben auf dem Server in Ihrem Netz oder über unseren Service Private AI/ML auf dedizierter Hardware in einem Tier-3-Rechenzentrum in Litauen, innerhalb der EU. Beide Server gehören wegen Lärm und Wärme in einen Serverraum. Die RTX PRO 6000 Max-Q ist die Workstation-Karte mit 300 W; für einen Rack-Server im Dauerbetrieb empfehlen wir die Server Edition.

Was wir liefern

Sie können dieses System bei uns kaufen: Unser Team legt die Konfiguration nach Ihrer Arbeitslast und Ihrem Budget aus und antwortet innerhalb eines Werktages. Wir bauen die Server auf Bestellung mit zwei, vier oder acht Karten der RTX PRO 6000 Server Edition, vor der Lieferung montiert und getestet, geliefert in die gesamte EU mit einem EU-Vertrag und einer Rechnung, mit Herstellergarantie auf jede Komponente, abgewickelt über uns; Stückzahlen und Lieferzeit werden mit dem Angebot schriftlich bestätigt. Unser Service Private AI/ML, mit unserem Engineering-Partner Vixen.UNO, baut den Assistenten auf Ihren Dokumenten mit Quellenangaben und Zugriffsrechten, ein Abfrageprotokoll und den Pilot mit Ihrer ersten Sammlung.

FAQ