LLMs in der GMP-Produktion: was der Annex-22-Entwurf zulässt, mit Human in the Loop

Wo LLMs in einem GMP-Betrieb helfen können

Nach dem Entwurf des Annex 22, den die Europäische Kommission 2025 zur Konsultation gestellt hat, dürfen große Sprachmodelle die GMP-Produktion nur in nicht kritischen Anwendungen unterstützen, also ohne direkte Auswirkung auf Patientensicherheit, Produktqualität oder Datenintegrität, und qualifiziertes Personal bleibt für jede Ausgabe verantwortlich. Die Suche in SOPs, der Entwurf der Beschreibung in einem Abweichungsbericht aus den Notizen des Untersuchenden und das Auffinden früherer Instandhaltungsfälle sind Anwendungen dieser Art. Ein lokaler KI-Server hält Chargendaten und Verfahren im Unternehmen und gibt der Qualitätseinheit ein System, das sie wie jedes andere qualifizieren kann.

Dieser Leitfaden richtet sich an Leitungen der Qualitätssicherung, Produktionsleitungen und sachkundige Personen (QP) bei Herstellern von Arzneimitteln und Wirkstoffen, auch bei Lohnherstellern, sowie an das IT-Team, das den Server betreiben würde. Er liest den Entwurf aus Sicht der Produktion: welche Aufgaben er offenlässt, was Human in the Loop im Alltag bedeutet und was die Plattform nach dem geltenden Annex 11 braucht. Unser Leitfaden zu GPU-Servern für Pharma und Life Sciences behandelt Forschungslasten und enthält eine vollständige Annex-11-Tabelle, unsere Seite zum KI-Server für die Pharmakovigilanz die Arzneimittelsicherheit.

Dies ist eine allgemeine Information zum EU-GMP-Leitfaden mit Stand Oktober 2026, keine regulatorische Beratung. Was kritisch ist und wie ein System validiert wird, entscheiden Ihre Qualitätseinheit und Ihre sachkundige Person; Rechtsfragen bestätigt Ihre Rechtsberatung.

Stand des Entwurfs im Oktober 2026

Die Konsultationsseite der Kommission nennt drei Dokumente aus EudraLex Band 4, die vom 7. Juli 2025 bis 7. Oktober 2025 zur Stellungnahme offen waren: ein überarbeitetes Kapitel 4 zur Dokumentation, einen überarbeiteten Annex 11 zu computergestützten Systemen und einen neuen Annex 22 zur künstlichen Intelligenz. Die Seite vermerkt, dass die Frist für Stellungnahmen abgelaufen ist. Am 25. Oktober 2026 führte die EudraLex-Seite der Kommission zu Band 4 keinen Annex 22, Annex 11 stand weiter in der Revision vom Januar 2011 und Kapitel 4 in der Fassung vom Januar 2011.

Der unten zitierte Text ist also ein Entwurf. Der endgültige Annex kann anders formuliert sein, und bis zu seiner Annahme bleiben der geltende Annex 11 und die Kapitel von Teil I die verbindlichen Texte für ein computergestütztes System im GMP-Betrieb. Wir planen mit den Grundsätzen des Entwurfs, weil sie die Richtung zeigen, und prüfen den genauen Wortlaut, sobald der endgültige Text erscheint.

Was der Entwurf zu generativer KI und LLMs sagt

Abschnitt 1 des Entwurfs fasst den Anwendungsbereich eng. Er gilt für computergestützte Systeme in der Herstellung von Arzneimitteln und Wirkstoffen, in denen KI-Modelle „used in critical applications with direct impact on patient safety, product quality or data integrity“ sind, also in kritischen Anwendungen mit direkter Auswirkung auf Patientensicherheit, Produktqualität oder Datenintegrität. Er erfasst nur zwei Arten von Machine-Learning-Modellen: statische Modelle, die ihre Leistung während der Nutzung nicht anpassen, und Modelle mit deterministischer Ausgabe, die bei identischen Eingaben identische Ausgaben liefern. Dynamische Modelle, die weiterlernen, und Modelle mit probabilistischer Ausgabe sind ausgenommen und sollen nicht in kritischen GMP-Anwendungen eingesetzt werden.

Zu Sprachmodellen ist der Entwurf eindeutig: „the document does not apply to Generative AI and Large Language Models (LLM), and such models should not be used in critical GMP applications.“ Der nächste Satz öffnet den Weg für andere Nutzungen. Werden solche Modelle in nicht kritischen GMP-Anwendungen ohne direkte Auswirkung auf Patientensicherheit, Produktqualität oder Datenintegrität eingesetzt, soll angemessen qualifiziertes und geschultes Personal stets dafür verantwortlich sein, dass die Ausgaben für den vorgesehenen Zweck geeignet sind, also Human in the Loop, und die Grundsätze des Annex „may be considered where applicable“, können also herangezogen werden, wo sie passen.

Entwurf Annex 22 „Artificial Intelligence“, Abschnitt 1, Konsultationsdokument der Kommission (Juli 2025), gelesen am 25. Oktober 2026; die letzte Spalte ist unsere Zusammenfassung.

Sprachmodelle liegen in der Praxis auf der probabilistischen Seite. Sie erzeugen Text, indem sie Token für Token auswählen, und die Serving-Software fügt eigene Schwankungen hinzu. Die Dokumentation von vLLM in der Fassung vom 7. Oktober 2026 sagt, dass vLLM Ergebnisse standardmäßig nicht reproduzierbar macht, „for the sake of performance“, und Reproduzierbarkeit nur bietet, wenn es auf derselben Hardware und in derselben vLLM-Version läuft. Eine Qualitätseinheit kann ein solches System nicht wie eine validierte Berechnung behandeln, und deshalb hält der Entwurf es von kritischen Entscheidungen fern.

Kritisch oder nicht kritisch: Aufgaben der Produktion einordnen

Welche Anwendungen kritisch sind, listet der Entwurf nicht auf. Das regulierte Unternehmen entscheidet es über sein Qualitätsrisikomanagement, und dieselbe Aufgabe kann in einem Prozess kritisch sein und in einem anderen nicht. Die Tabelle gibt unsere Lesart häufiger Aufgaben in der Produktion als Ausgangspunkt für diese Diskussion.

Unsere Lesart zur Diskussion mit Ihrer Qualitätseinheit, keine Einstufung; Abschnitt 1 des Entwurfs definiert kritisch als direkte Auswirkung auf Patientensicherheit, Produktqualität oder Datenintegrität.

An Abweichungen zeigt sich, wo die Grenze verläuft. Kapitel 1 des EU-GMP-Leitfadens, in Kraft seit 31. Januar 2013, verlangt, dass bei der Untersuchung von Abweichungen eine angemessene Ursachenanalyse („root cause analysis“) angewendet wird und dass Korrektur- und Vorbeugemaßnahmen festgelegt und auf ihre Wirksamkeit überwacht werden (Ziffer 1.4 xiv). Ein Modell kann aus den Notizen des Untersuchenden lesbaren Text machen und frühere Abweichungen an derselben Anlage auflisten. Ursache, Bewertung der Auswirkung und CAPA bleiben Arbeit des Untersuchenden, von Menschen unterschrieben. Dasselbe Kapitel verlangt eine Produkt­qualitäts­überprüfung, die alle wesentlichen Abweichungen oder Nichtkonformitäten umfasst (1.10); dort kann ein Modell eine erste Liste aus den Aufzeichnungen zusammenstellen, die die prüfende Person kontrolliert.

Die Chargenfreigabe ist der klarste Fall auf der anderen Seite. Annex 16, in Kraft seit 15. April 2016, legt fest, dass die Zertifizierung nur durch eine sachkundige Person des Herstellers oder Einführers erfolgen kann („Certification can only be performed by a QP of the manufacturer and/or importer“), und dass sich die QP auf das pharmazeutische Qualitätssystem verlassen muss und fortlaufend sicher sein soll, dass dieses Vertrauen begründet ist. Ein Werkzeug, das ausgeführte Chargenprotokolle vorprüft, fließt in dieses Vertrauen ein. Ob es das darf und mit welchen Kontrollen, entscheiden Ihre Qualitätseinheit und Ihre QP, und viele werden es als kritisch einstufen.

Was Human in the Loop im Alltag bedeutet

Die Abschnitte des Entwurfs zu Human in the Loop gelten für Modelle in seinem Anwendungsbereich, sie beschreiben aber ein Muster, das auch für Sprachmodelle in nicht kritischer Arbeit passt. Abschnitt 3.3 sagt: Liefert ein Modell einen Beitrag zu einer Entscheidung, die ein Mensch trifft, und wurde der Testaufwand für das Modell verringert, soll die Beschreibung des vorgesehenen Zwecks die Verantwortung dieser Person enthalten („should include the responsibility of the operator“), und Schulung und gleichbleibende Leistung der Person sollen überwacht werden wie bei jedem anderen manuellen Prozess. Abschnitt 10.5 ergänzt für denselben Fall, dass über diesen Prozess Aufzeichnungen geführt werden sollen („records should be kept from this process“), was je nach Kritikalität eine Prüfung jeder Ausgabe nach einem Verfahren bedeuten kann.

Für ein Sprachmodell im GMP-Betrieb empfehlen wir fünf Regeln nach diesem Muster:

1. Zweck schriftlich festgelegt. Eine Seite je Anwendung: was das Modell darf, welche Dokumente es liest, wer seine Ausgabe prüft und was es nie tun darf, etwa in ein Chargenprotokoll schreiben.
2. Kein direkter Schreibzugriff. Das Modell erzeugt Entwürfe. Eine geschulte Person liest und korrigiert sie und überträgt sie ins eQMS oder ins Dokumentensystem, wo ihre eigene Unterschrift gilt.
3. Quellen sichtbar. Jede Antwort nennt SOP oder Aufzeichnung samt Version, damit die Leserin oder der Leser am Original prüft und nicht dem Text vertraut.
4. Aufzeichnungen geführt. Das Abfrageprotokoll hält fest, wer was gefragt hat, welche Modellversion geantwortet hat und was die Person mit der Antwort gemacht hat; die Aufbewahrung legt die Qualitätseinheit fest.
5. Regelmäßige Kontrolle. Die QS prüft Stichproben von Entwürfen gegen die endgültigen Dokumente, so wie Annex 11 eine regelmäßige Bewertung computergestützter Systeme verlangt.

Wir liefern den Server und richten im Rahmen unseres Private-AI/ML-Service das Modell, die Suche in Ihren Verfahren und das Abfrageprotokoll ein; schicken Sie uns die Anwendungen, die Ihre Qualitätseinheit im Blick hat, und unser Team antwortet mit einer Konfiguration und einer Notiz, wie jede Anwendung aufgebaut würde.

Annex 11 regelt weiterhin die Plattform

Bis ein überarbeiteter Annex angenommen ist, fallen der Server und die Software darauf unter den geltenden Annex 11, wenn sie in einer GMP-regulierten Tätigkeit genutzt werden. Sein Grundsatz lautet: „The application should be validated; IT infrastructure should be qualified.“ Die Anwendung ist zu validieren, die IT-Infrastruktur zu qualifizieren. Ziffer 1 verlangt Risikomanagement über den gesamten Lebenszyklus des computergestützten Systems, Ziffer 3.1 formale Vereinbarungen mit Dritten wie Lieferanten und Dienstleistern, Ziffer 4.1 eine Validierungsdokumentation, die die relevanten Schritte des Lebenszyklus abdeckt, Ziffer 7.2 regelmäßige Datensicherungen, Ziffer 9 verfügbare und regelmäßig geprüfte Audit-Trails, Ziffer 11 eine regelmäßige Bewertung und Ziffer 12.1 Kontrollen, die den Zugang beschränken.

Ein Sprachmodell bringt Konfigurationselemente mit, die eine gewöhnliche Anwendung nicht hat. Wir erfassen sie als Teil der Systembeschreibung:

• die Modellgewichte, über eine Prüfsumme identifiziert, nicht nur über den Namen;
• die Serving-Software und ihre Version, da vLLM die Reproduzierbarkeit an dieselbe Version und Hardware bindet;
• die Prompt-Vorlagen und Einstellungen wie die Temperatur;
• den Suchindex: welche SOP-Versionen er enthält und wann er neu aufgebaut wurde;
• Treiberzweig, CUDA-Version und Container-Images per Digest.

Eine Änderung an einem dieser Elemente läuft über die Änderungskontrolle. Für ein Modell in seinem Anwendungsbereich verlangt Abschnitt 10 des Entwurfs Änderungs- und Konfigurationskontrolle mit einer Bewertung, ob neu getestet werden muss, ein brauchbares Vorbild auch für den nicht kritischen Fall. Unser Leitfaden zur LLM-Evaluierung vor Modell-Upgrades beschreibt einen Regressionstest aus Ihren eigenen Fragen.

Serveroptionen für einen Produktionsstandort

Die Aufgaben oben brauchen ein Modell, das in den Sprachen Ihrer SOPs arbeitet und seine Quellen nennt, aber kein sehr großes; testen Sie jeden Kandidaten an Ihren eigenen Verfahren, bevor Sie wählen. gpt-oss-120b unter der Lizenz Apache 2.0, mit 117 Milliarden Parametern, von denen 5,1 Milliarden je Token aktiv sind, ist unser übliches Beispiel. Seine Gewichte belegen laut Files-Seite auf Hugging Face etwa 65 GB (60,8 GiB). Nach unserer Regel für Nutzer je Karte, die 90 Prozent der 95,6 GiB nimmt, die der Treiber meldet, abzüglich 3 GiB je Karte und abzüglich der Gewichte, trägt eine RTX PRO 6000 Server Edition 19 Gespräche mit 32K Token bei 16-Bit-Cache.

Regel für Nutzer je Karte: eine Karte (83,04 − 60,8) / 1,125 GiB je 32K = 19; Paar (166,08 − 60,8) / 1,125 = 93; Cache je 32K aus der config.json von gpt-oss-120b (18 Schichten mit voller Attention, 8 KV-Heads, Kopfdimension 64). Leistung nach unserer Schätzung (Karten, zwei Prozessoren und 15 Prozent für den Rest), bestätigt durch eine Messung am gelieferten System.

Ein Gespräch ist hier eine Anfrage, die im selben Moment beantwortet wird. Mit den Beispielwerten unseres Leitfadens zu privaten ChatGPT-Servern nach Unternehmens­größe erzeugen 500 Beschäftigte zur geschäftigsten Zeit etwa 20 solche Anfragen, eine Karte versorgt also die Mitarbeitenden aus QS, Produktion und Technik eines typischen Standorts. Der Einstiegsserver hat zwei Karten RTX PRO 6000 Server Edition, zwei AMD-EPYC-Prozessoren, 384 GB DDR5 ECC und zwei NVMe-Laufwerke. Vier Karten ergeben ein Tensor-Parallel-Paar, ein Modell über zwei Karten verteilt, für mehrere Standorte auf einem Server. Ein zweiter, kleinerer Testserver lässt die Qualitätseinheit eine neue Modellversion oder einen neu aufgebauten Index erproben, ohne das freigegebene System anzufassen, was die Änderungskontrolle leichter belegbar macht.

Hinweise für das IT-Team

1. Netzzone. Setzen Sie den KI-Server in eine eigene Zone, getrennt vom Produktionsnetz und seinen Steuerungssystemen. Konnektoren lesen Exporte des Dokumentensystems und des eQMS mit reinen Leserechten; nichts auf dem Server schreibt in GMP-Aufzeichnungen.
2. Feste Softwarestände. Legen Sie den Treiberzweig fest (R580 wird bis Juni 2028 unterstützt, wie unser Leitfaden zu NVIDIA-Treiberzweigen und CUDA-Versionen ausführt), die Container-Images per Digest, die vLLM-Version und die Prüfsumme des Modells.
3. Wiederholbare Läufe. Die vLLM-Dokumentation sagt, dass die Standard-Seeds die Ergebnisse über Läufe desselben vLLM-Aufbaus hinweg konsistent halten, auch bei einer Temperatur über null, und dass im Online-Betrieb als weitere Option nur der Batch-Invariance-Modus bleibt, wieder auf derselben Hardware und in derselben vLLM-Version. Halten Sie fest, welchen Modus Sie verwenden.
4. Zugang und Logs. Anmeldung über das Unternehmensverzeichnis, Rollen je Anwendung und ein Abfrageprotokoll, dessen Aufbewahrung die Qualitätseinheit festlegt. Unser Leitfaden zu einem LLM-Gateway mit Schlüsseln und Logging zeigt einen Weg dorthin.
5. Betrieb ohne Internet. Viele Werke wollen auf einem solchen Server keinen Internetzugang; unser Leitfaden zum Air-Gapped-LLM-Server mit Offline-Installation nennt, was gespiegelt werden muss.
6. Qualifizierung. Der Server kommt auf Wunsch mit installiertem Betriebssystem, NVIDIA-Treiber, CUDA und Container-Runtime. Ihr eigener Abnahmetest gehört in die Qualifizierungsunterlagen, und unser Leitfaden zum Abnahmetest für GPU-Server gibt ein Verfahren.

Was wir liefern

Sie können dieses System bei uns kaufen: Unser Team legt die Konfiguration nach Ihrer Last und Ihrem Budget aus und antwortet innerhalb eines Werktages. Wir bauen KI-Server auf Bestellung mit zwei, vier oder acht Karten RTX PRO 6000 Server Edition, vor der Lieferung montiert und getestet, geliefert in die gesamte EU mit einem EU-Vertrag und einer Rechnung, mit Herstellergarantie auf jede Komponente, abgewickelt über uns; Mengen und Lieferzeit werden mit dem Angebot schriftlich bestätigt. Unser Service Private AI/ML, mit unserem Engineering-Partner Vixen.UNO, richtet das Modell, die Suche in Ihren Verfahren, die Zugriffssteuerung und das Abfrageprotokoll ein. Qualifizierung der Infrastruktur und Validierung jeder Anwendung bleiben bei Ihrer Qualitätseinheit. Beschreiben Sie Ihren Standort und die betroffenen Dokumente, und wir schlagen Server und Software-Stack gemeinsam vor.

FAQ