LLM-Agenten in der regulierten Forschung ausliefern

Die Demo funktioniert bei allen. Die Strecke zwischen einer Demo und einem System, das eine Qualitätsorganisation freigibt, ist die eigentliche Arbeit — und dort schauen die wenigsten Teams hin.

Eine Anbieter-Demo verzückt einen Raum voller Wissenschaftlerinnen und Wissenschaftler in zwanzig Minuten. Achtzehn Monate später ist dasselbe Werkzeug noch immer in keinem validierten Arbeitsablauf, und das Modell ist zwischenzeitlich nicht schlechter geworden. Die Demo hat die falsche Frage beantwortet. Sie hat bewiesen, dass das System die Antwort liefern kann. Der Produktivbetrieb fragt etwas Engeres und weit Härteres: Können Sie diese Antwort in zwei Jahren gegenüber einer Prüferin verteidigen, wenn die Charge, die sie beeinflusst hat, längst bei Patienten ist?

Ich habe die vergangenen Jahre damit verbracht, produktionsreife KI für Pharma und Biotech zu bauen — Dokumenten-KI, Digital QC, Mikroskopie, Zelllinien- und ADMET-Arbeit — auf harmonisierten wissenschaftlichen Daten. Die beständigste Lehre ist, dass sich das technische Problem in der regulierten Forschung umkehrt. Allgemeine Agenten-Entwicklung optimiert auf Fähigkeit und Autonomie: das Modell klüger machen, ihm mehr Werkzeuge geben, es handeln lassen. Die regulierte Forschung behält beides auf dem Tisch, ordnet es aber einem anderen Stapel von Anforderungen unter — Nachvollziehbarkeit, Determinismus, Validierung und eine ununterbrochene Kette menschlicher Verantwortung. Der schwierige Teil war nie, den Agenten klüger zu machen. Es ist, ihn prüfbar, reproduzierbar und so weit begrenzt zu machen, dass ein namentlich benannter Mensch seine Unterschrift unter die Ausgabe setzen kann.

Was das konkret ändert, Anforderung für Anforderung.

Das Ergebnis ist keine Antwort — es ist eine verteidigungsfähige Antwort

In der Verbraucher-KI ist eine falsche Antwort ein schlechtes Erlebnis. In der QC-Prüfung, der Analyse von Einreichungen oder der Chargenfreigabe ist eine falsche Antwort eine Abweichung — ein regulatorisches Ereignis mit Aktenlage und Folgen, die bis zum Patienten eskalieren. Die Kostenfunktion ist nicht nur höher, sie ist asymmetrisch: Eine selbstbewusst falsche Antwort ist weit teurer als eine Enthaltung.

Das rahmt Halluzination vollständig neu. Sie ist kein Ärgernis, das man um ein paar Punkte auf einem Benchmark drückt; sie ist ein Fehlermodus, gegen den man strukturell konstruiert. Verankerung in Belegen, Zitat zur Quelle und durchgängige Rückverfolgbarkeit hören auf, Politur zu sein, und werden zum Produkt. Sie liefern eigentlich keinen Generator aus. Sie liefern eine Beweiskette aus, die zufällig von einem Modell zusammengesetzt wird — und Sie bauen den Rest der Kette so, dass er das Gewicht trägt, das das Modell nicht tragen kann.

Validierung, nicht Evaluation

Das ist die Lücke, die Teams mit reinem ML-Hintergrund am meisten unterschätzen. Die ML-Kultur sagt: auf einem zurückgehaltenen Benchmark messen, ausliefern, überwachen, iterieren. Die regulierte Forschung sagt: das System qualifizieren, bevor es einen GxP-Arbeitsablauf berührt — Computersystemvalidierung nach einem Rahmenwerk wie GAMP 5, mit dokumentierter und unterzeichneter Installations-, Funktions- und Leistungsqualifizierung (IQ/OQ/PQ).

Der echte Widerspruch ist offensichtlich, sobald man ihn ausspricht. Wie validiert man ein System, das per Konstruktion auf dieselbe Eingabe eine andere Ausgabe geben kann? Die Antwort ist, dass man nicht die Erzeugung validiert. Man validiert die Hülle: fixierte Modellversionen, deterministische Decodierungseinstellungen, eingefrorene Prompts, ein begrenztes und freigegebenes Werkzeugset, Retrieval über einem kontrollierten Korpus und Leitplanken, deren Verhalten deterministisch und damit testbar ist. Der kreative Kern bleibt probabilistisch; alles darum herum wird mit Absicht langweilig gemacht. In der regulierten KI ist das Modell der Teil, den Sie begrenzen, nicht der Teil, dem Sie vertrauen.

Der Prüfpfad ist ein erstklassiges Ergebnis

21 CFR Part 11 und die dahinterstehenden Grundsätze der Datenintegrität — ALCOA+: zuordenbar, lesbar, zeitnah, im Original, korrekt, dazu vollständig, konsistent, dauerhaft, verfügbar — wurden nicht mit Blick auf Agenten geschrieben. Aber Agenten handeln inzwischen genau in den Systemen, die diese Regeln steuern. Jede Handlung eines Agenten muss zuordenbar und im Nachhinein rekonstruierbar sein. „Wer hat das entschieden?“ muss eine Antwort haben, und „das Modell“ ist keine akzeptable.

Deshalb ist Human-in-the-Loop in der regulierten Forschung eine rechtliche Kontrolle und keine UX-Vorliebe. Der Prüfschritt, die Freigabe, der Eskalationspfad — das sind Teile der Systemarchitektur, von Anfang an eingeplant, kein Bestätigungsdialog, der am Ende angeschraubt wird. Der Agent schlägt vor; ein verantwortlicher Mensch entscheidet; und der Pfad hält beides fest, in einer Form, die die Person, das Projekt und den Anbieter überdauert.

„Ich weiß es nicht“ ist eine Funktion, die man bauen muss

Die wirkungsvollste Designentscheidung in diesem gesamten Feld ist, die Enthaltung zu einer erstklassigen Ausgabe zu machen. Unter einem asymmetrischen Kostenregime ist ein Agent, der verlässlich die Grenze der eigenen Kompetenz kennt, mehr wert als einer, der im Schnitt ein paar Punkte genauer ist und still versagt, sobald er vertrautes Terrain verlässt.

Konkret heißt das: Retrieval-Verankerung, die sich verweigert, wenn der Beleg fehlt, statt zu improvisieren; strukturierte Ausgaben statt Freitext, wo immer ein Schema die Bedeutung tragen kann; Konfidenzschwellen, die an einen Menschen weiterleiten, statt zu raten; und „muss geprüft werden“ als erfolgreichen Endzustand zu behandeln, nicht als Fehlschlag. Das ist der Instinkt, den Teams aus der Verbraucher-KI am häufigsten verkehrt herum mitbringen, wo Enthaltung sich liest, als gäbe das Modell auf. In einem GxP-Kontext verhält sich das Modell damit korrekt.

Änderungskontrolle versus „kontinuierliche Verbesserung“

Der ML-Reflex ist, leise zu verbessern: einen Prompt anpassen, ein besseres Modell einwechseln, freitags ausliefern. Innerhalb eines validierten Systems ist jedes davon ein Ereignis der Änderungskontrolle — das potenziell eine Revalidierung auslöst. Die Bequemlichkeit, die moderne KI schnell iterierbar macht, steht in direktem Widerspruch zur Governance, die sie einsatzfähig macht, und so zu tun, als sei das nicht so, ist der Grund, warum Piloten im neunten Monat still sterben.

Also bauen Sie die Architektur dafür. Versionieren Sie alles — Modell, Prompt, Werkzeugdefinitionen, Retrieval-Index — als eine einzige qualifizierte Konfiguration. Frieren Sie das Modell hinter einem Vertrag ein, statt auf dem rollenden Endpunkt eines Anbieters mitzufahren. Verlangen Sie ausdrückliche Garantien, dass nicht auf Ihren Daten trainiert wird. Nichts davon ist hypothetisch: Die FDA-eigene, Claude-basierte Assistenz Elsa läuft in einer FedRAMP-High-Umgebung mit einer ausdrücklichen Garantie, nicht auf Industriedaten zu trainieren. Diese Haltung ist in der regulierten KI nicht die vorsichtige Ausnahme; sie ist die Vorlage.

Der Agent ist nur so vertrauenswürdig wie die Datenherkunft unter ihm

Das ist der Teil, den die modellzentrierte Debatte immer wieder überspringt. Der begrenzende Faktor in der regulierten KI ist selten die Modellqualität; es sind harmonisierte Daten mit nachverfolgter Herkunft. Ein Agent, der über fragmentierte, herkunftslose Gerätedaten schlussfolgert, kann keine verteidigungsfähige Antwort liefern, wie leistungsfähig das Modell auch sei — denn die Verteidigung sollte immer auf der Herkunft der Daten ruhen, und es gibt keine, auf die man zeigen könnte.

Das Adoptionsgefälle, das Branchenumfragen unentwegt berichten, erzählt dieselbe Geschichte von der anderen Seite: Die KI-Nutzung ist steil bei „lies das für mich“-Aufgaben und flach bei „entwirf das für mich“, und jede IT-Leitung weiß längst, dass Datenfragmentierung der eigentliche Engpass ist. Die Agentenebene liegt hinter der Datenintegritätsebene. Bauen Sie die zweite zuerst, sonst hat die erste nichts, worauf sie stehen kann.

Warum mir dieses Terrain vertraut ist

Nichts an dieser Disziplin ist neu für mich, und genau das würde ich jedem sagen, der abwägt, ob sich diese Fähigkeiten übertragen lassen. Vor der Pharma habe ich eine Echtzeit-Gehirn‑Maschine‑Schnittstelle gebaut, die eine Decodierungsentscheidung in rund einer Millisekunde treffen musste und bei der eine falsche Entscheidung zum falschen Zeitpunkt still ein Experiment zerstörte, dessen Aufbau Monate gedauert hatte. Man lernt sehr schnell, für den Fehlermodus zu konstruieren statt für die Demo — alles zu instrumentieren, die Unsicherheit des Systems selbst lesbar zu machen und die Grenzen vor den Fähigkeiten zu entwerfen. Regulierte KI ist dieselbe Ingenieursdisziplin in einer anderen Rechtsordnung. Der Aktuator wechselte vom Laser zum Chargenprotokoll; die Regel, dass Irrtum per Konstruktion teuer sein muss, blieb.

Der eigentliche Burggraben

Das Frontier-Modell wird zur Massenware; die Fähigkeiten konvergieren und werden weiter konvergieren. Die Teams, die in der regulierten Forschung gewinnen, werden nicht die mit dem marginal besseren Modell sein. Es werden die sein, die Nachvollziehbarkeit, Validierung und Enthaltung als Architektur behandelt haben statt als Nachgedanken — die verstanden haben, dass in dieser Domäne die Grenze das Produkt ist. Die Demo funktioniert bei allen. Die Arbeit beginnt dort, wo die Demo endet.