Klinische KI ist mehr als ein Genauigkeitsproblem

Die Review ordnet die Risiken nach verschiedenen Phasen und Ebenen des klinischen KI-Einsatzes:

• Entwicklung und Trainingsdaten: Manipulierte oder „vergiftete“ Daten können das Verhalten eines Systems bereits vor seinem Einsatz in einer Klinik verändern.
• Einführung und Benutzeroberflächen: Durch sogenannte Prompt-Injection-Angriffe können schädliche Anweisungen in einen Arbeitsablauf eingeschleust werden. Die Forschenden nennen als anschauliches Beispiel die Möglichkeit, dass ein Modell dadurch einen sichtbaren Tumor übersieht. Schwachstellen in der IT-Infrastruktur eines Krankenhauses können außerdem die Versorgung unterbrechen oder Patientendaten offenlegen.
• Verhalten des Modells: Große Sprachmodelle können medizinische Informationen erzeugen, die plausibel klingen, aber falsch sind. Diese sogenannten Halluzinationen sind besonders problematisch, wenn Nutzerinnen und Nutzer die Antworten nicht ausreichend überprüfen. Zudem können Modelle eine falsche Ausgangsannahme zu bereitwillig bestätigen, statt sie infrage zu stellen.
• Interaktion zwischen Mensch und KI: Überzeugend formulierte Antworten können den sogenannten Automation Bias fördern – also die Tendenz, sich zu stark auf ein System zu verlassen. Beim Confirmation Bias wird die KI dagegen womöglich genutzt, um eine bereits bestehende Einschätzung zu bestätigen.
• Einsatz in der Organisation: Medizinisches Personal könnte öffentliche oder nicht freigegebene Systeme informell nutzen. Diese „Schattennutzung“ umgeht möglicherweise Datenschutzvorgaben, lokale Prüfungen, klare Verantwortlichkeiten und die Meldung von Zwischenfällen.

Diese Betrachtung des gesamten Lebenszyklus ist entscheidend. Ein System kann in einem kontrollierten Test gute Ergebnisse liefern und im klinischen Alltag dennoch unsicher sein, wenn sich Sicherheitslage, menschliches Verhalten, technischer Kontext oder organisatorische Regeln unterscheiden.

Was ein verantwortungsvoller Einsatz voraussetzt

Nach Ansicht der Forschenden müssen Schutzmaßnahmen auch nach dem Start eines Systems aktiv bleiben. Dazu gehören eine sichere Entwicklung, eine sorgfältige Verwaltung der Trainingsdaten, lokale Tests im vorgesehenen klinischen Umfeld, eindeutig verteilte menschliche Verantwortlichkeiten sowie die kontinuierliche Überwachung von Leistung und Zwischenfällen.

Krankenhäuser und Gesundheitseinrichtungen sollten daher nicht nur fragen, ob ein Tool plausible Texte erzeugt. Sie müssen unter anderem klären:

• Wer darf das System nutzen – und für welche Aufgaben?
• Auf welche Daten kann es zugreifen, und wohin werden diese Daten übertragen?
• Wie müssen Ärztinnen, Ärzte und anderes Fachpersonal die Ergebnisse überprüfen?
• Wer trägt die Verantwortung, wenn eine mit KI-Unterstützung erstellte Dokumentation oder Empfehlung falsch ist?
• Wie kann die Einrichtung einen Vorfall untersuchen, das System vorübergehend stoppen oder vollständig zurückziehen?

Ein Aufsichtsmodell auf zwei Ebenen

Für eine verlässliche Verantwortungsstruktur schlagen die Autorinnen und Autoren zwei miteinander verbundene Aufsichtsebenen vor.

KI-Governance-Teams in den Einrichtungen

Krankenhäuser und andere Gesundheitsorganisationen sollen eigene Teams oder feste Strukturen für die KI-Governance einsetzen. Diese könnten Tools genehmigen, sie im jeweiligen lokalen Umfeld bewerten, Zuständigkeiten definieren und den laufenden Betrieb überwachen.

Das ist wichtig, weil die Risiken eines Systems von den jeweiligen Patientengruppen, Arbeitsabläufen, technischen Infrastrukturen und beruflichen Pflichten abhängen.

Zentrale AI Security Operations Centers

Zusätzlich empfiehlt die Review zentralisierte AI Security Operations Centers (SOCs). Sie sollen Vorfälle organisationsübergreifend erkennen, Informationen über Bedrohungen teilen und Reaktionen koordinieren. Ein Angriff oder Fehler in einem klinischen KI-System kann schließlich auf eine Schwachstelle hinweisen, die auch andere Einrichtungen betrifft.

Zusammen würden beide Ebenen lokale klinische Verantwortung mit übergreifender Sicherheitsaufklärung verbinden.

Warum statische Medizinprodukte-Regeln an Grenzen stoßen

Klassische Rahmenwerke für Medizinprodukte wurden weitgehend für Produkte entwickelt, deren Eigenschaften als vergleichsweise stabil bewertet werden konnten. Klinische KI-Software kann sich jedoch verändern: durch Modell-Updates, eine veränderte Zusammensetzung der Eingangsdaten, neue Arbeitsabläufe oder neue Angriffsmethoden.

Daraus entsteht eine regulatorische Lücke. Eine Genehmigung oder Prüfung zu einem bestimmten Zeitpunkt beweist nicht automatisch, dass ein sich weiterentwickelndes System auch Monate später und in jedem neuen Umfeld sicher ist. Die weitergehende Arbeit der TU-Dresdner Forschenden zur Regulierung medizinischer KI kommt ebenfalls zu dem Schluss, dass die Regulierungswissenschaft mit der technischen Entwicklung Schritt halten muss.

Für Einrichtungen bedeutet das: Mit der Einführung eines Systems beginnt die Aufsicht – sie endet nicht damit. Laufende Prüfungen sollten Leistung, Patientensicherheit, Cybersicherheit, Datenschutz und Gleichbehandlung abdecken. Außerdem braucht es Verfahren zur Meldung von Vorfällen und zum Aussetzen eines Systems, wenn neue Risiken auftreten.

Warum die Einwilligung von Patientinnen und Patienten zur technischen Sicherheit gehört

Die von der Review beschriebenen Probleme zeigen sich auch beim Einsatz von KI-Schreibassistenten und anderen Tools zur klinischen Dokumentation. Australische Leitlinien verlangen, dass Patientinnen und Patienten über Zweck, Umfang, Vorteile, Risiken sowie die Verfahren zur Sicherheits- und Leistungsüberwachung eines KI-Systems informiert werden. Zugleich bleibt das medizinische Fachpersonal für die Behandlung und die mit KI-Unterstützung erstellte Dokumentation verantwortlich.

Berufliche Empfehlungen für australische Hausarztpraxen betonen außerdem, dass Ärztinnen und Ärzte einen KI-Schreibassistenten verstehen und testen, vor jeder Nutzung eine Einwilligung einholen, gespeicherte Daten schützen und die Richtigkeit der Patientenakte sicherstellen müssen.

Aktuelle Berichte beschreiben erhebliche Unterschiede bei der Einholung dieser Einwilligung. In einigen Fällen soll lediglich ein Hinweis im Wartezimmer verwendet worden sein. Die australische Medizinaufsicht hat zudem hervorgehoben, dass medizinisches Personal alle von einem KI-Schreibassistenten erzeugten Inhalte auf ihre Richtigkeit prüfen muss.

Das zeigt, warum Einwilligung nicht zu einer Formsache werden darf: Patientinnen und Patienten brauchen verständliche Informationen, Fachkräfte müssen die Technologie und ihre Grenzen ausreichend kennen, und die Verantwortung darf nicht an das System abgegeben werden.

Die verfügbaren Belege zeigen nicht, wie verbreitet unzureichende Einwilligungen oder fehlendes technisches Verständnis in Australien tatsächlich sind. Sie stützen jedoch die weitergehende Aussage der Review: Transparenz, menschliche Kontrolle und organisatorische Verantwortlichkeit sind konkrete Sicherheitsmaßnahmen – keine nachträglichen Verwaltungsdetails.

Die praktische Konsequenz für Gesundheitseinrichtungen

Die Botschaft der Review ist eher ein Standard für die Einführung als eine Absage an klinische KI. Große Sprachmodelle können wertvolle Abläufe unterstützen. Sie sollten aber als sich verändernde soziotechnische Systeme verstanden werden – nicht als gewöhnliche Software, die nach einer einmaligen Abnahme dauerhaft unverändert bleibt.

Leitungen von Krankenhäusern und anderen Gesundheitseinrichtungen müssen vor und nach der Einführung bereit sein, das Modell zu bewerten, die umgebende Infrastruktur abzusichern, Nutzerinnen und Nutzer zu schulen, Patientinnen und Patienten über den KI-Einsatz zu informieren und die Leistung im Alltag zu überwachen. Ebenso muss klar sein, wer eingreift, wenn das System versagt.

Solange diese Kontrollen fehlen, droht die klinische Einführung großer Sprachmodelle der Sicherheitsaufsicht weiter davonzulaufen.

Klinische KI ist mehr als ein Genauigkeitsproblem

Die Review ordnet die Risiken nach verschiedenen Phasen und Ebenen des klinischen KI-Einsatzes:

• Entwicklung und Trainingsdaten: Manipulierte oder „vergiftete“ Daten können das Verhalten eines Systems bereits vor seinem Einsatz in einer Klinik verändern.
• Einführung und Benutzeroberflächen: Durch sogenannte Prompt-Injection-Angriffe können schädliche Anweisungen in einen Arbeitsablauf eingeschleust werden. Die Forschenden nennen als anschauliches Beispiel die Möglichkeit, dass ein Modell dadurch einen sichtbaren Tumor übersieht. Schwachstellen in der IT-Infrastruktur eines Krankenhauses können außerdem die Versorgung unterbrechen oder Patientendaten offenlegen.
• Verhalten des Modells: Große Sprachmodelle können medizinische Informationen erzeugen, die plausibel klingen, aber falsch sind. Diese sogenannten Halluzinationen sind besonders problematisch, wenn Nutzerinnen und Nutzer die Antworten nicht ausreichend überprüfen. Zudem können Modelle eine falsche Ausgangsannahme zu bereitwillig bestätigen, statt sie infrage zu stellen.
• Interaktion zwischen Mensch und KI: Überzeugend formulierte Antworten können den sogenannten Automation Bias fördern – also die Tendenz, sich zu stark auf ein System zu verlassen. Beim Confirmation Bias wird die KI dagegen womöglich genutzt, um eine bereits bestehende Einschätzung zu bestätigen.
• Einsatz in der Organisation: Medizinisches Personal könnte öffentliche oder nicht freigegebene Systeme informell nutzen. Diese „Schattennutzung“ umgeht möglicherweise Datenschutzvorgaben, lokale Prüfungen, klare Verantwortlichkeiten und die Meldung von Zwischenfällen.

Diese Betrachtung des gesamten Lebenszyklus ist entscheidend. Ein System kann in einem kontrollierten Test gute Ergebnisse liefern und im klinischen Alltag dennoch unsicher sein, wenn sich Sicherheitslage, menschliches Verhalten, technischer Kontext oder organisatorische Regeln unterscheiden.

Was ein verantwortungsvoller Einsatz voraussetzt

Nach Ansicht der Forschenden müssen Schutzmaßnahmen auch nach dem Start eines Systems aktiv bleiben. Dazu gehören eine sichere Entwicklung, eine sorgfältige Verwaltung der Trainingsdaten, lokale Tests im vorgesehenen klinischen Umfeld, eindeutig verteilte menschliche Verantwortlichkeiten sowie die kontinuierliche Überwachung von Leistung und Zwischenfällen.

Krankenhäuser und Gesundheitseinrichtungen sollten daher nicht nur fragen, ob ein Tool plausible Texte erzeugt. Sie müssen unter anderem klären:

• Wer darf das System nutzen – und für welche Aufgaben?
• Auf welche Daten kann es zugreifen, und wohin werden diese Daten übertragen?
• Wie müssen Ärztinnen, Ärzte und anderes Fachpersonal die Ergebnisse überprüfen?
• Wer trägt die Verantwortung, wenn eine mit KI-Unterstützung erstellte Dokumentation oder Empfehlung falsch ist?
• Wie kann die Einrichtung einen Vorfall untersuchen, das System vorübergehend stoppen oder vollständig zurückziehen?

Ein Aufsichtsmodell auf zwei Ebenen

Für eine verlässliche Verantwortungsstruktur schlagen die Autorinnen und Autoren zwei miteinander verbundene Aufsichtsebenen vor.

KI-Governance-Teams in den Einrichtungen

Krankenhäuser und andere Gesundheitsorganisationen sollen eigene Teams oder feste Strukturen für die KI-Governance einsetzen. Diese könnten Tools genehmigen, sie im jeweiligen lokalen Umfeld bewerten, Zuständigkeiten definieren und den laufenden Betrieb überwachen.

Das ist wichtig, weil die Risiken eines Systems von den jeweiligen Patientengruppen, Arbeitsabläufen, technischen Infrastrukturen und beruflichen Pflichten abhängen.

Zentrale AI Security Operations Centers

Zusätzlich empfiehlt die Review zentralisierte AI Security Operations Centers (SOCs). Sie sollen Vorfälle organisationsübergreifend erkennen, Informationen über Bedrohungen teilen und Reaktionen koordinieren. Ein Angriff oder Fehler in einem klinischen KI-System kann schließlich auf eine Schwachstelle hinweisen, die auch andere Einrichtungen betrifft.

Zusammen würden beide Ebenen lokale klinische Verantwortung mit übergreifender Sicherheitsaufklärung verbinden.

Warum statische Medizinprodukte-Regeln an Grenzen stoßen

Klassische Rahmenwerke für Medizinprodukte wurden weitgehend für Produkte entwickelt, deren Eigenschaften als vergleichsweise stabil bewertet werden konnten. Klinische KI-Software kann sich jedoch verändern: durch Modell-Updates, eine veränderte Zusammensetzung der Eingangsdaten, neue Arbeitsabläufe oder neue Angriffsmethoden.

Daraus entsteht eine regulatorische Lücke. Eine Genehmigung oder Prüfung zu einem bestimmten Zeitpunkt beweist nicht automatisch, dass ein sich weiterentwickelndes System auch Monate später und in jedem neuen Umfeld sicher ist. Die weitergehende Arbeit der TU-Dresdner Forschenden zur Regulierung medizinischer KI kommt ebenfalls zu dem Schluss, dass die Regulierungswissenschaft mit der technischen Entwicklung Schritt halten muss.

Für Einrichtungen bedeutet das: Mit der Einführung eines Systems beginnt die Aufsicht – sie endet nicht damit. Laufende Prüfungen sollten Leistung, Patientensicherheit, Cybersicherheit, Datenschutz und Gleichbehandlung abdecken. Außerdem braucht es Verfahren zur Meldung von Vorfällen und zum Aussetzen eines Systems, wenn neue Risiken auftreten.

Warum die Einwilligung von Patientinnen und Patienten zur technischen Sicherheit gehört

Die von der Review beschriebenen Probleme zeigen sich auch beim Einsatz von KI-Schreibassistenten und anderen Tools zur klinischen Dokumentation. Australische Leitlinien verlangen, dass Patientinnen und Patienten über Zweck, Umfang, Vorteile, Risiken sowie die Verfahren zur Sicherheits- und Leistungsüberwachung eines KI-Systems informiert werden. Zugleich bleibt das medizinische Fachpersonal für die Behandlung und die mit KI-Unterstützung erstellte Dokumentation verantwortlich.

Berufliche Empfehlungen für australische Hausarztpraxen betonen außerdem, dass Ärztinnen und Ärzte einen KI-Schreibassistenten verstehen und testen, vor jeder Nutzung eine Einwilligung einholen, gespeicherte Daten schützen und die Richtigkeit der Patientenakte sicherstellen müssen.

Aktuelle Berichte beschreiben erhebliche Unterschiede bei der Einholung dieser Einwilligung. In einigen Fällen soll lediglich ein Hinweis im Wartezimmer verwendet worden sein. Die australische Medizinaufsicht hat zudem hervorgehoben, dass medizinisches Personal alle von einem KI-Schreibassistenten erzeugten Inhalte auf ihre Richtigkeit prüfen muss.

Das zeigt, warum Einwilligung nicht zu einer Formsache werden darf: Patientinnen und Patienten brauchen verständliche Informationen, Fachkräfte müssen die Technologie und ihre Grenzen ausreichend kennen, und die Verantwortung darf nicht an das System abgegeben werden.

Die verfügbaren Belege zeigen nicht, wie verbreitet unzureichende Einwilligungen oder fehlendes technisches Verständnis in Australien tatsächlich sind. Sie stützen jedoch die weitergehende Aussage der Review: Transparenz, menschliche Kontrolle und organisatorische Verantwortlichkeit sind konkrete Sicherheitsmaßnahmen – keine nachträglichen Verwaltungsdetails.

Die praktische Konsequenz für Gesundheitseinrichtungen

Die Botschaft der Review ist eher ein Standard für die Einführung als eine Absage an klinische KI. Große Sprachmodelle können wertvolle Abläufe unterstützen. Sie sollten aber als sich verändernde soziotechnische Systeme verstanden werden – nicht als gewöhnliche Software, die nach einer einmaligen Abnahme dauerhaft unverändert bleibt.

Leitungen von Krankenhäusern und anderen Gesundheitseinrichtungen müssen vor und nach der Einführung bereit sein, das Modell zu bewerten, die umgebende Infrastruktur abzusichern, Nutzerinnen und Nutzer zu schulen, Patientinnen und Patienten über den KI-Einsatz zu informieren und die Leistung im Alltag zu überwachen. Ebenso muss klar sein, wer eingreift, wenn das System versagt.

Solange diese Kontrollen fehlen, droht die klinische Einführung großer Sprachmodelle der Sicherheitsaufsicht weiter davonzulaufen.