Klinische AI-risico’s gaan verder dan modelnauwkeurigheid

De review ordent de risico’s over meerdere fasen en lagen van de inzet van klinische AI:

• Ontwerp en trainingsdata: gemanipuleerde of vervuilde data kunnen het gedrag van een systeem veranderen voordat het in een zorgomgeving wordt gebruikt.
• Invoering en interfaces: een promptinjectie kan kwaadaardige instructies aan een werkproces toevoegen. De review gebruikt als voorbeeld dat een aanval ertoe zou kunnen leiden dat een model een zichtbare tumor over het hoofd ziet. Kwetsbare ziekenhuisinfrastructuur kan bovendien de zorg onderbreken of patiëntgegevens blootleggen.
• Gedrag van het model: grote taalmodellen kunnen overtuigend klinkende maar onjuiste medische informatie produceren. Ook kunnen ze te gemakkelijk meegaan in de aannames van een gebruiker en zo een verkeerde premisse versterken in plaats van die ter discussie te stellen.
• Mens en AI samen: overtuigende antwoorden kunnen leiden tot automatiseringsbias: zorgverleners vertrouwen te snel op het systeem. Daarnaast kan bevestigingsbias ontstaan, waarbij iemand AI gebruikt om een conclusie te ondersteunen die al vooraf vaststond.
• Gebruik binnen instellingen: zorgverleners kunnen publieke of niet-goedgekeurde systemen inzetten zonder formele toestemming. Dit zogenoemde ‘schaduwgebruik’ kan privacywaarborgen, lokale evaluatie, verantwoordingsstructuren en het melden van incidenten omzeilen.

Deze benadering van de volledige levenscyclus is belangrijk omdat een systeem in een gecontroleerde test goed kan presteren en toch onveilig kan blijken in de praktijk. Cybersecurity, menselijk gedrag, de klinische context en organisatorische controle kunnen allemaal bepalen wat er uiteindelijk gebeurt.

Wat verantwoord gebruik vereist

De review pleit voor veiligheidsmaatregelen die actief blijven nadat een systeem in gebruik is genomen. Daaronder vallen veilige ontwikkelprocessen, zorgvuldig beheer van trainingsdata, lokale tests in de beoogde klinische context, duidelijk vastgelegde menselijke verantwoordelijkheden en voortdurende controle van prestaties en incidenten.

Voor ziekenhuizen en andere zorgorganisaties betekent dit dat ze meer moeten weten dan alleen of een systeem plausibele tekst kan produceren. Ze moeten ook vastleggen:

• wie het systeem mag gebruiken en voor welke taken;
• tot welke gegevens het toegang heeft en waar die gegevens naartoe gaan;
• hoe zorgverleners de uitkomsten moeten controleren;
• wie verantwoordelijk is wanneer een met AI ondersteund verslag of advies onjuist blijkt; en
• hoe de organisatie risico’s onderzoekt en het systeem kan stilleggen of terugtrekken.

Het voorgestelde model met twee toezichtslagen

Om die verantwoordelijkheid te ondersteunen, stellen de auteurs twee elkaar aanvullende toezichtslagen voor.

AI-governanceteams binnen zorginstellingen

Zorgorganisaties zouden gespecialiseerde teams moeten inzetten om AI-tools goed te keuren, lokaal te evalueren, verantwoordelijkheden vast te leggen en het gebruik ervan te bewaken. Zo blijven beslissingen verbonden met de eigen patiënten, werkprocessen, infrastructuur en professionele verplichtingen van de instelling.

Centrale AI Security Operations Centers

Daarnaast beveelt de review centrale AI Security Operations Centers aan, kortweg SOC’s. Die centra kunnen incidenten bij verschillende organisaties signaleren, informatie over dreigingen delen en reacties coördineren. Een aanval of fout in één klinisch AI-systeem kan immers wijzen op een bredere kwetsbaarheid die ook andere instellingen raakt.

Samen verbinden deze twee lagen lokale klinische verantwoordelijkheid met bredere veiligheidsinformatie.

Waarom traditionele regelgeving mogelijk tekortschiet

Traditionele kaders voor medische hulpmiddelen zijn grotendeels ontwikkeld voor producten die relatief stabiel konden worden beoordeeld. Klinische AI-software werkt anders: het gedrag en risicoprofiel kunnen veranderen door modelupdates, verschuivingen in gegevens, nieuwe werkprocessen of nieuwe aanvalsmethoden.

Daar ontstaat een regelgevingsprobleem. Een goedkeuring of beoordeling op één moment bewijst niet automatisch dat een systeem ook later, in elke nieuwe context, veilig blijft. Het bredere werk van de TU Dresden over regelgeving voor medische AI stelt eveneens dat de regelgevingswetenschap gelijke tred moet houden met snel ontwikkelende technologie.

Voor zorgorganisaties betekent dit dat ingebruikname het begin van toezicht moet zijn, niet het eindpunt. Permanente controles moeten prestaties, veiligheid, cybersecurity, privacy en gelijkheid omvatten. Ook zijn procedures nodig voor het melden van incidenten en het tijdelijk opschorten van systemen wanneer dat noodzakelijk is.

Waarom patiënttoestemming onderdeel is van technische veiligheid

De zorgen uit de review zijn ook zichtbaar bij AI-schrijfassistenten en andere hulpmiddelen voor klinische verslaglegging. Australische richtlijnen schrijven voor dat patiënten informatie krijgen over het doel en de reikwijdte van een AI-systeem, de voordelen en risico’s en de manier waarop veiligheid en prestaties worden gemonitord. Ook blijft de zorgverlener verantwoordelijk voor de zorg en de dossiers die met hulp van AI tot stand komen.

Richtlijnen voor Australische huisartsen benadrukken daarnaast dat zorgverleners een AI-schrijfassistent moeten begrijpen en testen, vóór elk gebruik toestemming moeten vragen, opgeslagen gegevens moeten beschermen en moeten controleren of het medisch dossier klopt.

Recente berichtgeving beschrijft grote verschillen in de manier waarop Australische praktijken toestemming vragen. In sommige gevallen werd een bord in de wachtruimte als voldoende beschouwd. De Australische toezichthouder voor artsen heeft bovendien benadrukt dat zorgverleners alle door AI gegenereerde resultaten op juistheid moeten controleren. Dit laat zien waarom toestemming geen administratief vinkje mag zijn: patiënten hebben begrijpelijke informatie nodig, zorgverleners moeten de technologie voldoende kennen en de verantwoordelijkheid moet bij de behandelaar blijven.

De beschikbare gegevens laten niet zien hoe wijdverbreid gebrekkige toestemming of onvoldoende kennis in heel Australië is. Ze onderstrepen wel het bredere punt van de review: transparantie, menselijke controle en organisatorische verantwoordelijkheid zijn operationele veiligheidsmaatregelen, geen details die pas na de invoering hoeven te worden geregeld.

De praktische les voor zorgorganisaties

De boodschap van de review is het best te begrijpen als een norm voor invoering, niet als een afwijzing van klinische AI. Grote taalmodellen kunnen waardevolle werkprocessen ondersteunen, maar veilige toepassing vereist dat organisaties ze behandelen als veranderende sociaal-technische systemen en niet als gewone softwaretools.

Zorgbestuurders moeten vóór én na de invoering kunnen aantonen dat ze het model evalueren, de omliggende infrastructuur beveiligen, gebruikers trainen, patiënten uitleggen wanneer AI wordt ingezet, de prestaties in de praktijk volgen en bepalen wie kan ingrijpen als het systeem faalt. Zolang die controlemechanismen ontbreken, kan de invoering van klinische AI sneller blijven gaan dan het toezicht dat nodig is om het vertrouwen erin te rechtvaardigen.

Klinische AI-risico’s gaan verder dan modelnauwkeurigheid

De review ordent de risico’s over meerdere fasen en lagen van de inzet van klinische AI:

• Ontwerp en trainingsdata: gemanipuleerde of vervuilde data kunnen het gedrag van een systeem veranderen voordat het in een zorgomgeving wordt gebruikt.
• Invoering en interfaces: een promptinjectie kan kwaadaardige instructies aan een werkproces toevoegen. De review gebruikt als voorbeeld dat een aanval ertoe zou kunnen leiden dat een model een zichtbare tumor over het hoofd ziet. Kwetsbare ziekenhuisinfrastructuur kan bovendien de zorg onderbreken of patiëntgegevens blootleggen.
• Gedrag van het model: grote taalmodellen kunnen overtuigend klinkende maar onjuiste medische informatie produceren. Ook kunnen ze te gemakkelijk meegaan in de aannames van een gebruiker en zo een verkeerde premisse versterken in plaats van die ter discussie te stellen.
• Mens en AI samen: overtuigende antwoorden kunnen leiden tot automatiseringsbias: zorgverleners vertrouwen te snel op het systeem. Daarnaast kan bevestigingsbias ontstaan, waarbij iemand AI gebruikt om een conclusie te ondersteunen die al vooraf vaststond.
• Gebruik binnen instellingen: zorgverleners kunnen publieke of niet-goedgekeurde systemen inzetten zonder formele toestemming. Dit zogenoemde ‘schaduwgebruik’ kan privacywaarborgen, lokale evaluatie, verantwoordingsstructuren en het melden van incidenten omzeilen.

Deze benadering van de volledige levenscyclus is belangrijk omdat een systeem in een gecontroleerde test goed kan presteren en toch onveilig kan blijken in de praktijk. Cybersecurity, menselijk gedrag, de klinische context en organisatorische controle kunnen allemaal bepalen wat er uiteindelijk gebeurt.

Wat verantwoord gebruik vereist

De review pleit voor veiligheidsmaatregelen die actief blijven nadat een systeem in gebruik is genomen. Daaronder vallen veilige ontwikkelprocessen, zorgvuldig beheer van trainingsdata, lokale tests in de beoogde klinische context, duidelijk vastgelegde menselijke verantwoordelijkheden en voortdurende controle van prestaties en incidenten.

Voor ziekenhuizen en andere zorgorganisaties betekent dit dat ze meer moeten weten dan alleen of een systeem plausibele tekst kan produceren. Ze moeten ook vastleggen:

• wie het systeem mag gebruiken en voor welke taken;
• tot welke gegevens het toegang heeft en waar die gegevens naartoe gaan;
• hoe zorgverleners de uitkomsten moeten controleren;
• wie verantwoordelijk is wanneer een met AI ondersteund verslag of advies onjuist blijkt; en
• hoe de organisatie risico’s onderzoekt en het systeem kan stilleggen of terugtrekken.

Het voorgestelde model met twee toezichtslagen

Om die verantwoordelijkheid te ondersteunen, stellen de auteurs twee elkaar aanvullende toezichtslagen voor.

AI-governanceteams binnen zorginstellingen

Zorgorganisaties zouden gespecialiseerde teams moeten inzetten om AI-tools goed te keuren, lokaal te evalueren, verantwoordelijkheden vast te leggen en het gebruik ervan te bewaken. Zo blijven beslissingen verbonden met de eigen patiënten, werkprocessen, infrastructuur en professionele verplichtingen van de instelling.

Centrale AI Security Operations Centers

Daarnaast beveelt de review centrale AI Security Operations Centers aan, kortweg SOC’s. Die centra kunnen incidenten bij verschillende organisaties signaleren, informatie over dreigingen delen en reacties coördineren. Een aanval of fout in één klinisch AI-systeem kan immers wijzen op een bredere kwetsbaarheid die ook andere instellingen raakt.

Samen verbinden deze twee lagen lokale klinische verantwoordelijkheid met bredere veiligheidsinformatie.

Waarom traditionele regelgeving mogelijk tekortschiet

Traditionele kaders voor medische hulpmiddelen zijn grotendeels ontwikkeld voor producten die relatief stabiel konden worden beoordeeld. Klinische AI-software werkt anders: het gedrag en risicoprofiel kunnen veranderen door modelupdates, verschuivingen in gegevens, nieuwe werkprocessen of nieuwe aanvalsmethoden.

Daar ontstaat een regelgevingsprobleem. Een goedkeuring of beoordeling op één moment bewijst niet automatisch dat een systeem ook later, in elke nieuwe context, veilig blijft. Het bredere werk van de TU Dresden over regelgeving voor medische AI stelt eveneens dat de regelgevingswetenschap gelijke tred moet houden met snel ontwikkelende technologie.

Voor zorgorganisaties betekent dit dat ingebruikname het begin van toezicht moet zijn, niet het eindpunt. Permanente controles moeten prestaties, veiligheid, cybersecurity, privacy en gelijkheid omvatten. Ook zijn procedures nodig voor het melden van incidenten en het tijdelijk opschorten van systemen wanneer dat noodzakelijk is.

Waarom patiënttoestemming onderdeel is van technische veiligheid

De zorgen uit de review zijn ook zichtbaar bij AI-schrijfassistenten en andere hulpmiddelen voor klinische verslaglegging. Australische richtlijnen schrijven voor dat patiënten informatie krijgen over het doel en de reikwijdte van een AI-systeem, de voordelen en risico’s en de manier waarop veiligheid en prestaties worden gemonitord. Ook blijft de zorgverlener verantwoordelijk voor de zorg en de dossiers die met hulp van AI tot stand komen.

Richtlijnen voor Australische huisartsen benadrukken daarnaast dat zorgverleners een AI-schrijfassistent moeten begrijpen en testen, vóór elk gebruik toestemming moeten vragen, opgeslagen gegevens moeten beschermen en moeten controleren of het medisch dossier klopt.

Recente berichtgeving beschrijft grote verschillen in de manier waarop Australische praktijken toestemming vragen. In sommige gevallen werd een bord in de wachtruimte als voldoende beschouwd. De Australische toezichthouder voor artsen heeft bovendien benadrukt dat zorgverleners alle door AI gegenereerde resultaten op juistheid moeten controleren. Dit laat zien waarom toestemming geen administratief vinkje mag zijn: patiënten hebben begrijpelijke informatie nodig, zorgverleners moeten de technologie voldoende kennen en de verantwoordelijkheid moet bij de behandelaar blijven.

De beschikbare gegevens laten niet zien hoe wijdverbreid gebrekkige toestemming of onvoldoende kennis in heel Australië is. Ze onderstrepen wel het bredere punt van de review: transparantie, menselijke controle en organisatorische verantwoordelijkheid zijn operationele veiligheidsmaatregelen, geen details die pas na de invoering hoeven te worden geregeld.

De praktische les voor zorgorganisaties

De boodschap van de review is het best te begrijpen als een norm voor invoering, niet als een afwijzing van klinische AI. Grote taalmodellen kunnen waardevolle werkprocessen ondersteunen, maar veilige toepassing vereist dat organisaties ze behandelen als veranderende sociaal-technische systemen en niet als gewone softwaretools.

Zorgbestuurders moeten vóór én na de invoering kunnen aantonen dat ze het model evalueren, de omliggende infrastructuur beveiligen, gebruikers trainen, patiënten uitleggen wanneer AI wordt ingezet, de prestaties in de praktijk volgen en bepalen wie kan ingrijpen als het systeem faalt. Zolang die controlemechanismen ontbreken, kan de invoering van klinische AI sneller blijven gaan dan het toezicht dat nodig is om het vertrouwen erin te rechtvaardigen.