Klinisk AI løber fra sikkerhedstilsynet, advarer TU Dresden-gennemgang

Det er afgørende, fordi et system godt kan præstere stærkt i en kontrolleret test og stadig være uforsvarligt i praksis. Cybersikkerhed, menneskelig adfærd, klinisk kontekst og organisatoriske kontroller kan alle ændre resultatet.

Hvad ansvarlig ibrugtagning kræver

Forskerne efterlyser sikkerhedsforanstaltninger, der fortsætter, efter at systemet er sat i drift. Det omfatter sikker udvikling, omhyggelig styring af træningsdata, lokal afprøvning i den kliniske sammenhæng, tydeligt defineret menneskeligt ansvar samt løbende overvågning af resultater og hændelser.

I praksis skal hospitaler og sundhedsorganisationer derfor vide mere end, om et værktøj kan producere plausibel tekst. De bør også afklare:

• hvem der må bruge systemet, og til hvilke opgaver;
• hvilke data systemet kan tilgå, og hvor dataene behandles eller opbevares;
• hvordan klinikere skal kontrollere systemets svar;
• hvem der har ansvaret, hvis en AI-assisteret journal eller anbefaling er forkert; og
• hvordan organisationen kan undersøge, sætte på pause eller trække værktøjet tilbage, hvis nye risici opstår.

En model med to niveauer af tilsyn

For at understøtte ansvarligheden foreslår forfatterne to supplerende tilsynsniveauer.

Lokale AI-governance-teams

Sundhedsorganisationer bør have dedikerede teams, der godkender AI-værktøjer, evaluerer dem i den lokale kontekst, fordeler ansvar og følger driften. Det kobler beslutningerne til organisationens patienter, arbejdsgange, IT-infrastruktur og faglige forpligtelser.

Centrale AI Security Operations Centers

Gennemgangen anbefaler også centrale AI Security Operations Centers – eller SOC’er – som kan opdage hændelser på tværs af organisationer, dele information om trusler og koordinere reaktioner. Et angreb eller svigt i ét klinisk AI-system kan nemlig afsløre en bredere sårbarhed, der også berører andre institutioner.

Tilsammen kombinerer modellen lokalt klinisk ansvar med et bredere sikkerhedsoverblik.

Hvorfor traditionel regulering kan komme til kort

De traditionelle rammer for medicinsk udstyr er i høj grad udviklet til produkter, der kunne vurderes som forholdsvis stabile. Klinisk AI-software kan være anderledes: Systemets adfærd og risikoprofil kan ændre sig, når modeller opdateres, datamønstre skifter, arbejdsgange udvikler sig, eller angribere finder nye metoder.

Det skaber et reguleringsproblem. En godkendelse eller vurdering på ét tidspunkt dokumenterer ikke automatisk, at et system fortsat er sikkert i alle senere situationer. TU Dresden-forskernes øvrige arbejde med regulering af medicinsk AI peger tilsvarende på, at reguleringsvidenskaben skal kunne følge med hurtigt udviklende teknologier.

For organisationer betyder det, at ibrugtagning bør ses som begyndelsen på tilsynet – ikke afslutningen. De løbende kontroller bør omfatte ydeevne, sikkerhed, cybersikkerhed, privatliv og lighed samt procedurer for at indberette hændelser og suspendere systemer, når det er nødvendigt.

Patientens samtykke er også en del af den tekniske sikkerhed

Bekymringerne kan også ses i brugen af AI-skrivere og andre værktøjer til klinisk dokumentation. Australsk klinisk vejledning fastslår, at patienter skal informeres om et AI-systems formål, anvendelsesområde, fordele, risici og procedurerne for overvågning af sikkerhed og ydeevne. Vejledningen understreger samtidig, at klinikeren fortsat har ansvaret for behandlingen og journalen, når AI indgår i arbejdet.

Faglig vejledning for australsk almen praksis fremhæver desuden, at klinikere skal forstå og teste en AI-skriver, indhente samtykke før hver anvendelse, beskytte lagrede data og sikre, at journalen er korrekt.

Nyere australsk mediedækning har beskrevet store forskelle i, hvordan klinikker indhenter samtykke – blandt andet tilfælde, hvor et skilt i venteværelset blev anset som tilstrækkeligt. Australiens tilsynsmyndighed for læger har samtidig understreget, at klinikere skal kontrollere AI-genererede oplysninger for fejl.

Det illustrerer, hvorfor samtykke ikke bør behandles som et afkrydsningsfelt. Patienter skal have reel information, klinikere skal have tilstrækkelig teknisk forståelse til at anvende systemet sikkert, og ansvaret skal fortsat ligge hos klinikeren.

De tilgængelige oplysninger dokumenterer ikke, hvor udbredt utilstrækkeligt samtykke eller manglende forståelse er i Australien. De understøtter dog gennemgangens bredere pointe: Gennemsigtighed, menneskeligt tilsyn og organisatorisk ansvar er aktive sikkerhedskontroller – ikke administrative detaljer, der kan tilføjes bagefter.

Den praktiske lære for sundhedsvæsenet

Gennemgangens budskab er bedst forstået som en standard for ibrugtagning, ikke som en afvisning af klinisk AI. Store sprogmodeller kan understøtte værdifulde arbejdsgange, men sikker anvendelse kræver, at organisationer betragter dem som foranderlige sociotekniske systemer – ikke som almindelige softwareværktøjer.

Før og efter implementering bør ledelser i sundhedsvæsenet kunne evaluere modellen, sikre den omkringliggende infrastruktur, uddanne brugerne, forklare patienterne, når AI indgår, overvåge resultaterne i den virkelige klinik og fastlægge, hvem der kan gribe ind, når systemet svigter.

Indtil de kontroller er på plads, risikerer den kliniske udbredelse at fortsætte hurtigere end det tilsyn, der skal gøre AI’en pålidelig.