Risikoen finnes i hele KI-livsløpet

Gjennomgangen deler risikoen ved klinisk KI inn i flere stadier og nivåer:

• Utvikling og treningsdata: Manipulerte eller forgiftede data kan endre hvordan systemet oppfører seg før det tas i bruk i klinikken.
• Innføring og grensesnitt: En prompt-injeksjon kan føre ondsinnede instrukser inn i arbeidsflyten. Forskerne bruker muligheten for at en modell overser en synlig svulst, som et eksempel på hvordan et angrep i grensesnittet kan påvirke den kliniske tolkningen. Sårbar sykehusinfrastruktur kan også avbryte behandlingen eller føre til at pasientopplysninger kommer på avveie.
• Modellens svar: Store språkmodeller kan lage overbevisende, men feilaktig medisinsk informasjon – ofte omtalt som «hallusinasjoner». De kan også i for stor grad bekrefte brukerens utgangspunkt og dermed forsterke en feilaktig antakelse.
• Samspillet mellom mennesker og KI: Overbevisende svar kan føre til automatiseringsskjevhet, der helsepersonell legger for stor vekt på systemets vurdering, og bekreftelsesskjevhet, der verktøyet brukes til å støtte en konklusjon brukeren allerede har trukket.
• Organisasjonens bruk: Klinikere kan ta i bruk offentlige eller ikke-godkjente verktøy uten formell tillatelse. Slik «skyggebruk» kan omgå personvernstiltak, lokal evaluering, ansvarsplassering og rapportering av hendelser.

Dette helhetsperspektivet er viktig fordi et system kan fungere godt i en kontrollert test og likevel være utrygt i praksis. Cybersikkerhet, menneskelig adferd, klinisk kontekst og organisasjonens kontrollrutiner kan alle påvirke resultatet.

Hva kreves for en ansvarlig innføring?

Gjennomgangen etterlyser sikkerhetstiltak som fortsetter etter at systemet er satt i drift. Det innebærer sikker utvikling, god styring av treningsdata, lokal testing i den kliniske sammenhengen der verktøyet skal brukes, tydelig fordeling av menneskelig ansvar og løpende overvåking av ytelse og hendelser.

For sykehus og andre helsetjenester er det derfor ikke nok å vite om et verktøy produserer tekst som virker plausibel. De må også avklare:

• hvem som har lov til å bruke verktøyet, og til hvilke oppgaver;
• hvilke data systemet får tilgang til, og hvor opplysningene behandles;
• hvordan helsepersonell skal kontrollere svarene;
• hvem som har ansvaret dersom en KI-støttet journal eller anbefaling blir feil; og
• hvordan virksomheten kan undersøke en hendelse, sette systemet på pause eller trekke det tilbake når nye risikoer oppstår.

To nivåer for tilsyn og styring

For å gjøre ansvaret tydeligere foreslår forfatterne en modell med to utfyllende nivåer.

Lokale KI-styringsteam

Helseorganisasjoner bør ha egne team som godkjenner KI-verktøy, evaluerer dem lokalt, fordeler ansvar og følger med på hvordan de fungerer i praksis. Da kan vurderingene knyttes til organisasjonens pasienter, arbeidsprosesser, tekniske infrastruktur og faglige forpliktelser.

Sentrale sikkerhetssentre for KI

Forskerne anbefaler også sentraliserte AI Security Operations Centers, eller SOC-er. Slike sikkerhetssentre kan oppdage hendelser på tvers av organisasjoner, dele informasjon om trusler og samordne tiltak. Et angrep eller en feil i ett klinisk KI-system kan nemlig avdekke en svakhet som også finnes hos andre virksomheter.

Sammen kan de to nivåene kombinere lokalt klinisk ansvar med bredere sikkerhetsinformasjon.

Hvorfor dagens regulering kan komme til kort

Tradisjonelle regelverk for medisinsk utstyr ble i stor grad utviklet for produkter som kunne vurderes som forholdsvis stabile. Klinisk KI-programvare kan være annerledes: Risikoen og oppførselen kan endre seg når modeller oppdateres, datagrunnlaget skifter, arbeidsflyter utvikler seg eller angripere tar i bruk nye metoder.

Dermed oppstår et reguleringsgap. En godkjenning eller vurdering på ett tidspunkt viser ikke automatisk at et system fortsatt er trygt i alle senere situasjoner. TU Dresden-forskernes øvrige arbeid med regulering av medisinsk KI argumenterer på samme måte for at reguleringsvitenskapen må holde tritt med teknologiutviklingen.

For helsetjenestene betyr det at innføring bør ses som starten på tilsynet – ikke slutten. Oppfølgingen bør omfatte ytelse, pasientsikkerhet, cybersikkerhet, personvern og likhet, i tillegg til rutiner for å rapportere hendelser og stanse systemer når det er nødvendig.

Pasientsamtykke er også et sikkerhetstiltak

Problemene blir tydelige i bruken av KI-baserte journalassistenter og andre verktøy for klinisk dokumentasjon. Australske retningslinjer sier at pasienter skal informeres om systemets formål, bruksområde, fordeler, risikoer og hvordan sikkerhet og ytelse overvåkes. Retningslinjene slår samtidig fast at behandleren fortsatt har ansvaret for helsehjelpen og journalen som blir til med KI-støtte.

Faglige råd for allmennpraksis i Australia understreker videre at klinikere må forstå og teste en KI-journalassistent, innhente samtykke før hver bruk, beskytte lagrede data og sørge for at journalen er korrekt.

Nyere medieomtale har beskrevet store forskjeller i hvordan australske legekontorer innhenter samtykke. I noen tilfeller skal et skilt på venterommet ha blitt ansett som tilstrekkelig. Australias tilsynsmyndighet for helsepersonell har også understreket at klinikere må kontrollere KI-genererte svar for å sikre at de er korrekte.

Dette viser hvorfor samtykke ikke kan behandles som en formalitet. Pasientene trenger reell informasjon, klinikerne må ha nok teknisk forståelse til å bruke systemene forsvarlig, og ansvaret må fortsatt ligge hos helsepersonellet.

Det tilgjengelige materialet viser ikke hvor utbredt utilstrekkelig samtykke eller manglende forståelse er i Australia. Det støtter likevel gjennomgangens bredere poeng: Åpenhet, menneskelig kontroll og organisatorisk ansvar er operative sikkerhetstiltak – ikke administrasjon som kan legges til etter lansering.

Det viktigste for helsetjenestene

Gjennomgangen bør først og fremst leses som en standard for innføring, ikke som en avvisning av klinisk KI. Store språkmodeller kan støtte verdifulle arbeidsprosesser, men trygg bruk krever at de behandles som systemer der teknologi, mennesker og organisasjoner virker sammen – ikke som vanlig programvare.

Før og etter innføring må ledelsen være forberedt på å evaluere modellen, sikre infrastrukturen rundt den, lære opp brukerne, forklare pasientene når KI er involvert, følge med på hvordan systemet fungerer i den virkelige hverdagen og avklare hvem som kan gripe inn når det svikter.

Uten slike kontrollmekanismer kan innføringen av klinisk KI fortsette å ligge foran tilsynet som skal gjøre teknologien tillitvekkende og trygg.

Risikoen finnes i hele KI-livsløpet

Gjennomgangen deler risikoen ved klinisk KI inn i flere stadier og nivåer:

• Utvikling og treningsdata: Manipulerte eller forgiftede data kan endre hvordan systemet oppfører seg før det tas i bruk i klinikken.
• Innføring og grensesnitt: En prompt-injeksjon kan føre ondsinnede instrukser inn i arbeidsflyten. Forskerne bruker muligheten for at en modell overser en synlig svulst, som et eksempel på hvordan et angrep i grensesnittet kan påvirke den kliniske tolkningen. Sårbar sykehusinfrastruktur kan også avbryte behandlingen eller føre til at pasientopplysninger kommer på avveie.
• Modellens svar: Store språkmodeller kan lage overbevisende, men feilaktig medisinsk informasjon – ofte omtalt som «hallusinasjoner». De kan også i for stor grad bekrefte brukerens utgangspunkt og dermed forsterke en feilaktig antakelse.
• Samspillet mellom mennesker og KI: Overbevisende svar kan føre til automatiseringsskjevhet, der helsepersonell legger for stor vekt på systemets vurdering, og bekreftelsesskjevhet, der verktøyet brukes til å støtte en konklusjon brukeren allerede har trukket.
• Organisasjonens bruk: Klinikere kan ta i bruk offentlige eller ikke-godkjente verktøy uten formell tillatelse. Slik «skyggebruk» kan omgå personvernstiltak, lokal evaluering, ansvarsplassering og rapportering av hendelser.

Dette helhetsperspektivet er viktig fordi et system kan fungere godt i en kontrollert test og likevel være utrygt i praksis. Cybersikkerhet, menneskelig adferd, klinisk kontekst og organisasjonens kontrollrutiner kan alle påvirke resultatet.

Hva kreves for en ansvarlig innføring?

Gjennomgangen etterlyser sikkerhetstiltak som fortsetter etter at systemet er satt i drift. Det innebærer sikker utvikling, god styring av treningsdata, lokal testing i den kliniske sammenhengen der verktøyet skal brukes, tydelig fordeling av menneskelig ansvar og løpende overvåking av ytelse og hendelser.

For sykehus og andre helsetjenester er det derfor ikke nok å vite om et verktøy produserer tekst som virker plausibel. De må også avklare:

• hvem som har lov til å bruke verktøyet, og til hvilke oppgaver;
• hvilke data systemet får tilgang til, og hvor opplysningene behandles;
• hvordan helsepersonell skal kontrollere svarene;
• hvem som har ansvaret dersom en KI-støttet journal eller anbefaling blir feil; og
• hvordan virksomheten kan undersøke en hendelse, sette systemet på pause eller trekke det tilbake når nye risikoer oppstår.

To nivåer for tilsyn og styring

For å gjøre ansvaret tydeligere foreslår forfatterne en modell med to utfyllende nivåer.

Lokale KI-styringsteam

Helseorganisasjoner bør ha egne team som godkjenner KI-verktøy, evaluerer dem lokalt, fordeler ansvar og følger med på hvordan de fungerer i praksis. Da kan vurderingene knyttes til organisasjonens pasienter, arbeidsprosesser, tekniske infrastruktur og faglige forpliktelser.

Sentrale sikkerhetssentre for KI

Forskerne anbefaler også sentraliserte AI Security Operations Centers, eller SOC-er. Slike sikkerhetssentre kan oppdage hendelser på tvers av organisasjoner, dele informasjon om trusler og samordne tiltak. Et angrep eller en feil i ett klinisk KI-system kan nemlig avdekke en svakhet som også finnes hos andre virksomheter.

Sammen kan de to nivåene kombinere lokalt klinisk ansvar med bredere sikkerhetsinformasjon.

Hvorfor dagens regulering kan komme til kort

Tradisjonelle regelverk for medisinsk utstyr ble i stor grad utviklet for produkter som kunne vurderes som forholdsvis stabile. Klinisk KI-programvare kan være annerledes: Risikoen og oppførselen kan endre seg når modeller oppdateres, datagrunnlaget skifter, arbeidsflyter utvikler seg eller angripere tar i bruk nye metoder.

Dermed oppstår et reguleringsgap. En godkjenning eller vurdering på ett tidspunkt viser ikke automatisk at et system fortsatt er trygt i alle senere situasjoner. TU Dresden-forskernes øvrige arbeid med regulering av medisinsk KI argumenterer på samme måte for at reguleringsvitenskapen må holde tritt med teknologiutviklingen.

For helsetjenestene betyr det at innføring bør ses som starten på tilsynet – ikke slutten. Oppfølgingen bør omfatte ytelse, pasientsikkerhet, cybersikkerhet, personvern og likhet, i tillegg til rutiner for å rapportere hendelser og stanse systemer når det er nødvendig.

Pasientsamtykke er også et sikkerhetstiltak

Problemene blir tydelige i bruken av KI-baserte journalassistenter og andre verktøy for klinisk dokumentasjon. Australske retningslinjer sier at pasienter skal informeres om systemets formål, bruksområde, fordeler, risikoer og hvordan sikkerhet og ytelse overvåkes. Retningslinjene slår samtidig fast at behandleren fortsatt har ansvaret for helsehjelpen og journalen som blir til med KI-støtte.

Faglige råd for allmennpraksis i Australia understreker videre at klinikere må forstå og teste en KI-journalassistent, innhente samtykke før hver bruk, beskytte lagrede data og sørge for at journalen er korrekt.

Nyere medieomtale har beskrevet store forskjeller i hvordan australske legekontorer innhenter samtykke. I noen tilfeller skal et skilt på venterommet ha blitt ansett som tilstrekkelig. Australias tilsynsmyndighet for helsepersonell har også understreket at klinikere må kontrollere KI-genererte svar for å sikre at de er korrekte.

Dette viser hvorfor samtykke ikke kan behandles som en formalitet. Pasientene trenger reell informasjon, klinikerne må ha nok teknisk forståelse til å bruke systemene forsvarlig, og ansvaret må fortsatt ligge hos helsepersonellet.

Det tilgjengelige materialet viser ikke hvor utbredt utilstrekkelig samtykke eller manglende forståelse er i Australia. Det støtter likevel gjennomgangens bredere poeng: Åpenhet, menneskelig kontroll og organisatorisk ansvar er operative sikkerhetstiltak – ikke administrasjon som kan legges til etter lansering.

Det viktigste for helsetjenestene

Gjennomgangen bør først og fremst leses som en standard for innføring, ikke som en avvisning av klinisk KI. Store språkmodeller kan støtte verdifulle arbeidsprosesser, men trygg bruk krever at de behandles som systemer der teknologi, mennesker og organisasjoner virker sammen – ikke som vanlig programvare.

Før og etter innføring må ledelsen være forberedt på å evaluere modellen, sikre infrastrukturen rundt den, lære opp brukerne, forklare pasientene når KI er involvert, følge med på hvordan systemet fungerer i den virkelige hverdagen og avklare hvem som kan gripe inn når det svikter.

Uten slike kontrollmekanismer kan innføringen av klinisk KI fortsette å ligge foran tilsynet som skal gjøre teknologien tillitvekkende og trygg.