Klinisk AI utvecklas snabbare än säkerhetstillsynen

Perspektivet på hela livscykeln är centralt. Ett system kan prestera väl i ett kontrollerat test men ändå vara olämpligt i praktiken, eftersom säkerhet, mänskligt beteende, klinisk kontext och organisatoriska rutiner påverkar resultatet.

Vad krävs för ett ansvarsfullt införande?

Forskarna efterlyser säkerhetsåtgärder som fortsätter efter att ett system tagits i bruk. Det handlar bland annat om säker utveckling, noggrann styrning av träningsdata, lokal testning i den avsedda vårdmiljön, tydlig ansvarsfördelning och kontinuerlig uppföljning av resultat och incidenter.

I praktiken behöver sjukhus och andra vårdgivare veta mer än om ett verktyg kan producera text som verkar rimlig. De behöver också fastställa:

• vem som får använda systemet och för vilka uppgifter;
• vilka data systemet får tillgång till och vart uppgifterna skickas;
• hur vårdpersonal ska kontrollera systemets svar;
• vem som bär ansvaret om en AI-assisterad journalanteckning eller rekommendation blir fel; och
• hur organisationen kan utreda, pausa eller dra tillbaka verktyget när nya risker upptäcks.

Två nivåer av AI-översyn

För att skapa en tydligare ansvarskedja föreslår författarna två kompletterande nivåer av styrning.

Lokala team för AI-styrning

Vårdgivare bör ha särskilda team som godkänner AI-verktyg, utvärderar dem i den lokala verksamheten, definierar ansvar och följer hur systemen används. På så sätt knyts besluten till den egna organisationens patienter, arbetsflöden, tekniska infrastruktur och professionella skyldigheter.

Centrala säkerhetscenter för AI

Översikten rekommenderar också centraliserade AI Security Operations Centers, eller AI-säkerhetscenter. De ska kunna upptäcka incidenter mellan olika organisationer, dela information om hot och samordna insatser. Ett angrepp eller en störning i ett kliniskt AI-system kan nämligen avslöja en bredare sårbarhet som även finns hos andra vårdgivare.

De två nivåerna kombinerar därmed lokalt kliniskt ansvar med en bredare bild av säkerhetshot.

Varför regleringen riskerar att halka efter

Traditionella regelverk för medicintekniska produkter har i stor utsträckning utvecklats för produkter som kan bedömas som relativt stabila. Programvara med klinisk AI fungerar inte alltid så. Systemets beteende och riskprofil kan förändras när modeller uppdateras, datamönster skiftar, arbetsflöden utvecklas eller angripare använder nya metoder.

Det skapar ett regleringsproblem. Ett godkännande eller en bedömning vid en viss tidpunkt visar inte automatiskt att ett system förblir säkert i alla framtida situationer. TU Dresden-forskarnas bredare arbete om reglering av medicinsk AI pekar på samma behov: regleringsvetenskapen måste hålla jämna steg med tekniker som utvecklas snabbt.

För vårdorganisationer innebär det att driftsättning bör ses som början på tillsynen, inte slutpunkten. Den löpande uppföljningen bör omfatta prestanda, patientsäkerhet, cybersäkerhet, integritet och jämlikhet. Det behövs också rutiner för att rapportera incidenter och stänga av system när det är nödvändigt.

Därför är patientens samtycke en säkerhetsfråga

Frågorna blir tydliga även vid användning av AI-baserade dikterings- och journalverktyg. Australisk vägledning för kliniker säger att patienter ska informeras om ett AI-systems syfte, användningsområde, fördelar, risker samt hur säkerhet och prestanda följs upp. Vårdpersonalen har fortfarande ansvaret för vården och journalerna som skapas med AI-stöd.

Yrkesvägledning för allmänläkare i Australien betonar dessutom att kliniker ska förstå och testa ett AI-verktyg, inhämta samtycke före varje användning, skydda lagrade uppgifter och kontrollera att journalen är korrekt.

Samtida rapportering har beskrivit stora skillnader i hur australiska mottagningar inhämtar samtycke. I vissa fall har en skylt i väntrummet ansetts räcka. Australiens medicinska tillsynsmyndighet har samtidigt betonat att kliniker alltid måste kontrollera AI-genererade uppgifter så att de är korrekta.

Det illustrerar varför samtycke inte kan bli en ren formalitet. Patienten behöver begriplig information, vårdpersonalen måste ha tillräcklig teknisk förståelse för att använda systemet säkert och ansvaret måste ligga kvar hos klinikern.

Det tillgängliga underlaget visar inte hur vanligt otillräckligt samtycke eller bristande förståelse är i Australien. Däremot stöder det översiktens bredare poäng: transparens, mänsklig kontroll och organisatoriskt ansvar är praktiska säkerhetsåtgärder – inte administrativa detaljer som kan läggas till i efterhand.

Slutsatsen för vården

Översiktens budskap är bäst att förstå som en standard för införande, inte som ett avståndstagande från klinisk AI. Stora språkmodeller kan stödja värdefulla arbetsflöden, men vårdgivare måste se dem som föränderliga sociotekniska system – inte som vanlig programvara.

Före och efter driftsättning behöver vårdens ledningar kunna utvärdera modellen, säkra den omgivande infrastrukturen, utbilda användarna, informera patienter om AI-medverkan, följa systemets verkliga prestanda och tydligt ange vem som får ingripa när det går fel.

Utan sådana kontrollmekanismer riskerar införandet av klinisk AI att fortsätta gå snabbare än den tillsyn som krävs för att systemen ska bli tillförlitliga.