Klinická AI postupuje rychleji než dohled nad její bezpečností

Tento pohled na celý životní cyklus je zásadní. Systém může v kontrolovaném testu fungovat dobře, a přesto být v běžné praxi nebezpečný. Výsledek ovlivňuje kybernetická bezpečnost, chování lidí, klinický kontext i pravidla konkrétní organizace.

Co vyžaduje odpovědné nasazení

Autoři doporučují bezpečnostní opatření, která zůstanou aktivní i po spuštění systému. Patří mezi ně zabezpečený vývoj, pečlivá správa trénovacích dat, místní testování v zamýšleném klinickém prostředí, jasné rozdělení odpovědnosti mezi člověka a systém a průběžné sledování výkonu i incidentů.

Nemocnice a další poskytovatelé zdravotní péče by proto neměli zjišťovat pouze to, zda nástroj vytváří věrohodný text. Potřebují také vědět:

• kdo jej smí používat a k jakým úkolům;
• k jakým údajům má systém přístup a kam tato data odcházejí;
• jak musí zdravotníci ověřovat jeho výstupy;
• kdo nese odpovědnost, pokud je záznam nebo doporučení vytvořené s pomocí AI chybné; a
• jak lze nástroj při vzniku rizika vyšetřit, pozastavit nebo stáhnout z provozu.

Dvoustupňový model dohledu

Pro posílení odpovědnosti navrhují autoři dvě vzájemně se doplňující úrovně dohledu.

Týmy pro správu AI v jednotlivých organizacích

Zdravotnické organizace by měly mít specializované týmy, které budou nástroje schvalovat, lokálně vyhodnocovat, určovat odpovědnosti a dohlížet na jejich provoz. Rozhodování tak zůstane propojené s konkrétními pacienty, pracovními postupy, technickou infrastrukturou a profesními povinnostmi dané organizace.

Centralizovaná centra AI Security Operations

Přehled zároveň doporučuje centralizovaná centra AI Security Operations, zkráceně SOC. Ta by mohla odhalovat incidenty napříč organizacemi, sdílet informace o hrozbách a koordinovat reakce. Útok nebo selhání v jednom klinickém systému totiž může odhalit širší zranitelnost, která se týká i dalších institucí.

Obě úrovně dohromady propojují místní klinickou odpovědnost s širšími bezpečnostními informacemi.

Proč statická regulace zdravotnických prostředků nemusí stačit

Tradiční rámce pro regulaci zdravotnických prostředků vznikaly především pro produkty, které bylo možné posoudit jako relativně stabilní. Klinický software založený na AI se může chovat jinak: jeho rizikový profil se mění s aktualizacemi modelu, proměnou dat, vývojem pracovních postupů i s novými metodami útočníků.

Vzniká tak regulační mezera. Schválení nebo posouzení v jednom okamžiku automaticky neprokazuje, že proměnlivý systém zůstane bezpečný i v pozdějším a odlišném kontextu. Širší práce výzkumníků z TU Dresden v oblasti regulace medicínské AI rovněž upozorňuje, že regulační věda musí držet krok s rychlým vývojem technologií.

Pro zdravotnické organizace z toho plyne praktický závěr: nasazení nemá být koncem dohledu, ale jeho začátkem. Průběžné kontroly by měly pokrývat výkon, bezpečnost, kybernetickou ochranu, soukromí i rovné zacházení s pacienty. Součástí musí být také postupy pro hlášení incidentů a pozastavení systému, pokud se objeví závažné riziko.

Souhlas pacienta není formalita

Stejné problémy se ukazují také při používání AI nástrojů pro automatický přepis a tvorbu klinické dokumentace. Australské klinické doporučení uvádí, že pacienti mají být informováni o účelu a rozsahu používání AI, jejích přínosech a rizicích i o způsobu sledování bezpečnosti a výkonu. Za péči i za záznamy vytvořené s pomocí AI přitom nadále odpovídá zdravotník.

Profesní doporučení pro australskou všeobecnou praxi dále zdůrazňuje, že lékaři musí nástroj nejprve pochopit a otestovat, před každým použitím získat souhlas pacienta, chránit uložená data a zajistit přesnost zdravotnické dokumentace.

Nedávné zprávy popsaly značné rozdíly v tom, jak australské ordinace souhlas získávají – v některých případech měl stačit pouze nápis v čekárně. Australský regulátor zdravotnických pracovníků zároveň připomněl, že lékaři musí výstupy AI vždy kontrolovat z hlediska přesnosti.

Tyto případy ukazují, proč souhlas nemůže být jen odškrtnutou položkou ve formuláři. Pacient musí dostat srozumitelné informace, zdravotník musí technologii dostatečně rozumět a odpovědnost za péči musí zůstat na člověku. Dostupné důkazy však neukazují, jak rozšířené jsou nedostatečné postupy souhlasu nebo nedostatečné porozumění technologii v celé Austrálii.

Praktický vzkaz pro zdravotnictví

Poselství přehledu není odmítnutím klinické AI, ale spíše standardem pro její nasazování. Velké jazykové modely mohou podpořit užitečné pracovní postupy, zdravotnické organizace k nim však musí přistupovat jako k proměnlivým sociotechnickým systémům, nikoli jako k běžnému softwaru.

Vedení nemocnic a dalších poskytovatelů by mělo před spuštěním i po něm vyhodnocovat model, zabezpečit okolní infrastrukturu, školit uživatele, vysvětlovat pacientům zapojení AI, sledovat výkon v reálném provozu a přesně určit, kdo zasáhne při selhání systému. Dokud tyto mechanismy nebudou fungovat, může klinické používání AI dál předbíhat dohled potřebný k tomu, aby jí bylo možné důvěřovat.