En CT-scanning af maven kan rumme tegn på mange forskellige sygdomme. Hvor en AI-model ofte er bygget til at lede efter én bestemt tilstand, er DAMO RADAR tænkt som et bredere hjælpemiddel: Den gennemgår en kontrastforstærket CT-undersøgelse for 146 kliniske fund fordelt på 18 organer og anatomiske strukturer. Fundene omfatter både sygdomme og andre afvigelser, herunder tegn på kræft. Modellen er udviklet af Alibabas forskningsenhed DAMO Academy sammen med kliniske partnere, og forskningen er omtalt som publiceret i Science.
3
4
12
Hvordan lærer modellen at se bredere?
DAMO RADAR er en såkaldt vision-language-model, der lærer sammenhænge mellem CT-billeder og de kliniske beskrivelser, som allerede hører til undersøgelserne. Det kan mindske behovet for at opbygge et nyt, manuelt mærket datasæt til hver enkelt tilstand. De tilgængelige kilder beskriver dog ikke metoden detaljeret nok til at fastslå præcis, hvordan træningen er gennemført, eller hvilke hidtil ukendte tilstande modellen pålideligt kan genkende.
5
16
Hvad viste afprøvningen?
På knap 40.000 undersøgelser fra klinisk praksis opnåede modellen en gennemsnitlig AUC på 0,913 på tværs af de 146 fund. AUC måler, hvor godt en model skelner mellem positive og negative tilfælde ved forskellige grænser for, hvornår den slår alarm. Tallet betyder ikke, at 91,3 % af diagnoserne var korrekte.
14
15
I en sammenligning med 26 radiologer klarede modellen sig ifølge omtalerne bedre end 23 af dem på undersøgelsens mål. Når radiologerne fik hjælp af AI, faldt antallet af oversete fund med omkring 10 %, mens læsetiden faldt med omkring 30 %. Kilderne angiver ikke tydeligt radiologernes følsomhed før og efter hjælpen, eller om de 10 % er en relativ ændring eller et fald på 10 procentpoint.
1
6
14
Det er heller ikke muligt ud fra de tilgængelige oplysninger at sætte et sikkert tal på modellens præstation uden for de undersøgelsesforhold, den er trænet eller afprøvet under – for eksempel på scanninger fra andre hospitaler eller patientgrupper.
DAMO Academy har annonceret en åben udgivelse, og omtaler angiver, at modellens vægte er tilgængelige. Det gør den interessant at undersøge som ekstra læser eller screeningshjælp for radiologer. Resultaterne dokumenterer derimod ikke, at den kan stille diagnoser på egen hånd eller tages i klinisk brug uden yderligere validering.
3
4
6
7