DAMO RADAR baca imbasan CT abdomen untuk 146 penemuan: apa yang dibuktikan kajian?

Satu imbasan CT abdomen boleh menunjukkan pelbagai masalah, bukan hanya penyakit yang pada mulanya ingin diperiksa. Di sinilah DAMO RADAR cuba membantu: model penglihatan-bahasa daripada DAMO Academy, cabang penyelidikan Alibaba, menyaring imbasan tomografi berkomputer (CT) abdomen yang menggunakan bahan kontras untuk 146 penemuan klinikal merentas 18 organ. Penemuan itu merangkumi penyakit dan keabnormalan, termasuk tumor malignan. Penyelidikannya dilaporkan diterbitkan dalam jurnal Science; laporan turut menyebut pembangunannya bersama rakan institusi klinikal. 3412

Daripada imej dan laporan kepada saringan yang lebih luas

Daripada membina satu pengesan khusus bagi setiap penyakit, RADAR dilatih dengan imbasan CT yang dipadankan dengan laporan klinikalnya. Hubungan antara imej dan huraian doktor membolehkan model mempelajari pelbagai penemuan daripada rekod sedia ada, tanpa memerlukan set label penyakit yang dilukis secara manual dan berasingan untuk setiap keadaan. Namun, sumber yang tersedia tidak cukup terperinci untuk mengesahkan sepenuhnya cara latihan itu dilaksanakan atau penyakit baharu yang boleh dikenal pasti dengan andal di luar 146 penemuan yang dinilai. 516

Apa makna keputusan ujian?

Dalam penilaian melibatkan hampir 40,000 pemeriksaan sebenar, purata area under the ROC curve (AUC) yang dilaporkan ialah 0.913 bagi 146 penemuan. AUC mengukur keupayaan membezakan kes positif daripada kes negatif pada pelbagai ambang keputusan. Ia bukan bermaksud 91.3% daripada semua diagnosis adalah tepat. 1415

Dalam kajian perbandingan melibatkan 26 pakar radiologi, laporan menyatakan prestasi RADAR mengatasi 23 daripada 26 peserta mengikut ukuran kajian tersebut. Apabila doktor dibantu model itu, penemuan yang terlepas dilaporkan berkurang kira-kira 10%, manakala masa membaca imbasan berkurang kira-kira 30%. Angka yang tersedia tidak menjelaskan dengan cukup terang nilai sensitiviti doktor sebelum dan selepas bantuan AI, atau sama ada perubahan 10% itu perubahan relatif ataupun 10 mata peratusan. 16

Bagaimana pula dengan kes di luar data latihan? Maklumat yang tersedia tidak mencukupi untuk memberikan angka prestasi yang boleh dipercayai atau membuat kesimpulan tentang ketepatannya pada imbasan daripada hospital dan populasi yang berbeza.

DAMO Academy telah mengumumkan pelepasan sumber terbuka, dan laporan menyatakan pemberat model turut tersedia. Buat masa ini, peranan klinikal yang paling munasabah ialah sebagai pembaca kedua atau alat bantu saringan untuk pakar radiologi—bukan sistem yang membuat diagnosis sendiri, dan bukan pengganti pengesahan dalam persekitaran klinikal tempat ia hendak digunakan. 347