Satu pemeriksaan CT perut bisa memuat banyak petunjuk klinis. DAMO RADAR mencoba menilainya dengan satu model, bukan menjalankan detektor terpisah untuk setiap penyakit. Model vision-language dari DAMO Academy, unit riset Alibaba, dirancang membaca CT perut dengan kontras untuk menandai 146 temuan klinis di 18 organ atau struktur anatomi, termasuk kelainan yang berkaitan dengan kanker. Risetnya dilaporkan terbit di Science; pengembangannya melibatkan mitra klinis.
3
4
12
Bagaimana model belajar membaca banyak temuan?
Menurut laporan yang tersedia, pelatihannya menghubungkan citra CT dengan laporan klinis yang menyertainya. Dengan begitu, model dapat mempelajari hubungan antara gambaran pada pemindaian dan deskripsi dokter, tanpa harus membuat satu set label penyakit yang digambar manual untuk tiap kondisi. Namun, bahan yang tersedia belum cukup untuk memastikan rincian penerapan metode tersebut atau menyimpulkan bahwa model dapat mengenali kondisi baru apa pun secara andal.
5
16
Apa yang ditunjukkan pengujian?
Pada hampir 40.000 pemeriksaan di dunia nyata, rerata area under the ROC curve (AUC) yang dilaporkan adalah 0,913 untuk 146 temuan. AUC mengukur kemampuan membedakan kasus positif dari negatif pada berbagai ambang keputusan. Jadi, 0,913 bukan tingkat akurasi diagnosis 91,3% untuk setiap pasien atau setiap temuan.
14
15
Dalam perbandingan yang melibatkan 26 radiolog, DAMO RADAR dilaporkan mengungguli 23 orang pada ukuran yang digunakan studi tersebut. Ketika dokter dibantu model, laporan menyebut temuan yang terlewat berkurang sekitar 10%, sedangkan waktu membaca turun sekitar 30%. Hasil yang tersedia tidak menjelaskan secara pasti angka sensitivitas dokter sebelum dan sesudah bantuan AI, maupun apakah penurunan 10% itu bersifat relatif atau berarti 10 poin persentase.
1
6
Bagaimana jika pemindaian berasal dari rumah sakit atau populasi yang berbeda? Bukti yang tersedia di sini belum memadai untuk memberikan angka kinerja di luar distribusi data pengujian atau memastikan seberapa baik hasilnya berlaku pada kelompok tersebut.
DAMO Academy telah mengumumkan rilis sumber terbuka, dan laporan menyebut bobot model tersedia. Potensi perannya adalah sebagai pembaca kedua atau alat bantu penyaringan bagi radiolog—bukan pengganti penilaian dokter ataupun validasi klinis sebelum dipakai dalam praktik.
3
4
7