DAMO RADAR analizuje TK jamy brzusznej. Obiecujące wyniki nie zastępują oceny radiologa

Dla radiologa ważne jest nie tylko znalezienie zmiany, której już szuka, lecz także niewysłanie pacjenta do domu z przeoczoną nieprawidłowością. DAMO RADAR, model opracowany przez ośrodek badawczy Alibaba DAMO Academy we współpracy z partnerami klinicznymi, ma wspierać właśnie taką szeroką ocenę. Wyniki prac opisano w czasopiśmie „Science”. System analizuje tomografię komputerową (TK) jamy brzusznej wykonaną z podaniem środka kontrastowego. W ocenie sprawdzono jego działanie dla 146 rodzajów zmian w 18 narządach i strukturach anatomicznych, w tym zmian nowotworowych. To zakres ocenionych wyników — nie dowód, że model równie skutecznie rozpoznaje każdą możliwą chorobę. 3412

Skąd bierze się szeroki zakres analizy?

RADAR jest modelem łączącym obraz i tekst. Według dostępnych opisów uczył się na badaniach TK zestawionych z towarzyszącymi im opisami klinicznymi. Dzięki temu może wykorzystywać informacje zapisane przez lekarzy, zamiast wymagać osobnego zbioru ręcznie oznaczonych obrazów dla każdej wykrywanej zmiany — jak w przypadku wąsko wyspecjalizowanych detektorów. Dostępne materiały nie pozwalają jednak dokładnie odtworzyć całej metody treningu ani potwierdzić, jakie nowe stany model rozpozna niezawodnie. 516

Co wykazały testy?

W analizie niemal 40 tys. badań średni wynik AUC dla 146 ocenianych zmian wyniósł 0,913. AUC określa, jak dobrze model odróżnia przypadki z daną zmianą od przypadków bez niej przy różnych progach decyzyjnych. Nie jest to informacja, że 91,3% diagnoz było poprawnych. 1415

W porównaniu z 26 radiologami RADAR osiągnął lepszy wynik niż 23 uczestników. Doniesienia o badaniu wskazują też, że korzystanie z podpowiedzi modelu wiązało się z około 10% mniejszą liczbą pominiętych zmian i około 30% krótszym czasem odczytu. Dostępne wyniki nie podają jednak jasno wyjściowej i końcowej czułości lekarzy ani nie rozstrzygają, czy różnica „10%” jest względna, czy oznacza punkty procentowe. Nie ma również wystarczających danych, by podać wiarygodny wynik skuteczności na badaniach spoza rozkładu danych użytych przy opracowaniu modelu, na przykład pochodzących z innych populacji. 16

DAMO Academy ogłosiła otwarte udostępnienie modelu; doniesienia wskazują, że dostępne są również jego wagi. Najbardziej uzasadnioną rolą RADAR jest dziś narzędzie wspierające radiologa, na przykład jako drugi odczyt pomagający wychwycić przeoczone zmiany. Wyniki testów nie czynią z niego samodzielnego diagnosty ani nie zastępują walidacji w konkretnych warunkach klinicznych. 347