Klinik yapay zekâda risk yalnızca doğruluk sorunu değil

İnceleme, klinik yapay zekânın kullanımındaki riskleri yaşam döngüsünün farklı aşamalarında ve katmanlarında ele alıyor:

• Tasarım ve eğitim verileri: Manipüle edilmiş veya zehirlenmiş veriler, sistem klinik ortama ulaşmadan önce davranışını değiştirebilir.
• Devreye alma ve arayüzler: İstem enjeksiyonu, iş akışına kötü amaçlı talimatlar sokabilir. İncelemede, böyle bir saldırının modelin görüntüde açıkça görülen bir tümörü gözden kaçırmasına yol açabileceği örnekleniyor. Hastanelerin savunmasız bilişim altyapısı da tedaviyi aksatabilir veya hasta bilgilerini açığa çıkarabilir.
• Model davranışı: Büyük dil modelleri, kulağa ikna edici gelen ancak tıbben yanlış bilgiler üretebilir. Ayrıca kullanıcı varsayımlarına gereğinden fazla uyum sağlayarak hatalı bir öncülü sorgulamak yerine güçlendirebilir.
• İnsan-yapay zekâ etkileşimi: İkna edici yanıtlar, klinisyenlerin sisteme gereğinden fazla güvenmesine yol açan otomasyon yanlılığını ve kişilerin zaten benimsedikleri sonucu desteklemek için yapay zekâyı kullanması anlamına gelen doğrulama yanlılığını besleyebilir.
• Kurumsal kullanım: Klinik çalışanları, resmi izin veya değerlendirme süreçleri olmadan halka açık ya da onaylanmamış araçlara başvurabilir. “Gölge kullanım” olarak adlandırılan bu durum; mahremiyet önlemlerini, yerel testleri, hesap verebilirliği ve olay bildirimini devre dışı bırakabilir.

Bu yaşam döngüsü yaklaşımı kritik önem taşıyor. Bir sistem kontrollü bir testte başarılı olsa bile gerçek klinik ortamında güvenli olmayabilir. Siber güvenlik, insan davranışı, klinik bağlam ve kurum içi kontroller nihai sonucu değiştirebilir.

Sorumlu kullanım için hangi adımlar gerekiyor?

İnceleme, güvenlik önlemlerinin sistem kullanıma açıldıktan sonra da devam etmesini istiyor. Güvenli geliştirme süreçleri, eğitim verilerinin dikkatli yönetimi, hedeflenen klinik ortamda yerel testler, insan sorumluluklarının açık biçimde belirlenmesi ve performans ile olayların sürekli izlenmesi bu yaklaşımın temel unsurları arasında yer alıyor.

Bu yaklaşım, hastanelerin bir aracın yalnızca kulağa makul gelen metinler üretip üretmediğine bakmaması gerektiği anlamına geliyor. Kurumların ayrıca şu sorulara yanıt vermesi gerekiyor:

• Sistemi kimler, hangi görevler için kullanabilir?
• Yapay zekâ hangi verilere erişebilir ve bu veriler nereye aktarılır?
• Klinik çalışanları sistemin çıktısını nasıl doğrulamalıdır?
• Yapay zekâ desteğiyle hazırlanan kayıt veya öneri hatalı olduğunda sorumluluk kimdedir?
• Yeni riskler ortaya çıktığında kurum sistemi nasıl inceleyebilir, duraklatabilir veya tamamen kullanımdan kaldırabilir?

Önerilen iki katmanlı denetim modeli

Araştırmacılar, hesap verebilirliği güçlendirmek için birbirini tamamlayan iki denetim katmanı öneriyor.

Kurumsal yapay zekâ yönetişim ekipleri

Sağlık kuruluşlarının özel yönetişim ekipleri oluşturması; bu ekiplerin yapay zekâ araçlarını onaylaması, yerel koşullarda değerlendirmesi, görev ve sorumlulukları belirlemesi ve sistemlerin kullanımını izlemesi öngörülüyor. Böylece kararlar, kurumun hastaları, iş akışları, teknik altyapısı ve mesleki yükümlülükleriyle bağlantılı kalabilir.

Merkezi Yapay Zekâ Güvenlik Operasyon Merkezleri

İnceleme ayrıca merkezi Yapay Zekâ Güvenlik Operasyon Merkezleri (AI Security Operations Centers - SOC) kurulmasını öneriyor. Bu merkezler farklı kuruluşlardaki olayları tespit edebilir, tehdit göstergelerini paylaşabilir ve müdahaleleri koordine edebilir. Bir klinik yapay zekâ sistemini etkileyen saldırı veya arıza, başka kurumlarda da bulunan daha geniş bir açığın işareti olabilir.

Bu iki katman birlikte, yerel klinik sorumluluğu daha geniş kapsamlı güvenlik istihbaratıyla birleştiriyor.

Statik tıbbi cihaz düzenlemeleri neden yetersiz kalabilir?

Geleneksel tıbbi cihaz çerçeveleri, büyük ölçüde nispeten sabit özelliklerle değerlendirilebilen ürünler için geliştirildi. Klinik yapay zekâ yazılımlarında ise model güncellemeleri, veri dağılımlarındaki değişimler, iş akışlarının dönüşmesi veya saldırganların yeni yöntemler geliştirmesiyle davranış ve risk profili değişebilir.

Bunun sonucunda bir düzenleme boşluğu ortaya çıkıyor. Belirli bir tarihte yapılan onay veya değerlendirme, sürekli değişen bir sistemin sonraki tüm bağlamlarda güvenli kalacağını otomatik olarak göstermiyor. TU Dresden araştırmacılarının tıbbi yapay zekâ düzenlemeleri üzerine daha geniş çalışmaları da düzenleme biliminin hızla gelişen teknolojilere ayak uydurması gerektiğini savunuyor.

Kurumlar açısından bunun anlamı açık: Kullanıma alma, denetimin sonu değil başlangıcı olarak görülmeli. Performans, güvenlik, siber güvenlik, mahremiyet ve eşitlik düzenli biçimde izlenmeli; olayların bildirilmesi, incelenmesi ve gerektiğinde sistemlerin askıya alınması için süreçler hazır bulunmalı.

Hasta onamı neden teknik güvenliğin bir parçası?

İncelemenin kaygıları, yapay zekâ destekli tıbbi kayıt araçlarının kullanımında da görülüyor. Avustralya’daki klinik rehberler, hastaların kullanılan yapay zekâ sisteminin amacı, kapsamı, yararları, riskleri ve güvenlik ya da performans izleme düzenlemeleri hakkında bilgilendirilmesi gerektiğini belirtiyor. Aynı rehberler, yapay zekâ desteğiyle verilen bakım ve oluşturulan kayıtlar konusunda sorumluluğun klinisyende kaldığını vurguluyor.

Avustralya’daki genel pratisyenlere yönelik mesleki rehberler de klinisyenlerin bir yapay zekâ destekli kayıt aracının nasıl çalıştığını anlamasını ve test etmesini, her kullanım öncesinde onam almasını, saklanan verileri korumasını ve klinik kaydın doğruluğunu güvence altına almasını istiyor.

Son dönemdeki haberlerde Avustralya’daki uygulamaların büyük farklılık gösterdiği; bazı kliniklerde bekleme salonundaki bir tabelanın yeterli kabul edildiği aktarıldı. Ülkenin tıp düzenleyicisi de klinisyenlerin yapay zekâ tarafından üretilen tüm çıktıları doğruluk açısından kontrol etmesi gerektiğini hatırlattı. Bu örnekler, onamın yalnızca bir form veya prosedür kutucuğuna indirgenemeyeceğini gösteriyor: Hastalar anlamlı bilgiye ulaşmalı, klinisyenler sistemi güvenli kullanacak kadar teknik bilgiye sahip olmalı ve sorumluluk klinisyende kalmalı.

Mevcut kanıtlar, Avustralya genelinde yetersiz onamın veya teknolojiye ilişkin eksik anlayışın ne kadar yaygın olduğunu ortaya koymuyor. Ancak bu örnekler, incelemenin daha geniş savını destekliyor: Şeffaflık, insan denetimi ve kurumsal hesap verebilirlik, sonradan eklenen idari ayrıntılar değil, doğrudan işleyen güvenlik kontrolleridir.

Sağlık kuruluşları için pratik sonuç

İncelemenin mesajı yapay zekâyı reddetmekten çok bir kullanım standardı ortaya koyuyor. Büyük dil modelleri klinik iş akışlarına değer katabilir; ancak güvenli benimseme için bu sistemlerin sıradan yazılım araçları değil, zaman içinde değişen sosyo-teknik yapılar olarak ele alınması gerekiyor.

Sağlık yöneticileri, sistem devreye alınmadan önce ve kullanım süresince modeli değerlendirmeye, çevresindeki altyapıyı güvence altına almaya, kullanıcıları eğitmeye, hastaları yapay zekânın rolü hakkında bilgilendirmeye, gerçek dünya performansını izlemeye ve sistem başarısız olduğunda kimin müdahale edeceğini belirlemeye hazır olmalı. Bu kontroller kurulmadan klinik yapay zekâ kullanımı, onu güvenilir kılacak denetim mekanizmalarından daha hızlı ilerlemeye devam edebilir.

Klinik yapay zekâda risk yalnızca doğruluk sorunu değil

İnceleme, klinik yapay zekânın kullanımındaki riskleri yaşam döngüsünün farklı aşamalarında ve katmanlarında ele alıyor:

• Tasarım ve eğitim verileri: Manipüle edilmiş veya zehirlenmiş veriler, sistem klinik ortama ulaşmadan önce davranışını değiştirebilir.
• Devreye alma ve arayüzler: İstem enjeksiyonu, iş akışına kötü amaçlı talimatlar sokabilir. İncelemede, böyle bir saldırının modelin görüntüde açıkça görülen bir tümörü gözden kaçırmasına yol açabileceği örnekleniyor. Hastanelerin savunmasız bilişim altyapısı da tedaviyi aksatabilir veya hasta bilgilerini açığa çıkarabilir.
• Model davranışı: Büyük dil modelleri, kulağa ikna edici gelen ancak tıbben yanlış bilgiler üretebilir. Ayrıca kullanıcı varsayımlarına gereğinden fazla uyum sağlayarak hatalı bir öncülü sorgulamak yerine güçlendirebilir.
• İnsan-yapay zekâ etkileşimi: İkna edici yanıtlar, klinisyenlerin sisteme gereğinden fazla güvenmesine yol açan otomasyon yanlılığını ve kişilerin zaten benimsedikleri sonucu desteklemek için yapay zekâyı kullanması anlamına gelen doğrulama yanlılığını besleyebilir.
• Kurumsal kullanım: Klinik çalışanları, resmi izin veya değerlendirme süreçleri olmadan halka açık ya da onaylanmamış araçlara başvurabilir. “Gölge kullanım” olarak adlandırılan bu durum; mahremiyet önlemlerini, yerel testleri, hesap verebilirliği ve olay bildirimini devre dışı bırakabilir.

Bu yaşam döngüsü yaklaşımı kritik önem taşıyor. Bir sistem kontrollü bir testte başarılı olsa bile gerçek klinik ortamında güvenli olmayabilir. Siber güvenlik, insan davranışı, klinik bağlam ve kurum içi kontroller nihai sonucu değiştirebilir.

Sorumlu kullanım için hangi adımlar gerekiyor?

İnceleme, güvenlik önlemlerinin sistem kullanıma açıldıktan sonra da devam etmesini istiyor. Güvenli geliştirme süreçleri, eğitim verilerinin dikkatli yönetimi, hedeflenen klinik ortamda yerel testler, insan sorumluluklarının açık biçimde belirlenmesi ve performans ile olayların sürekli izlenmesi bu yaklaşımın temel unsurları arasında yer alıyor.

Bu yaklaşım, hastanelerin bir aracın yalnızca kulağa makul gelen metinler üretip üretmediğine bakmaması gerektiği anlamına geliyor. Kurumların ayrıca şu sorulara yanıt vermesi gerekiyor:

• Sistemi kimler, hangi görevler için kullanabilir?
• Yapay zekâ hangi verilere erişebilir ve bu veriler nereye aktarılır?
• Klinik çalışanları sistemin çıktısını nasıl doğrulamalıdır?
• Yapay zekâ desteğiyle hazırlanan kayıt veya öneri hatalı olduğunda sorumluluk kimdedir?
• Yeni riskler ortaya çıktığında kurum sistemi nasıl inceleyebilir, duraklatabilir veya tamamen kullanımdan kaldırabilir?

Önerilen iki katmanlı denetim modeli

Araştırmacılar, hesap verebilirliği güçlendirmek için birbirini tamamlayan iki denetim katmanı öneriyor.

Kurumsal yapay zekâ yönetişim ekipleri

Sağlık kuruluşlarının özel yönetişim ekipleri oluşturması; bu ekiplerin yapay zekâ araçlarını onaylaması, yerel koşullarda değerlendirmesi, görev ve sorumlulukları belirlemesi ve sistemlerin kullanımını izlemesi öngörülüyor. Böylece kararlar, kurumun hastaları, iş akışları, teknik altyapısı ve mesleki yükümlülükleriyle bağlantılı kalabilir.

Merkezi Yapay Zekâ Güvenlik Operasyon Merkezleri

İnceleme ayrıca merkezi Yapay Zekâ Güvenlik Operasyon Merkezleri (AI Security Operations Centers - SOC) kurulmasını öneriyor. Bu merkezler farklı kuruluşlardaki olayları tespit edebilir, tehdit göstergelerini paylaşabilir ve müdahaleleri koordine edebilir. Bir klinik yapay zekâ sistemini etkileyen saldırı veya arıza, başka kurumlarda da bulunan daha geniş bir açığın işareti olabilir.

Bu iki katman birlikte, yerel klinik sorumluluğu daha geniş kapsamlı güvenlik istihbaratıyla birleştiriyor.

Statik tıbbi cihaz düzenlemeleri neden yetersiz kalabilir?

Geleneksel tıbbi cihaz çerçeveleri, büyük ölçüde nispeten sabit özelliklerle değerlendirilebilen ürünler için geliştirildi. Klinik yapay zekâ yazılımlarında ise model güncellemeleri, veri dağılımlarındaki değişimler, iş akışlarının dönüşmesi veya saldırganların yeni yöntemler geliştirmesiyle davranış ve risk profili değişebilir.

Bunun sonucunda bir düzenleme boşluğu ortaya çıkıyor. Belirli bir tarihte yapılan onay veya değerlendirme, sürekli değişen bir sistemin sonraki tüm bağlamlarda güvenli kalacağını otomatik olarak göstermiyor. TU Dresden araştırmacılarının tıbbi yapay zekâ düzenlemeleri üzerine daha geniş çalışmaları da düzenleme biliminin hızla gelişen teknolojilere ayak uydurması gerektiğini savunuyor.

Kurumlar açısından bunun anlamı açık: Kullanıma alma, denetimin sonu değil başlangıcı olarak görülmeli. Performans, güvenlik, siber güvenlik, mahremiyet ve eşitlik düzenli biçimde izlenmeli; olayların bildirilmesi, incelenmesi ve gerektiğinde sistemlerin askıya alınması için süreçler hazır bulunmalı.

Hasta onamı neden teknik güvenliğin bir parçası?

İncelemenin kaygıları, yapay zekâ destekli tıbbi kayıt araçlarının kullanımında da görülüyor. Avustralya’daki klinik rehberler, hastaların kullanılan yapay zekâ sisteminin amacı, kapsamı, yararları, riskleri ve güvenlik ya da performans izleme düzenlemeleri hakkında bilgilendirilmesi gerektiğini belirtiyor. Aynı rehberler, yapay zekâ desteğiyle verilen bakım ve oluşturulan kayıtlar konusunda sorumluluğun klinisyende kaldığını vurguluyor.

Avustralya’daki genel pratisyenlere yönelik mesleki rehberler de klinisyenlerin bir yapay zekâ destekli kayıt aracının nasıl çalıştığını anlamasını ve test etmesini, her kullanım öncesinde onam almasını, saklanan verileri korumasını ve klinik kaydın doğruluğunu güvence altına almasını istiyor.

Son dönemdeki haberlerde Avustralya’daki uygulamaların büyük farklılık gösterdiği; bazı kliniklerde bekleme salonundaki bir tabelanın yeterli kabul edildiği aktarıldı. Ülkenin tıp düzenleyicisi de klinisyenlerin yapay zekâ tarafından üretilen tüm çıktıları doğruluk açısından kontrol etmesi gerektiğini hatırlattı. Bu örnekler, onamın yalnızca bir form veya prosedür kutucuğuna indirgenemeyeceğini gösteriyor: Hastalar anlamlı bilgiye ulaşmalı, klinisyenler sistemi güvenli kullanacak kadar teknik bilgiye sahip olmalı ve sorumluluk klinisyende kalmalı.

Mevcut kanıtlar, Avustralya genelinde yetersiz onamın veya teknolojiye ilişkin eksik anlayışın ne kadar yaygın olduğunu ortaya koymuyor. Ancak bu örnekler, incelemenin daha geniş savını destekliyor: Şeffaflık, insan denetimi ve kurumsal hesap verebilirlik, sonradan eklenen idari ayrıntılar değil, doğrudan işleyen güvenlik kontrolleridir.

Sağlık kuruluşları için pratik sonuç

İncelemenin mesajı yapay zekâyı reddetmekten çok bir kullanım standardı ortaya koyuyor. Büyük dil modelleri klinik iş akışlarına değer katabilir; ancak güvenli benimseme için bu sistemlerin sıradan yazılım araçları değil, zaman içinde değişen sosyo-teknik yapılar olarak ele alınması gerekiyor.

Sağlık yöneticileri, sistem devreye alınmadan önce ve kullanım süresince modeli değerlendirmeye, çevresindeki altyapıyı güvence altına almaya, kullanıcıları eğitmeye, hastaları yapay zekânın rolü hakkında bilgilendirmeye, gerçek dünya performansını izlemeye ve sistem başarısız olduğunda kimin müdahale edeceğini belirlemeye hazır olmalı. Bu kontroller kurulmadan klinik yapay zekâ kullanımı, onu güvenilir kılacak denetim mekanizmalarından daha hızlı ilerlemeye devam edebilir.