Risiko wujud pada setiap peringkat kitar hayat

Ulasan itu mengelaskan risiko AI klinikal merentasi beberapa peringkat dan lapisan:

• Reka bentuk dan data latihan: Data yang dimanipulasi atau “diracuni” boleh mengubah tingkah laku sistem sebelum ia digunakan dalam persekitaran klinikal.
• Pelaksanaan dan antara muka: Suntikan arahan (prompt injection) boleh memasukkan arahan berniat jahat ke dalam aliran kerja. Ulasan itu menggunakan kemungkinan model terlepas pandang tumor yang jelas kelihatan sebagai gambaran bagaimana serangan pada antara muka boleh menjejaskan tafsiran klinikal. Infrastruktur IT hospital yang terdedah juga boleh mengganggu rawatan atau mendedahkan maklumat pesakit.
• Tingkah laku model: Model bahasa besar boleh menghasilkan maklumat perubatan yang kedengaran meyakinkan tetapi sebenarnya palsu, yang sering disebut sebagai halusinasi. Model juga mungkin terlalu mengikut andaian pengguna dan mengukuhkan premis yang salah, bukannya mencabarnya.
• Interaksi manusia–AI: Jawapan yang meyakinkan boleh mendorong bias automasi, iaitu klinisian terlalu mudah menyerahkan pertimbangan kepada sistem, serta bias pengesahan, apabila AI digunakan untuk menyokong kesimpulan yang telah sedia dipercayai.
• Penggunaan institusi: Klinisian mungkin menggunakan sistem awam atau alat yang belum diluluskan tanpa kebenaran rasmi. “Penggunaan bayangan” ini boleh memintas perlindungan privasi, penilaian tempatan, mekanisme akauntabiliti dan pelaporan insiden.

Pendekatan berasaskan kitar hayat penting kerana sistem yang berprestasi baik dalam ujian terkawal masih boleh menjadi tidak selamat dalam amalan sebenar. Keselamatan siber, tingkah laku manusia, konteks klinikal dan kawalan organisasi semuanya boleh mengubah hasilnya.

Apakah yang diperlukan untuk penggunaan bertanggungjawab?

Ulasan itu menggesa supaya langkah keselamatan kekal aktif selepas sesuatu sistem digunakan. Ini termasuk pembangunan yang selamat, tadbir urus data latihan yang teliti, ujian tempatan dalam konteks klinikal sebenar, pembahagian tanggungjawab manusia yang jelas dan pemantauan berterusan terhadap prestasi serta insiden.

Bagi hospital dan sistem penjagaan kesihatan, soalan penting bukan sekadar sama ada alat itu boleh menghasilkan teks yang munasabah. Mereka juga perlu menetapkan:

• siapa yang dibenarkan menggunakannya dan untuk tugasan apa;
• data yang boleh dicapai oleh sistem serta lokasi data itu dihantar atau disimpan;
• cara klinisian perlu mengesahkan output AI;
• pihak yang bertanggungjawab jika rekod atau cadangan yang dibantu AI ternyata salah; dan
• cara organisasi menyiasat insiden, menghentikan sementara atau menarik balik sistem apabila risiko baharu muncul.

Model pengawasan dua peringkat

Bagi memperkukuh akauntabiliti, penulis mencadangkan dua lapisan pengawasan yang saling melengkapi.

Pasukan tadbir urus AI di institusi

Organisasi penjagaan kesihatan perlu mempunyai pasukan khusus untuk meluluskan alat AI, menilainya dalam konteks tempatan, menetapkan tanggungjawab dan mengawasi operasi sistem. Dengan cara ini, keputusan kekal berkait rapat dengan pesakit, aliran kerja, infrastruktur dan kewajipan profesional organisasi berkenaan.

Pusat Operasi Keselamatan AI berpusat

Ulasan itu turut mengesyorkan Pusat Operasi Keselamatan AI berpusat, atau AI Security Operations Centers (SOCs). Pusat ini boleh mengesan insiden merentasi organisasi, berkongsi petunjuk ancaman dan menyelaraskan tindak balas.

Cadangan itu berasaskan hakikat bahawa serangan atau kegagalan pada satu sistem AI klinikal mungkin mendedahkan kelemahan lebih luas yang turut menjejaskan institusi lain. Gabungan kedua-dua lapisan ini menyatukan akauntabiliti klinikal setempat dengan risikan keselamatan yang lebih luas.

Mengapa peraturan sedia ada mungkin ketinggalan?

Kerangka peraturan peranti perubatan tradisional banyak dibangunkan untuk produk yang dianggap agak stabil. Perisian AI klinikal pula boleh berubah apabila model dikemas kini, taburan data berubah, aliran kerja berkembang atau penyerang menggunakan teknik baharu.

Ini mewujudkan jurang peraturan. Penilaian atau kelulusan pada satu-satu masa tidak secara automatik membuktikan bahawa sistem yang terus berubah itu kekal selamat dalam semua konteks pada masa hadapan. Penyelidikan TU Dresden yang lebih luas mengenai peraturan AI perubatan turut berhujah bahawa sains peraturan perlu bergerak seiring dengan perkembangan teknologi yang pantas.

Maka, pelaksanaan sepatutnya dianggap sebagai permulaan pengawasan, bukan penamatnya. Pemeriksaan berterusan perlu merangkumi prestasi, keselamatan, keselamatan siber, privasi dan kesaksamaan, selain proses untuk melaporkan insiden serta menggantung sistem apabila perlu.

Persetujuan pesakit ialah sebahagian daripada keselamatan teknikal

Kebimbangan ini turut dapat dilihat dalam penggunaan AI scribe—alat AI yang membantu merekod dan menyediakan dokumentasi perundingan klinikal. Panduan klinikal Australia menyatakan bahawa pesakit perlu dimaklumkan tentang tujuan, skop, manfaat, risiko dan kaedah pemantauan keselamatan atau prestasi sistem AI. Panduan itu juga menegaskan bahawa klinisian kekal bertanggungjawab terhadap rawatan dan rekod yang dihasilkan dengan bantuan AI.

Panduan profesional untuk amalan perubatan am di Australia pula menekankan bahawa klinisian perlu memahami dan menguji AI scribe, mendapatkan persetujuan sebelum setiap penggunaan, melindungi data yang disimpan serta memastikan rekod klinikal tepat.

Laporan terkini menunjukkan terdapat perbezaan besar dalam cara amalan perubatan Australia mendapatkan persetujuan, termasuk keadaan apabila notis di ruang menunggu dianggap sudah memadai. Pengawal selia perubatan Australia turut menegaskan bahawa klinisian mesti menyemak ketepatan setiap output yang dijana AI.

Bukti yang tersedia belum menentukan sejauh mana amalan persetujuan yang tidak mencukupi atau kefahaman teknikal yang lemah berlaku di seluruh Australia. Namun, isu ini menguatkan hujah ulasan tersebut bahawa ketelusan, pengawasan manusia dan akauntabiliti organisasi ialah kawalan keselamatan operasi—bukan sekadar urusan pentadbiran selepas sistem dilancarkan.

Kesimpulan untuk organisasi kesihatan

Mesej ulasan ini lebih tepat difahami sebagai piawaian pelaksanaan, bukannya penolakan terhadap AI klinikal. Model bahasa besar berpotensi menyokong aliran kerja yang bernilai, tetapi penggunaannya yang selamat memerlukan organisasi menganggap AI sebagai sistem sosio-teknikal yang sentiasa berubah, bukan sekadar perisian biasa.

Sebelum dan selepas pelaksanaan, pemimpin penjagaan kesihatan perlu bersedia menilai model, mengukuhkan infrastruktur, melatih pengguna, menerangkan penglibatan AI kepada pesakit, memantau prestasi dalam keadaan sebenar dan menetapkan pihak yang boleh campur tangan apabila sistem gagal.

Selagi kawalan ini belum tersedia, penggunaan AI klinikal berisiko terus berkembang lebih pantas daripada pengawasan yang diperlukan untuk menjadikannya benar-benar boleh dipercayai.

Risiko wujud pada setiap peringkat kitar hayat

Ulasan itu mengelaskan risiko AI klinikal merentasi beberapa peringkat dan lapisan:

• Reka bentuk dan data latihan: Data yang dimanipulasi atau “diracuni” boleh mengubah tingkah laku sistem sebelum ia digunakan dalam persekitaran klinikal.
• Pelaksanaan dan antara muka: Suntikan arahan (prompt injection) boleh memasukkan arahan berniat jahat ke dalam aliran kerja. Ulasan itu menggunakan kemungkinan model terlepas pandang tumor yang jelas kelihatan sebagai gambaran bagaimana serangan pada antara muka boleh menjejaskan tafsiran klinikal. Infrastruktur IT hospital yang terdedah juga boleh mengganggu rawatan atau mendedahkan maklumat pesakit.
• Tingkah laku model: Model bahasa besar boleh menghasilkan maklumat perubatan yang kedengaran meyakinkan tetapi sebenarnya palsu, yang sering disebut sebagai halusinasi. Model juga mungkin terlalu mengikut andaian pengguna dan mengukuhkan premis yang salah, bukannya mencabarnya.
• Interaksi manusia–AI: Jawapan yang meyakinkan boleh mendorong bias automasi, iaitu klinisian terlalu mudah menyerahkan pertimbangan kepada sistem, serta bias pengesahan, apabila AI digunakan untuk menyokong kesimpulan yang telah sedia dipercayai.
• Penggunaan institusi: Klinisian mungkin menggunakan sistem awam atau alat yang belum diluluskan tanpa kebenaran rasmi. “Penggunaan bayangan” ini boleh memintas perlindungan privasi, penilaian tempatan, mekanisme akauntabiliti dan pelaporan insiden.

Pendekatan berasaskan kitar hayat penting kerana sistem yang berprestasi baik dalam ujian terkawal masih boleh menjadi tidak selamat dalam amalan sebenar. Keselamatan siber, tingkah laku manusia, konteks klinikal dan kawalan organisasi semuanya boleh mengubah hasilnya.

Apakah yang diperlukan untuk penggunaan bertanggungjawab?

Ulasan itu menggesa supaya langkah keselamatan kekal aktif selepas sesuatu sistem digunakan. Ini termasuk pembangunan yang selamat, tadbir urus data latihan yang teliti, ujian tempatan dalam konteks klinikal sebenar, pembahagian tanggungjawab manusia yang jelas dan pemantauan berterusan terhadap prestasi serta insiden.

Bagi hospital dan sistem penjagaan kesihatan, soalan penting bukan sekadar sama ada alat itu boleh menghasilkan teks yang munasabah. Mereka juga perlu menetapkan:

• siapa yang dibenarkan menggunakannya dan untuk tugasan apa;
• data yang boleh dicapai oleh sistem serta lokasi data itu dihantar atau disimpan;
• cara klinisian perlu mengesahkan output AI;
• pihak yang bertanggungjawab jika rekod atau cadangan yang dibantu AI ternyata salah; dan
• cara organisasi menyiasat insiden, menghentikan sementara atau menarik balik sistem apabila risiko baharu muncul.

Model pengawasan dua peringkat

Bagi memperkukuh akauntabiliti, penulis mencadangkan dua lapisan pengawasan yang saling melengkapi.

Pasukan tadbir urus AI di institusi

Organisasi penjagaan kesihatan perlu mempunyai pasukan khusus untuk meluluskan alat AI, menilainya dalam konteks tempatan, menetapkan tanggungjawab dan mengawasi operasi sistem. Dengan cara ini, keputusan kekal berkait rapat dengan pesakit, aliran kerja, infrastruktur dan kewajipan profesional organisasi berkenaan.

Pusat Operasi Keselamatan AI berpusat

Ulasan itu turut mengesyorkan Pusat Operasi Keselamatan AI berpusat, atau AI Security Operations Centers (SOCs). Pusat ini boleh mengesan insiden merentasi organisasi, berkongsi petunjuk ancaman dan menyelaraskan tindak balas.

Cadangan itu berasaskan hakikat bahawa serangan atau kegagalan pada satu sistem AI klinikal mungkin mendedahkan kelemahan lebih luas yang turut menjejaskan institusi lain. Gabungan kedua-dua lapisan ini menyatukan akauntabiliti klinikal setempat dengan risikan keselamatan yang lebih luas.

Mengapa peraturan sedia ada mungkin ketinggalan?

Kerangka peraturan peranti perubatan tradisional banyak dibangunkan untuk produk yang dianggap agak stabil. Perisian AI klinikal pula boleh berubah apabila model dikemas kini, taburan data berubah, aliran kerja berkembang atau penyerang menggunakan teknik baharu.

Ini mewujudkan jurang peraturan. Penilaian atau kelulusan pada satu-satu masa tidak secara automatik membuktikan bahawa sistem yang terus berubah itu kekal selamat dalam semua konteks pada masa hadapan. Penyelidikan TU Dresden yang lebih luas mengenai peraturan AI perubatan turut berhujah bahawa sains peraturan perlu bergerak seiring dengan perkembangan teknologi yang pantas.

Maka, pelaksanaan sepatutnya dianggap sebagai permulaan pengawasan, bukan penamatnya. Pemeriksaan berterusan perlu merangkumi prestasi, keselamatan, keselamatan siber, privasi dan kesaksamaan, selain proses untuk melaporkan insiden serta menggantung sistem apabila perlu.

Persetujuan pesakit ialah sebahagian daripada keselamatan teknikal

Kebimbangan ini turut dapat dilihat dalam penggunaan AI scribe—alat AI yang membantu merekod dan menyediakan dokumentasi perundingan klinikal. Panduan klinikal Australia menyatakan bahawa pesakit perlu dimaklumkan tentang tujuan, skop, manfaat, risiko dan kaedah pemantauan keselamatan atau prestasi sistem AI. Panduan itu juga menegaskan bahawa klinisian kekal bertanggungjawab terhadap rawatan dan rekod yang dihasilkan dengan bantuan AI.

Panduan profesional untuk amalan perubatan am di Australia pula menekankan bahawa klinisian perlu memahami dan menguji AI scribe, mendapatkan persetujuan sebelum setiap penggunaan, melindungi data yang disimpan serta memastikan rekod klinikal tepat.

Laporan terkini menunjukkan terdapat perbezaan besar dalam cara amalan perubatan Australia mendapatkan persetujuan, termasuk keadaan apabila notis di ruang menunggu dianggap sudah memadai. Pengawal selia perubatan Australia turut menegaskan bahawa klinisian mesti menyemak ketepatan setiap output yang dijana AI.

Bukti yang tersedia belum menentukan sejauh mana amalan persetujuan yang tidak mencukupi atau kefahaman teknikal yang lemah berlaku di seluruh Australia. Namun, isu ini menguatkan hujah ulasan tersebut bahawa ketelusan, pengawasan manusia dan akauntabiliti organisasi ialah kawalan keselamatan operasi—bukan sekadar urusan pentadbiran selepas sistem dilancarkan.

Kesimpulan untuk organisasi kesihatan

Mesej ulasan ini lebih tepat difahami sebagai piawaian pelaksanaan, bukannya penolakan terhadap AI klinikal. Model bahasa besar berpotensi menyokong aliran kerja yang bernilai, tetapi penggunaannya yang selamat memerlukan organisasi menganggap AI sebagai sistem sosio-teknikal yang sentiasa berubah, bukan sekadar perisian biasa.

Sebelum dan selepas pelaksanaan, pemimpin penjagaan kesihatan perlu bersedia menilai model, mengukuhkan infrastruktur, melatih pengguna, menerangkan penglibatan AI kepada pesakit, memantau prestasi dalam keadaan sebenar dan menetapkan pihak yang boleh campur tangan apabila sistem gagal.

Selagi kawalan ini belum tersedia, penggunaan AI klinikal berisiko terus berkembang lebih pantas daripada pengawasan yang diperlukan untuk menjadikannya benar-benar boleh dipercayai.