AI Klinis Melaju Lebih Cepat daripada Pengawasan Keselamatan

Model bahasa besar atau large language models (LLM) berpotensi membantu dokumentasi klinis, merangkum pengetahuan, dan mendukung pengambilan keputusan medis. Namun, tinjauan yang dipimpin peneliti dari TU Dresden dan diterbitkan di jurnal Nature pada 19 Agustus 2026 memperingatkan bahwa penerapannya berkembang lebih cepat daripada sistem yang diperlukan untuk menjaganya tetap aman.\n\nTinjauan tersebut menggabungkan perspektif AI medis, keamanan siber, ilmu regulasi, etika, dan psikologi perilaku. Kesimpulan utamanya: keselamatan AI klinis harus dikelola sepanjang seluruh siklus hidup sistem, bukan dipersempit menjadi persoalan akurasi model semata. \n\n## Bukan berarti AI tidak punya tempat di kedokteran\n\nPara peneliti tidak menyatakan bahwa LLM sama sekali tidak layak digunakan dalam layanan kesehatan. Teknologi ini dapat membantu alur kerja klinis, tetapi hasil yang terdengar meyakinkan, performa bagus dalam uji pembanding, atau kemampuannya menghasilkan teks yang lancar tidak boleh dianggap sebagai bukti bahwa sistem tersebut aman.\n\nAI klinis bekerja di dalam alur kerja yang kompleks, terhubung dengan data sensitif, dan dapat memengaruhi keputusan tenaga kesehatan. Pengguna juga bisa keliru menilai seberapa baik sistem memahami konteks medis. Karena itu, keselamatan harus dirancang, diuji, dan dipantau terus-menerus. Pemeriksaan satu kali sebelum penerapan tidak cukup untuk menghadapi pembaruan model, perubahan data, alur kerja baru, perilaku pengguna yang berubah, atau serangan yang berkembang. \n\n## Risiko AI klinis muncul di setiap tahap\n\nTinjauan tersebut memetakan risiko pada berbagai lapisan dan tahapan penerapan AI klinis:\n\n- Desain dan data pelatihan: Data yang dimanipulasi atau diracuni (data poisoning) dapat mengubah perilaku sistem bahkan sebelum digunakan di lingkungan klinis.\n- Penerapan dan antarmuka: Prompt injection dapat menyisipkan instruksi berbahaya ke dalam alur kerja. Salah satu ilustrasi yang digunakan dalam tinjauan adalah kemungkinan model mengabaikan tumor yang terlihat jelas akibat serangan pada antarmuka, sehingga memengaruhi interpretasi klinis. Infrastruktur teknologi informasi rumah sakit yang rentan juga dapat mengganggu layanan atau membuka akses terhadap data pasien.\n- LLM dapat menghasilkan informasi medis yang terdengar meyakinkan tetapi keliru, yang sering disebut halusinasi AI. Model juga bisa terlalu mudah mengikuti asumsi pengguna dan memperkuat premis yang sebenarnya salah.\n- Jawaban yang persuasif dapat memicu , yakni kecenderungan tenaga kesehatan terlalu cepat mempercayai sistem, serta , yaitu menggunakan AI untuk menguatkan kesimpulan yang sudah diyakini sebelumnya.\n- Tenaga kesehatan dapat memakai layanan publik atau sistem yang belum disetujui tanpa otorisasi resmi. Praktik yang disebut “shadow use” ini berpotensi melewati perlindungan privasi, evaluasi lokal, mekanisme pertanggungjawaban, dan pelaporan insiden. \n\nCara pandang berbasis siklus hidup ini penting karena sistem yang tampak aman dalam pengujian terkontrol belum tentu aman ketika digunakan sehari-hari. Keamanan siber, perilaku manusia, konteks klinis, dan pengendalian organisasi dapat mengubah hasil akhirnya.\n\n## Pengawasan tidak boleh berhenti setelah sistem diluncurkan\n\nMenurut tinjauan tersebut, penerapan yang bertanggung jawab membutuhkan pengamanan yang tetap aktif setelah AI digunakan. Langkahnya mencakup pengembangan yang aman, tata kelola data pelatihan, pengujian lokal dalam konteks klinis yang dituju, pembagian tanggung jawab manusia secara jelas, serta pemantauan kinerja dan insiden secara berkelanjutan. \n\nBagi rumah sakit dan penyedia layanan kesehatan, pertanyaan pentingnya bukan hanya apakah alat tersebut mampu menghasilkan teks yang masuk akal. Mereka juga perlu menetapkan:\n\n- siapa yang boleh menggunakan sistem dan untuk tugas apa;\n- data apa yang dapat diakses AI dan ke mana data tersebut dikirim;\n- bagaimana tenaga kesehatan wajib memverifikasi hasilnya;\n- siapa yang bertanggung jawab jika catatan atau rekomendasi berbantuan AI ternyata salah; dan\n- bagaimana organisasi dapat menyelidiki, menghentikan sementara, atau menarik sistem ketika risiko baru muncul.\n\n## Model pengawasan dua tingkat\n\nUntuk memperkuat pertanggungjawaban, para penulis mengusulkan dua lapisan pengawasan yang saling melengkapi.\n\n### Tim tata kelola AI di tingkat institusi\n\nRumah sakit atau organisasi layanan kesehatan perlu memiliki tim khusus yang bertugas menyetujui alat AI, melakukan evaluasi lokal, menetapkan pembagian tanggung jawab, dan mengawasi pengoperasiannya. Dengan demikian, keputusan tetap terhubung dengan kebutuhan pasien, alur kerja, infrastruktur, dan kewajiban profesional masing-masing institusi.\n\n### AI Security Operations Center terpusat\n\nTinjauan itu juga merekomendasikan atau SOC yang dapat mendeteksi insiden lintas organisasi, berbagi sinyal ancaman, dan mengoordinasikan respons. Model ini berangkat dari kenyataan bahwa serangan atau kegagalan pada satu sistem AI klinis bisa menjadi tanda adanya kerentanan yang lebih luas di institusi lain. \n\nKedua lapisan tersebut menggabungkan pertanggungjawaban klinis di tingkat lokal dengan informasi keamanan yang lebih luas.\n\n## Mengapa regulasi perangkat medis bisa tertinggal\n\nKerangka regulasi perangkat medis tradisional pada umumnya dirancang untuk produk yang perilaku dan risikonya relatif stabil. Perangkat lunak AI klinis dapat berubah setelah diterapkan karena pembaruan model, perubahan distribusi data, evolusi alur kerja, atau munculnya teknik serangan baru.\n\nAkibatnya, muncul celah regulasi. Penilaian atau persetujuan pada satu titik waktu tidak otomatis membuktikan bahwa sistem yang terus berubah akan tetap aman dalam setiap konteks berikutnya. Penelitian lain dari TU Dresden mengenai regulasi AI medis juga menyerukan agar ilmu regulasi mampu mengikuti perkembangan teknologi yang cepat. \n\nBagi organisasi layanan kesehatan, penerapan harus dipahami sebagai awal pengawasan, bukan akhir proses validasi. Pemeriksaan berkala perlu mencakup kinerja, keselamatan, keamanan siber, privasi, dan kesetaraan, disertai mekanisme untuk melaporkan insiden serta menangguhkan sistem jika diperlukan.\n\n## Persetujuan pasien adalah bagian dari keselamatan teknis\n\nPersoalan ini terlihat jelas dalam penggunaan AI scribe—alat yang membantu merekam dan menyusun dokumentasi konsultasi medis—serta teknologi dokumentasi klinis lainnya. Panduan klinis Australia menyatakan bahwa pasien perlu diberi informasi mengenai tujuan, ruang lingkup, manfaat, risiko, serta pengaturan pemantauan keselamatan dan kinerja sistem AI. Panduan itu juga menegaskan bahwa tenaga kesehatan tetap bertanggung jawab atas perawatan dan catatan medis yang dibuat dengan bantuan AI. \n\nPanduan profesi untuk praktik umum di Australia juga menekankan bahwa dokter harus memahami dan menguji AI scribe, memperoleh persetujuan sebelum setiap penggunaan, melindungi data yang disimpan, dan memastikan catatan klinis tetap akurat. \n\nLaporan terbaru menunjukkan adanya perbedaan besar dalam cara praktik kesehatan di Australia memperoleh persetujuan. Dalam sejumlah kasus, tanda pemberitahuan di ruang tunggu dianggap sudah memadai, meski regulator medis Australia menegaskan bahwa tenaga kesehatan wajib memeriksa keakuratan seluruh keluaran AI. \n\nBukti yang tersedia belum menunjukkan seberapa luas praktik persetujuan yang tidak memadai atau kurangnya pemahaman teknis tersebut terjadi di Australia. Namun, contoh ini memperkuat argumen utama tinjauan TU Dresden: transparansi, persetujuan yang benar-benar dipahami, kompetensi pengguna, dan pertanggungjawaban institusi merupakan pengendalian keselamatan operasional—bukan sekadar urusan administrasi setelah sistem diterapkan.\n\n## Pelajaran praktis bagi organisasi kesehatan\n\nPesan tinjauan ini bukan penolakan terhadap AI klinis, melainkan standar untuk penerapannya. LLM mungkin mendukung alur kerja yang bermanfaat, tetapi organisasi harus memperlakukannya sebagai sistem sos teknis yang terus berubah, bukan sebagai perangkat lunak biasa.\n\nSebelum dan sesudah penerapan, pimpinan layanan kesehatan perlu mengevaluasi model, mengamankan infrastruktur pendukung, melatih pengguna, menjelaskan keterlibatan AI kepada pasien, memantau kinerja di lapangan, dan menetapkan pihak yang dapat melakukan intervensi ketika sistem gagal. Tanpa pengendalian tersebut, adopsi AI klinis akan terus berisiko melampaui pengawasan yang dibutuhkan agar teknologi ini benar-benar dapat dipercaya.