Клінічний ШІ випереджає нагляд за безпекою — попереджає огляд TU Dresden

Саме тому система може добре працювати в контрольованому тесті й водночас бути небезпечною в реальній практиці. Результат залежить не лише від моделі, а й від кіберзахисту, людської поведінки, клінічного контексту та організаційних правил.

Яким має бути відповідальне впровадження

Автори закликають не вимикати контроль після запуску системи. Серед необхідних заходів — безпечна розробка, належне управління навчальними даними, локальне тестування в тому клінічному середовищі, де використовуватиметься інструмент, чіткий розподіл відповідальності між людиною і системою та постійний моніторинг результатів і інцидентів.

На практиці лікарні й медичні мережі мають з’ясувати не лише те, чи генерує інструмент правдоподібний текст. Потрібно також визначити:

• хто має право ним користуватися і для яких завдань;
• до яких даних система отримує доступ і куди вони передаються;
• як медики повинні перевіряти її результати;
• хто відповідає, якщо створений за допомогою ШІ запис або рекомендація виявиться помилковою;
• як організація розслідуватиме проблему, призупинятиме роботу системи або повністю відмовлятиметься від неї після виявлення ризиків.

Запропонована дворівнева модель нагляду

Для підтримки такої відповідальності дослідники пропонують два взаємодоповнювальні рівні контролю.

Інституційні команди з управління ШІ

У медичних організаціях мають працювати спеціальні команди, які схвалюватимуть інструменти, оцінюватимуть їх на місці, визначатимуть відповідальних осіб і контролюватимуть роботу систем. Це дає змогу враховувати конкретних пацієнтів, робочі процеси, інфраструктуру та професійні обов’язки закладу.

Централізовані центри операцій із безпеки ШІ

Огляд також рекомендує створювати централізовані AI Security Operations Centers, або центри операцій із безпеки ШІ. Вони могли б виявляти інциденти в різних організаціях, обмінюватися сигналами про загрози та координувати реагування.

Такий підхід спирається на просту логіку: атака або збій в одній клінічній системі може виявити ширшу вразливість, актуальну й для інших установ.

У поєднанні ці два рівні поєднують локальну клінічну відповідальність із ширшим обміном даними про кіберзагрози.

Чому статичного регулювання медичних пристроїв може бути недостатньо

Традиційні рамки для медичних виробів значною мірою створювалися для продуктів, які можна оцінити як відносно стабільні. Програмне забезпечення на основі ШІ може поводитися інакше: його ризики змінюються після оновлення моделі, зміни розподілу даних, перебудови робочих процесів або появи нових методів атак.

У результаті виникає регуляторна прогалина. Схвалення або оцінка в один момент часу автоматично не доводить, що система залишатиметься безпечною в усіх подальших умовах. Ширша робота дослідників TU Dresden у сфері регулювання медичного ШІ також наголошує, що регуляторна наука має встигати за швидким розвитком технологій.

Для медичних організацій це означає: запуск системи слід вважати початком нагляду, а не його завершенням. Постійні перевірки мають охоплювати продуктивність, безпеку, кіберзахист, приватність і справедливість, а також передбачати процедури повідомлення про інциденти та призупинення роботи інструмента за потреби.

Чому згода пацієнта — це частина технічної безпеки

Проблеми, пов’язані з використанням ШІ-асистентів для запису консультацій та іншими інструментами медичної документації, добре ілюструють ширший ризик. Австралійські клінічні рекомендації вимагають інформувати пацієнтів про мету й межі використання ШІ, його переваги та ризики, а також про механізми моніторингу безпеки й ефективності. Водночас відповідальність за лікування та медичні записи, створені за допомогою ШІ, залишається на лікареві.

Професійні рекомендації для лікарів загальної практики в Австралії додатково наголошують: медики мають розуміти принцип роботи такого інструмента й тестувати його, отримувати згоду перед кожним використанням, захищати збережені дані та перевіряти точність медичної документації.

Нещодавні повідомлення засвідчили значні розбіжності в тому, як австралійські практики отримують згоду. Зокрема, в окремих випадках достатнім вважали лише оголошення в зоні очікування. Медичний регулятор Австралії також підкреслив, що лікарі мають перевіряти всі результати, створені ШІ, на точність.

Ці приклади показують, чому згода не може бути формальністю. Пацієнт має отримати зрозумілу інформацію, медик — достатньо технічних знань для безпечного використання інструмента, а відповідальність — залишатися за клініцистом. Наявні дані не дають змоги визначити, наскільки поширеними в Австралії є неналежне отримання згоди або недостатнє розуміння технології. Водночас вони підсилюють головний висновок огляду: прозорість, людський контроль і відповідальність організації — це практичні засоби безпеки, а не адміністративні деталі, які можна додати після запуску.

Що це означає для медичних організацій

Висновок огляду — радше стандарт для впровадження, ніж відмова від клінічного ШІ. Великі мовні моделі можуть бути корисними в роботі медиків, але їх потрібно розглядати як мінливі соціотехнічні системи, а не як звичайні програмні продукти.

До і після запуску керівники медичних закладів мають бути готові оцінювати модель, захищати пов’язану з нею інфраструктуру, навчати користувачів, пояснювати пацієнтам участь ШІ, відстежувати результати в реальних умовах і чітко визначати, хто може втрутитися, якщо система помилиться. Поки такі механізми не працюють, впровадження ШІ в медицині й надалі може випереджати нагляд, необхідний для довіри до нього.