Клинический ИИ опережает надзор за безопасностью: к чему призывает обзор TU Dresden

Именно поэтому хорошая работа модели в контролируемом тесте ещё не означает её безопасность в повседневной клинической практике. Итог зависит также от киберзащиты, поведения персонала, конкретного медицинского контекста и внутренних правил организации.

Что необходимо для ответственного внедрения

Авторы призывают сделать меры безопасности постоянными, а не ограничивать их этапом разработки. Речь идёт о защищённом создании системы, контроле качества обучающих данных, локальном тестировании в тех условиях, где инструмент будет применяться, чётком распределении обязанностей между человеком и ИИ и непрерывном мониторинге результатов и инцидентов.

На практике медицинской организации недостаточно знать, что сервис способен создавать правдоподобный текст. Необходимо заранее определить:

• кто имеет право пользоваться системой и для каких задач;
• к каким данным она получает доступ и куда эти данные передаются;
• каким образом врач должен проверять ответы ИИ;
• кто несёт ответственность, если созданная с помощью ИИ запись или рекомендация окажется ошибочной;
• как расследовать инцидент, временно остановить работу инструмента или полностью вывести его из эксплуатации.

Двухуровневая система надзора

Для поддержания такой ответственности исследователи предлагают два взаимодополняющих уровня контроля.

Команды по управлению ИИ в медицинских организациях

В больницах и других медицинских учреждениях должны работать специализированные команды, которые утверждают ИИ-инструменты, оценивают их в конкретной организации, распределяют ответственность и контролируют использование. Такой подход учитывает особенности пациентов, рабочих процессов, инфраструктуры и профессиональных обязанностей каждой организации.

Централизованные центры операций по безопасности ИИ

Второй уровень — централизованные AI Security Operations Centers, или центры операций по безопасности ИИ. Они могли бы выявлять инциденты в разных организациях, обмениваться сведениями об угрозах и координировать реагирование. Атака или сбой в одной клинической системе может указывать на уязвимость, которая затрагивает и другие учреждения.

Вместе эти уровни соединяют локальную клиническую ответственность с более широкой информацией о киберугрозах.

Почему традиционного регулирования медицинских изделий может быть недостаточно

Многие действующие подходы к регулированию медицинских изделий создавались для продуктов, которые можно оценить как относительно стабильные. Клиническое программное обеспечение на основе ИИ устроено иначе: его поведение и профиль риска могут измениться после обновления модели, при изменении структуры данных и рабочих процессов или после появления новых методов атаки.

Так возникает регуляторный разрыв. Оценка или разрешение, полученные в определённый момент, не гарантируют, что постоянно меняющаяся система останется безопасной во всех последующих условиях. В другой работе исследователи TU Dresden также отмечают, что регуляторная наука должна успевать за быстрым развитием медицинских технологий и искусственного интеллекта.

Для медицинских организаций это означает, что выдача разрешения на запуск — лишь начало надзора, а не его финал. После внедрения нужно регулярно проверять эффективность, безопасность, киберзащиту, конфиденциальность и равенство доступа, а также иметь процедуры для сообщения об инцидентах и приостановки работы системы.

Почему согласие пациента — это часть технической безопасности

Проблемы, описанные в обзоре, особенно заметны при использовании ИИ-сервисов для автоматической записи консультаций и подготовки медицинской документации. Австралийские клинические рекомендации указывают, что пациентам следует объяснять цель и масштаб применения ИИ, его преимущества и риски, а также порядок контроля безопасности и эффективности. При этом ответственность за лечение и созданные с помощью ИИ медицинские записи остаётся у врача.

Профессиональные рекомендации для врачей общей практики в Австралии дополнительно подчёркивают: специалист должен понимать принцип работы ИИ-сервиса и предварительно его проверить, получать согласие перед каждым использованием, защищать сохранённые данные и удостоверяться в точности медицинской записи.

Недавние публикации описывают значительные различия в том, как австралийские клиники получают такое согласие. В некоторых случаях достаточным считался только информационный плакат в зоне ожидания. Медицинский регулятор Австралии также напомнил, что врач обязан проверять все результаты, созданные ИИ, на точность.

Эти случаи показывают, почему согласие пациента нельзя превращать в формальную галочку. Пациент должен получить понятную информацию, врач — обладать достаточными знаниями о возможностях и ограничениях технологии, а ответственность за итог должна оставаться у медицинского специалиста.

Доступные данные не позволяют определить, насколько широко в Австралии распространены недостаточное информирование пациентов или непонимание технологии врачами. Но они подтверждают более общий вывод обзора: прозрачность, человеческий контроль и ответственность организации — это действующие механизмы безопасности, а не административные формальности, которые можно добавить после запуска.

Практический вывод для медицинских организаций

Послание обзора — не отказ от клинического ИИ, а стандарт его внедрения. Большие языковые модели действительно могут улучшить отдельные процессы, но медицинским учреждениям следует относиться к ним как к меняющимся социотехническим системам, а не как к обычным программным продуктам.

До и после запуска руководству необходимо оценивать модель, защищать связанную с ней инфраструктуру, обучать пользователей, объяснять пациентам участие ИИ, отслеживать работу инструмента в реальных условиях и заранее определять, кто вправе вмешаться при сбое. Пока такие меры не выстроены, внедрение ИИ в клиническую практику будет и дальше опережать надзор, необходимый для того, чтобы технология заслуживала доверия.