Как замедлить развитие ИИ, не остановив его применение

Значимое замедление развития ИИ — это не пауза для всей отрасли, а более осторожный темп разработки передовых систем. В последние дни руководители крупных ИИ-компаний публично заговорили о независимой оценке и координации. Но для реальных гарантий недостаточно добровольных обещаний: проверка должна быть независимой, её результаты — влиять на решение о выпуске, а требования — соответствовать уровню риска.

У Сингапура есть инструменты, которые могут помочь в такой работе: рекомендации по управлению агентным ИИ, средства тестирования AI Verify и программа признания сторонних ИИ-тестировщиков. Следующий шаг — связать эти инструменты с чёткими решениями, основанными на фактах и учитывающими то, как системы применяются на практике. 4

Что означают призывы замедлить ИИ — и чего они пока не гарантируют

Нынешние предложения касаются темпов развития передового ИИ — наиболее мощных систем, для которых меры безопасности и внешний контроль могут не поспевать за ростом возможностей. Среди идей, упоминаемых в публикациях, — постоянный доступ независимых экспертов к ведущим ИИ-компаниям, согласование стандартов безопасности и расширение международного сотрудничества.

Это признак растущего интереса к теме, но не свидетельство того, что компании уже согласовали обязательные правила. В Международном докладе по безопасности ИИ говорится, что подходы к управлению рисками всё ещё развиваются, а большинство инициатив компаний остаются добровольными. Разница принципиальна: обещание проверить модель само по себе не обязывает компанию отложить её выпуск, если сохраняются серьёзные риски.

Сделать выпуск системы зависимым от её уровня риска

Практичный подход — предъявлять более строгие требования к системам с большими возможностями или широкими полномочиями, не вводя всеобщий запрет на применение ИИ. Инструмент для подготовки черновиков и агент, которому разрешено совершать значимые действия, не должны автоматически проходить одинаковую проверку. Рекомендации Сингапура по агентному ИИ уже предлагают заранее оценивать и ограничивать риски, а для важных или чувствительных действий предусматривать контрольные точки с одобрением человека. 46

Для передовых моделей и систем, от которых могут зависеть важные решения, этот принцип можно развить в процедуру допуска, включающую:

• Независимую оценку до выпуска. Квалифицированным внешним экспертам нужен защищённый доступ к системе и необходимым материалам, чтобы проверять опасные возможности и предсказуемые сценарии злоупотребления. Постоянный доступ оценщиков предлагался в недавних призывах к замедлению разработки передового ИИ, но пока не стал универсальным требованием.
• Понятные пороги и последствия. Следует заранее определить, какие результаты проверки требуют дополнительных мер защиты, ограничения доступа или отсрочки выпуска. Неудовлетворительная оценка должна вести к зафиксированным действиям, а если того требует риск — к задержке выпуска, а не только к ещё одной внутренней проверке. Это предлагаемые меры управления, а не требования действующей сингапурской модели. 4
• Меры контроля, соответствующие применению. Если агенту поручены действия с серьёзными последствиями, можно ограничивать его полномочия, требовать одобрения человека на ключевых этапах, вести мониторинг и чётко распределять ответственность. Сингапурские рекомендации поддерживают ограничение рисков и содержательный человеческий контроль; конкретные меры должны зависеть от системы и её назначения. 48
• Повторную оценку при существенных изменениях. Проверку стоит обновлять, если заметно меняются модель, доступные ей инструменты или условия применения, а не считать прежний тест бессрочной гарантией. Это один из способов сохранить актуальность оценки по мере изменения системы.

Для приложений с низким уровнем риска путь к использованию должен быть проще. Регулирование с учётом риска позволяет бизнесу внедрять полезные решения, но успешная проверка не означает, что система безопасна при любых обстоятельствах. Закон ЕС об искусственном интеллекте — один из примеров регулирования, которое учитывает риски конкретных способов применения ИИ.

Правила должны быть публичными, а тестирование — независимым

Международная координация может сделать проверки более сопоставимыми и снизить стимул выбирать юрисдикцию с наименее строгим надзором. Правительства могут согласовывать методы тестирования, обмен данными об инцидентах и минимальные требования к системам с наибольшим уровнем риска. Независимые специалисты смогут оценивать системы по этим критериям. В недавних призывах замедлить развитие ИИ также подчёркивается необходимость координации между компаниями и странами.

Важно правильно разделить ответственность. Государственные органы должны устанавливать обязательные пороги и определять последствия их превышения. Компании могут предоставлять техническую экспертизу, но не должны единолично решать, соответствуют ли их собственные системы требованиям. Независимым тестировщикам нужны прозрачные методики и раскрытие конфликта интересов. Это принципы предлагаемой системы надзора, а не уже согласованные условия отраслевых инициатив.

На что может опереться Сингапур

Модельная система управления агентным ИИ в Сингапуре содержит рекомендации для организаций, которые внедряют такие системы: среди прочего, оценку рисков, ответственность человека и меры контроля. Это руководство по ответственному применению, но само по себе оно не устанавливает обязательный допуск к выпуску. 468

AI Verify предлагает инструменты тестирования, а Программа аккредитации ИИ-тестировщиков признаёт сторонние компании, обладающие необходимыми техническими возможностями и готовностью к такой работе. Вместе эти инициативы могут помочь сделать проверки более последовательными в бизнесе и финансовом секторе. Следующим шагом могли бы стать общие профили оценки и типовые договоры, которые разъясняют, что должны подтвердить поставщики моделей, интеграторы, организации-внедренцы и тестировщики. Пока это возможные направления развития, а не правила, закреплённые в упомянутых документах.

Полезной целью могло бы стать взаимное признание методов проверки и результатов тестирования — без утверждений, будто один национальный сертификат гарантирует безопасность любой системы в любой ситуации. Рекомендации и инструменты тестирования помогают структурировать доказательства, но государственным органам и организациям всё равно нужно оценивать, насколько эти доказательства относятся к конкретному применению и его рискам.

Рассматривать безопасность ИИ, надёжность ПО и киберзащиту вместе

Проверка ответов модели — лишь часть оценки ИИ-агента. Нужно также изучать программную систему, в которую он встроен, и защищённость инструментов и полномочий, к которым он получает доступ. Это связанные, но разные вопросы: какое опасное поведение может проявить ИИ; как собранное приложение поведёт себя при сбое или изменениях; сможет ли злоумышленник взломать систему или перенаправить её работу.

Комплексная проверка по всем этим направлениям — предлагаемое расширение практик оценки, а не утверждение, что каждый существующий инструмент уже охватывает их. В описании набора AI Verify Toolkit перечислены технические тесты для традиционных систем машинного обучения, в том числе на справедливость, объяснимость и устойчивость. Поэтому для агентных систем важно отдельно определить, какие сквозные проверки нужны, а не считать результат теста модели подтверждением безопасности всего приложения.

Как понять, что замедление работает

Замедление имеет смысл, если независимые данные могут изменить дальнейшие действия: выпуск системы с высоким уровнем риска можно отложить, ограничить или скорректировать, когда меры защиты недостаточны, а для обычных применений с меньшим риском сохраняется соразмерный путь к внедрению. Рекомендации и программы тестирования Сингапура дают основу для такой системы оценки. Но пороги допуска, механизмы исполнения требований и охват проверок необходимо определить явно.