Не гадать о конце света: как Сингапур предлагает контролировать ИИ

Вопрос «может ли ИИ уничтожить человечество?» вновь оказался в центре спора. Но для организаций, которые уже внедряют такие системы, есть и более прикладной вопрос: кто может проверить их безопасность и что именно им разрешено делать? Участники ИИ-отрасли Сингапура предлагают сосредоточиться на независимой оценке, прозрачности и контроле над возможностями систем, не сводя выбор к бесконтрольной разработке или всеобщей остановке работ.732

Откуда взялась новая волна тревоги

Исследователь Джейкоб Коксон ушёл из Anthropic, ранее поработав также в OpenAI. Он обвинил обе компании в безответственной гонке к сверхинтеллекту, способному совершенствовать себя. Исследователь Anthropic Эван Хубингер публично поддержал его опасения и оценил вероятность того, что ИИ приведёт к вымиранию человечества в ближайшие десять лет, более чем в 10%. Это личная оценка Хубингера, а не измеренная вероятность или свидетельство того, что катастрофа неизбежна.34

12 сентября глава Anthropic Дарио Амодеи призвал замедлить разработку ИИ. В его предложении был и конкретный шаг: допустить сторонних специалистов к проверке соблюдения практик безопасности и внутренних коммуникаций, а также к сообщению об инцидентах. Так спор о прогнозах превращается в вопрос о том, что независимые эксперты способны проверить на деле.1332

Что даёт проверка — и чего она не гарантирует

В Сингапуре для такой работы уже есть инструменты. Запущенный в 2022 году набор средств AI Verify помогает оценивать справедливость, устойчивость и объяснимость результатов ИИ. Программа аккредитации специалистов по тестированию ИИ призвана расширить возможности для проверок. Но ни один тест существующей системы не доказывает, что все будущие системы будут безопасны.1933

Независимому проверяющему недостаточно заверения разработчика о пройденном внутреннем тесте: нужен доступ, позволяющий изучить заявленные меры безопасности и выявить инциденты. Организациям, которые подключают модель к своим данным и рабочим процессам, также необходимы прозрачность и средства контроля со стороны поставщика. Даже доступ к весам модели сам по себе не раскрывает всех решений, принятых при обучении, известных сбоев и действующих защитных мер.3234

Это не означает, что замедлять разработку нельзя никогда. Один из экспертов, работающих в Сингапуре, предлагает приостанавливать конкретную деятельность, если разработчик не может надёжно удерживать систему под контролем или объяснить, как управляет серьёзными рисками. Речь о паузе, обусловленной определённым риском, а не о запрете всех применений ИИ.32

Прежде чем дать агенту полномочия

С ИИ-агентами вопрос контроля становится особенно срочным: в отличие от системы, которая лишь отвечает на запрос, агент может пользоваться инструментами и выполнять действия в рабочих процессах. В январе 2026 года сингапурское Управление по развитию инфокоммуникаций и СМИ (IMDA) представило типовую концепцию управления такими системами — Model AI Governance Framework for Agentic AI. Она рекомендует заранее оценивать риски и ограничивать самостоятельность агентов, а также их доступ к инструментам и данным. Обновлённая версия отдельно закрепляет принцип минимально необходимых прав доступа. Это рекомендации, а не всеобщий законодательный запрет на использование агентов.504852

На практике организации следует назначить ответственного за каждого агента, ограничить его полномочия, по возможности обеспечить прослеживаемость и обратимость действий и постоянно следить за его работой. Такие меры полезнее общего обещания, что агент «безопасен».34 Министр Сингапура Жозефин Тео сравнивала роль защитных мер и стандартов ИИ в укреплении доверия с практиками безопасности в гражданской авиации.17

Главный принцип — подотчётность даже там, где остаётся неопределённость: проверять то, что уже поддаётся проверке, допускать независимую оценку и не предоставлять системе полномочий, которыми невозможно безопасно управлять. Это не закрывает спор о долгосрочных рисках ИИ, но определяет конкретные обязанности для разработчиков и тех, кто внедряет технологию уже сейчас.3248