Что такое программа AI TAP в Сингапуре и как она будет проверять безопасность ИИ

Важно, однако, не путать аккредитацию тестировщика с гарантией абсолютной безопасности конкретной ИИ-системы. Риски, связанные с интеграцией, конкретным сценарием применения или новыми угрозами, могут сохраниться. Ответственность за управление рисками, их принятие и дополнительные меры защиты остаётся у организации, внедряющей систему.

Что именно будут проверять

Тестировщики смогут проводить так называемые red team-проверки — имитацию атак, направленных на поиск слабых мест системы. В их числе:

• Prompt injection — внедрение в запрос или внешние данные инструкций, способных изменить поведение модели.
• Jailbreak — попытка обойти встроенные ограничения ИИ и добиться запрещённого, небезопасного или нарушающего правила ответа.

Возможный охват оценки включает:

• ошибки безопасности и надёжности, в том числе неточные или выдуманные ответы, а также вредоносный или нежелательный контент;
• нарушения принципов справедливости, включая предвзятость при принятии решений;
• проблемы конфиденциальности и кибербезопасности, например утечки данных и уязвимости;
• устойчивость к prompt injection и jailbreak — особенно важную для генеративных и агентных ИИ-приложений.

Какие требования предъявят к компаниям

Заявителей будут оценивать не только по качеству тестовых методик, но и по способности стабильно оказывать заявленные услуги. Среди критериев:

• Техническая компетентность. Компания должна подтвердить, что способна выполнять конкретные виды тестирования, которые указывает в заявке. Оценка может проводиться с опорой на руководство IMDA — Starter Kit for Testing LLM-Based Applications for Safety and Reliability.
• Управление и деловая репутация. Учитываются релевантный опыт, надлежащее деловое положение и готовность вести деятельность в Сингапуре.
• Финансовая устойчивость. У организации должно быть достаточно ресурсов для стабильной работы.
• Операционная готовность. Необходимы соответствующие мощности и способность предоставлять заявленные услуги.
• Соответствие заявленного профиля реальным возможностям. Перечень услуг компании должен подтверждаться её фактической компетентностью.

Пять основных рисков для языковых моделей

Starter Kit — это добровольное руководство для базового тестирования безопасности и надёжности приложений на основе больших языковых моделей (LLM). В нём выделены пять ключевых категорий риска:

1. галлюцинации и неточность;
2. предвзятость при принятии решений;
3. нежелательный контент;
4. утечка данных;
5. уязвимости, в том числе уязвимость к враждебным запросам.

Сколько стоит аккредитация и как долго действует

AI Verify Foundation заявляет, что не будет взимать ни плату за подачу заявки, ни саму аккредитацию. Это должно снизить барьеры для участия и помочь развитию рынка услуг по обеспечению надёжности ИИ.

Аккредитация будет действовать 12 месяцев. После этого компаниям потребуется продление статуса и подтверждение сохраняющейся компетентности — с учётом изменений стандартов и характера угроз.

О раннем интересе к программе сообщали следующие компании: Advai, AIDX, Ernst & Young, Knovel Engineering, PwC, Resaro и Vulcan.

Что это может изменить на рынке

AI TAP призвана сделать рынок внешнего тестирования ИИ более единообразным и заслуживающим доверия. Предполагается, что у заказчиков появятся более понятные ориентиры для оценки компетентности тестировщиков, а сами проверки будут проводиться по документированным методикам и с учётом конкретного сценария использования ИИ и связанного с ним профиля риска.

В доступных материалах нет отдельных комментариев представителей отрасли о том, насколько именно аккредитация улучшит кастомизацию тестов, управление рисками или доверие к безопасности ИИ. Но заявленная конструкция программы поддерживает такие результаты: заказчикам будет проще находить квалифицированных исполнителей, область проверки станет прозрачнее, а независимая оценка даст внедряющим организациям дополнительный уровень уверенности.