OSAA представила SAFE на Black Hat всего через неделю после создания

Идея заключается в создании общей оборонительной базы знаний. Вместо того чтобы рассматривать каждую атаку через prompt injection, утечку данных или выход автономного агента за пределы заданных полномочий как уникальный случай, компании смогут превращать отдельные ошибки в более эффективные меры защиты.

OSAA строит не один продукт, а целый контур защиты

SAFE — лишь один элемент подхода OSAA. Альянс также объединяет открытые и доступные для проверки технологии, рассчитанные на разные уровни безопасности ИИ-агентов.

Среди заявленных вкладов участников:

• Nvidia: семейства моделей с открытыми весами, среда выполнения OpenShell для ограничения доступа и действий агента, инструменты тестирования и аудита, а также Garak — открытый сканер рисков, включая утечки данных, prompt injection и обход защитных ограничений (jailbreak).
• Okta: эталонные реализации идентификации и управления доступом агентов на базе протокола Cross App Access, призванные безопаснее подключать агентов к корпоративным приложениям.
• Red Hat: asago — открытый проект управления, который должен связывать организационные политики с разрешениями во время работы агента и оставлять проверяемый путь от правила к конкретному контролю.
• Amazon: Strands Agents, открытый набор инструментов для создания и оценки агентов, а также язык авторизации Cedar.
• Другие участники: проекты для защиты идентичности, включая Agent Guard и Agent Watch. Они отражают более широкий взгляд OSAA: безопасность агентов зависит не только от сканирования моделей, но и от контроля идентичности, прав, среды запуска, поведения, данных, управления и устойчивости системы.

В совокупности эти компоненты охватывают идентификацию, разрешения, агентские оболочки, среду выполнения, тестирование, данные, управление и устойчивость. Со временем они могут сложиться в общий набор открытых средств, который позволит компаниям ограничивать и отслеживать работу ИИ-агентов, в том числе вредоносных или действующих за пределами заданной области. Пока это возможный результат, а не подтверждённое достижение.

Кто вошёл в альянс

По сообщениям источников, уже в первую неделю OSAA объединил более 120 организаций. Среди крупных участников назывались Nvidia, Adobe, BlackRock, Cisco, CrowdStrike, Hugging Face, Intel, Microsoft, Red Hat и Visa; Amazon присоединилась позднее.

Альянс появился после открытого письма от 24 июля, в котором технологические компании призвали власти США не вводить широкие и преждевременные ограничения для моделей с открытыми весами. Изначально письмо поддержали 25 компаний, включая Nvidia, Microsoft, Meta, IBM, Dell, Palantir и Hugging Face. Авторы утверждали, что запрет на загружаемые модели может ослабить конкуренцию и подтолкнуть пользователей к китайским системам ИИ, пока Вашингтон обсуждает ответ на вызовы национальной безопасности.

На момент публикаций о Black Hat заметными отсутствующими участниками OSAA оставались Anthropic, OpenAI и Google. При этом сведения о составе подписантов самого письма расходятся: одни публикации сообщали, что OpenAI и Google позднее добавили свои имена, другие описывали их как отсутствовавших в первоначальном списке. Доступные источники не объясняют, почему эти компании не вступили в OSAA, поэтому приписывать им конкретные мотивы нельзя.

Почему скорость OSAA имеет значение

Главный тезис альянса — открытость и безопасность не обязательно противоречат друг другу. Если модели, инструменты, методики оценки и сведения о сбоях доступны для изучения, больше специалистов могут проверять ошибки, воспроизводить уязвимости и быстрее адаптировать исправления. SAFE пытается совместить такую открытость с конфиденциальностью на этапе сбора и анализа инцидентов, распространяя затем обобщённые выводы.

Межотраслевой состав OSAA также может помочь выработать общие интерфейсы и практики для разработчиков моделей, облачных и инфраструктурных компаний, специалистов по идентификации, поставщиков средств безопасности и корпоративных заказчиков. Если эти проекты получат устойчивое развитие, организациям будет проще оценивать, контролировать и ответственно внедрять открытые ИИ-системы.

Это способно усилить более широкий политический аргумент о том, что модели с открытыми весами важны для конкурентоспособности США, особенно на фоне дискуссий о китайских лабораториях ИИ. Однако OSAA пока не доказал ни того, что повысил конкурентоспособность США, ни того, что снизил системные риски ИИ. На данный момент его наиболее конкретный результат скромнее: коалиция численностью более 120 участников перешла от защиты открытого ИИ на политическом уровне к публичному проекту согласованных правил обмена данными о проблемах безопасности, а её участники параллельно формируют потенциально совместимый набор средств защиты.