Giskard Guards: новый уровень безопасности для корпоративных AI‑агентов

AI‑агенты быстро переходят из экспериментальных проектов в реальные бизнес‑процессы. Они ищут документы, вызывают API, взаимодействуют с внутренними системами компании и выполняют сложные многошаговые задачи. Но вместе с новыми возможностями появляются и новые риски: внедрение вредоносных инструкций через prompt injection, «галлюцинации» моделей, утечки данных и небезопасное использование инструментов.

Французский стартап Giskard пытается закрыть этот пробел с помощью платформы Giskard Guards — системы безопасности и управления, предназначенной именно для корпоративных AI‑агентов. Вместо простой фильтрации контента она контролирует поведение агента во время выполнения задач и применяет правила безопасности в режиме реального времени.

Почему традиционные guardrails больше не работают

Первые системы безопасности для LLM в основном проверяли пользовательские запросы и текст, который генерирует модель. Это было достаточно, когда модели использовались в основном как чат‑боты.

Но современные корпоративные агенты работают намного сложнее. Они могут:

• извлекать внешние документы и внутренние данные компании
• вызывать API и автоматизированные инструменты
• выполнять многошаговые цепочки рассуждений
• взаимодействовать с операционными системами бизнеса

Из‑за этого основной риск сместился с «нежелательного контента» на «нежелательное поведение». Агент может принять ложную информацию за факт, выполнить вредоносную инструкцию из найденного документа, раскрыть конфиденциальные данные или вызвать инструмент, который не должен использоваться в данной ситуации. Такие ошибки особенно опасны, если они происходят внутри производственных систем компании.

Традиционные guardrails — часто реализованные как простые фильтры по ключевым словам или классификаторы — плохо справляются с подобными сценариями. Им не хватает операционного контекста, поэтому они могут блокировать легитимные запросы и одновременно пропускать сложные атаки вроде многошагового prompt injection. В некоторых случаях доля ложных срабатываний может быть высокой, при этом реальные атаки остаются незамеченными.

Giskard Guards: уровень безопасности во время выполнения

Giskard позиционирует Guards как слой безопасности между AI‑агентом и системами, с которыми он взаимодействует.

Вместо анализа только запроса или ответа система рассматривает весь контекст работы агента: входные промпты, промежуточные шаги, вызовы инструментов и итоговые результаты. Это позволяет обнаруживать опасное поведение ещё до того, как оно повлияет на реальные бизнес‑процессы.

Ключевые элементы платформы:

Контекстно‑зависимые guardrails
Система оценивает не только текст, но и намерение запроса и его связь с задачей агента, подключёнными инструментами и доступными данными. Такой подход позволяет лучше понимать, безопасно ли действие агента в конкретной ситуации.

Несколько уровней обнаружения угроз
Платформа одновременно использует несколько детекторов — например, для выявления jailbreak‑попыток, prompt injection, утечек конфиденциальных данных или нарушений корпоративных политик. В зависимости от результата система может разрешить действие, пометить его для мониторинга или полностью заблокировать.

Мониторинг цепочки выполнения
Guards отслеживает всю последовательность действий агента. Это важно, потому что атаки часто возникают не на этапе ввода или вывода, а в промежуточных шагах — например, когда агент читает документ с вредоносной инструкцией или вызывает рискованный инструмент.

Governance через policy‑as‑code

Одной из ключевых идей платформы является подход policy‑as‑code — перевод корпоративных правил и требований в машинно‑исполняемые политики.

У компаний уже существуют правила: требования к конфиденциальности, комплаенс‑процедуры, внутренние политики безопасности. В модели policy‑as‑code эти правила превращаются в программные ограничения, которые система может автоматически применять во время работы AI‑агента.

Исследования в области управления AI‑агентами показывают, что такие политики могут быть преобразованы в runtime‑guardrails — механизмы контроля, которые анализируют действия системы и ограничивают их в реальном времени.

Это позволяет организациям задавать правила вроде:

• запрет на раскрытие медицинских или финансовых данных
• обязательная проверка человеком перед важными решениями
• ограничение набора инструментов, доступных агенту
• автоматическое журналирование действий для аудита

Поскольку такие правила существуют в виде кода и версий, их можно обновлять по мере развития AI‑систем.

Связь с требованиями EU AI Act

Ещё одна причина появления подобных платформ — усиление регулирования.

EU AI Act вводит риск‑ориентированную систему регулирования искусственного интеллекта. Системы, которые могут повлиять на здоровье, безопасность или фундаментальные права людей, относятся к категории «высокого риска» и должны соответствовать ряду требований: управление рисками, документация, прозрачность, ведение логов, устойчивость систем и человеческий контроль.

Платформы вроде Giskard Guards помогают компаниям приблизиться к выполнению этих требований за счёт:

• мониторинга поведения AI‑систем
• журналирования действий
• применения политик безопасности во время работы
• инструментов для контроля и аудита

Такие механизмы напрямую связаны с требованиями EU AI Act по человеческому контролю и технической надёжности высокорисковых систем.

Почему особенно заинтересованы банки и медицина

Наиболее высокий интерес к подобным решениям наблюдается в отраслях с жёстким регулированием.

Банки и страховые компании используют AI‑агентов для анализа рисков, обнаружения мошенничества, обработки страховых заявок и поддержки клиентов. Все эти процессы связаны с конфиденциальными финансовыми данными и нормативными требованиями.

Здравоохранение — ещё более чувствительная сфера. AI‑агенты могут помогать с анализом медицинских записей, поиском информации о пациентах или подготовкой клинической документации. В таких условиях крайне важно не допустить утечки данных или автоматических решений без контроля врача.

Поэтому компании всё чаще ищут решения, которые работают на уровне инфраструктуры, а не только на уровне подсказок или инструкций модели.

Европейская идея «суверенного AI»

Giskard также позиционирует Guards как часть более широкой европейской стратегии AI‑суверенитета.

Платформа поддерживает развёртывание внутри инфраструктуры компании или в контролируемых средах. Это позволяет организациям хранить данные, журналы активности и механизмы контроля безопасности внутри своей инфраструктуры, не передавая их внешним сервисам.

Для компаний, работающих в рамках европейских требований — таких как GDPR и EU AI Act — вопрос расположения инфраструктуры безопасности может стать решающим при внедрении AI‑систем.

Новый подход к безопасности AI

Появление AI‑агентов меняет саму логику защиты систем искусственного интеллекта. Проверки только входных запросов и итогового текста больше недостаточно для систем, которые планируют задачи, используют инструменты и работают с корпоративными данными.

Подход Giskard отражает более широкую тенденцию в отрасли: безопасность должна контролировать поведение AI‑агентов на протяжении всего рабочего процесса, а не только фильтровать контент.

Насколько такие системы смогут эффективно предотвращать сложные сбои в крупных корпоративных внедрениях, пока остаётся открытым вопросом. Но идея контекстно‑зависимых guardrails и политики‑как‑кода постепенно становится важным элементом инфраструктуры для безопасного использования AI в бизнесе.