Giskard Guards가 기업용 AI 에이전트를 보호하려는 방법

AI 에이전트는 이제 단순한 챗봇을 넘어 실제 기업 업무를 수행하는 단계로 빠르게 이동하고 있다. 문서를 검색하고, 내부 데이터베이스를 조회하며, API를 호출하고, 여러 단계의 작업을 자동으로 실행하는 식이다.

하지만 이런 능력은 동시에 새로운 위험을 만든다. 프롬프트 인젝션 공격, 잘못된 행동을 유발하는 환각(hallucination), 민감 데이터 유출, 위험한 도구 호출 같은 문제는 기존 AI 안전 시스템이 설계될 당시 거의 고려되지 않았던 영역이다.

프랑스 스타트업 **지스카드(Giskard)**는 이러한 문제를 해결하기 위해 Giskard Guards라는 플랫폼을 출시했다. 이 시스템은 단순한 콘텐츠 필터가 아니라 기업용 AI 에이전트 전체 실행 과정(runtime)을 보호하는 보안 및 거버넌스 레이어를 목표로 한다.

AI 에이전트 시대에 드러난 보안 공백

초기 AI 안전 시스템은 주로 **사용자 입력(prompt)**과 **모델 출력(text)**을 검사하는 방식이었다. 챗봇처럼 텍스트만 생성하는 환경에서는 이런 접근이 어느 정도 효과적이었다.

하지만 현대의 기업용 AI 에이전트는 훨씬 복잡한 방식으로 작동한다. 예를 들어 다음과 같은 행동을 수행할 수 있다.

• 외부 문서나 내부 기업 데이터를 검색
• API와 자동화 도구 호출
• 여러 단계의 추론과 작업 실행
• 운영 시스템과 직접 상호작용

이 때문에 위험의 성격도 바뀌었다. 문제는 더 이상 **“나쁜 콘텐츠”**가 아니라 **“잘못된 행동”**이다.

에이전트는 사실이 아닌 내용을 기반으로 행동하거나, 검색한 문서 안에 숨겨진 악성 프롬프트를 그대로 따르거나, 연결된 도구를 통해 의도하지 않은 작업을 수행할 수 있다. 이런 오류가 실제 업무 워크플로 안에서 발생하면 데이터 노출이나 운영 장애로 이어질 수 있다.

또한 기존의 키워드 기반 필터나 단순 분류 시스템은 이런 환경에서 한계를 보인다. 운영 맥락을 이해하지 못해 정상 요청을 과도하게 차단하거나, 여러 단계에 걸친 공격—예를 들어 멀티스텝 프롬프트 인젝션—을 놓칠 수 있기 때문이다.

Giskard Guards: 에이전트 실행 흐름을 감시하는 보안 레이어

지스카드는 Guards를 AI 에이전트와 실제 시스템 사이에 위치하는 보안 계층으로 설명한다.

이 플랫폼은 단순히 프롬프트나 최종 답변만 검사하지 않는다. 대신 다음과 같은 전체 실행 컨텍스트를 분석한다.

• 사용자 입력
• 에이전트의 중간 추론 단계
• 도구 호출 및 API 요청
• 최종 출력

이렇게 전체 실행 흐름을 관찰함으로써 위험 행동이 실제 시스템에 영향을 주기 전에 탐지하는 것이 목표다.

핵심 접근 방식은 다음과 같다.

컨텍스트 인식형 가드레일

키워드 매칭 대신 요청의 의도와 상황을 분석한다. 요청이 에이전트의 작업, 연결된 도구, 사용 가능한 데이터와 어떤 관계인지까지 고려해 판단한다.

다중 탐지 레이어

여러 탐지기를 동시에 사용한다. 예를 들어 다음과 같은 위험 신호를 각각 검사한다.

• 탈옥(jailbreak) 시도
• 프롬프트 인젝션
• 민감 데이터 노출
• 정책 위반 행동

문제가 발견되면 시스템은 허용(allow), 모니터링(monitor), 차단(block) 같은 대응을 자동으로 결정할 수 있다.

실행 체인 모니터링

공격은 입력이나 출력이 아니라 중간 단계에서 발생하기도 한다. 예를 들어 검색된 문서 안에 숨겨진 명령이 에이전트 행동을 바꾸거나, 특정 도구 호출이 위험한 작업을 실행할 수 있다. Guards는 이러한 에이전트 실행 체인 전체를 검사한다.

‘Policy‑as‑Code’로 구현하는 AI 거버넌스

이 플랫폼의 핵심 개념 중 하나는 Policy‑as‑Code다.

기업에는 개인정보 보호 정책, 규제 준수 요구사항, 내부 보안 규칙 등이 존재한다. 문제는 이런 규칙이 문서 형태로만 존재하면 AI 시스템이 자동으로 따르지 못한다는 점이다.

Policy‑as‑Code 접근법은 이러한 규칙을 기계가 실행 가능한 정책 코드로 변환해 시스템에 적용한다.

연구에서도 AI 거버넌스 규칙을 실시간 가드레일로 변환하는 방법이 제안되고 있으며, 자연어 정책 문서를 분석해 정책 트리를 만들고 이를 경량 분류기로 컴파일해 실행 중 모니터링에 활용할 수 있다.

기업은 예를 들어 다음과 같은 규칙을 정의할 수 있다.

• 의료·금융 데이터 공개 차단
• 고위험 의사결정 시 인간 검토 의무화
• 특정 도구 호출 제한
• 규제 감사용 로그 기록

이러한 정책은 코드처럼 버전 관리가 가능하기 때문에 AI 시스템이 빠르게 변해도 함께 업데이트할 수 있다.

EU AI Act와의 정렬

지스카드가 강조하는 또 하나의 포인트는 EU AI Act 규제 대응이다.

유럽연합의 AI 규제는 위험 기반 구조를 사용하며, 건강·안전·기본권에 영향을 줄 수 있는 시스템을 **“고위험 AI(high‑risk AI)”**로 분류한다. 이러한 시스템은 위험 관리, 기록 보관, 투명성, 기술적 견고성, 인간 감독 등 다양한 요구사항을 충족해야 한다.

런타임 정책 제어와 행동 로그 같은 기능은 다음과 같은 요구사항을 지원할 수 있다.

• AI 시스템 행동 모니터링 및 기록
• 자동화된 의사결정 감사 가능성 확보
• 인간 감독 메커니즘 지원

이는 특히 고위험 시스템에 적용되는 규정과 밀접하게 연결된다.

금융·보험·헬스케어가 특히 관심을 갖는 이유

AI 에이전트 거버넌스는 특히 규제가 강한 산업에서 중요하다.

은행과 보험에서는 에이전트가 신용 분석, 사기 탐지, 보험 청구 처리, 고객 지원 같은 업무를 수행할 수 있다. 이런 환경에서는 금융 데이터 보호와 규제 준수가 필수다.

헬스케어에서는 위험도가 더 높다. AI 에이전트가 환자 기록을 요약하거나 의료 정보를 검색하거나 진료 문서를 작성할 수 있기 때문이다. 이때 환자 데이터 보호와 의료 전문가의 감독이 보장되어야 한다.

이러한 이유로 많은 기업은 단순한 프롬프트 지침이 아니라 인프라 수준에서 동작하는 보안 제어를 요구한다.

유럽의 ‘주권 AI’ 전략과의 연결

지스카드는 Guards를 유럽형 ‘소버린 AI(sovereign AI)’ 인프라의 일부로도 강조한다.

플랫폼은 온프레미스 또는 통제된 환경에서 배포할 수 있도록 설계되어 기업이 데이터와 정책 실행 환경을 자체 인프라 안에 유지할 수 있도록 한다.

GDPR과 EU AI Act 같은 규제를 따르는 기업에게는 AI 보안과 모니터링 시스템이 어디에서 실행되는지가 중요한 요소가 될 수 있다.

핵심 변화: 콘텐츠가 아니라 행동을 보호해야 한다

AI 에이전트의 등장은 AI 안전 시스템의 관점을 바꾸고 있다.

프롬프트와 텍스트만 검사하는 방식으로는 데이터 접근, 도구 호출, 자동화된 행동까지 포함하는 복잡한 시스템을 충분히 보호할 수 없다.

지스카드의 접근 방식은 이러한 변화 속에서 등장한 새로운 방향을 보여준다. 핵심은 AI가 생성한 텍스트가 아니라 AI가 수행하는 행동 전체를 감시하고 정책을 실시간으로 적용하는 것이다.

이러한 플랫폼이 대규모 기업 환경에서 복잡한 실패를 얼마나 효과적으로 방지할 수 있을지는 아직 검증이 진행 중이다. 하지만 AI 에이전트가 핵심 업무 시스템으로 확장되는 상황에서 컨텍스트 기반, 정책 중심 런타임 보안은 점점 필수적인 계층으로 여겨지고 있다.