Giskard Guards가 기업용 AI 에이전트를 보호하려는 방법

• 사용자 입력
• 에이전트의 중간 추론 단계
• 도구 호출 및 API 요청
• 최종 출력

이렇게 전체 실행 흐름을 관찰함으로써 위험 행동이 실제 시스템에 영향을 주기 전에 탐지하는 것이 목표다.

핵심 접근 방식은 다음과 같다.

컨텍스트 인식형 가드레일

키워드 매칭 대신 요청의 의도와 상황을 분석한다. 요청이 에이전트의 작업, 연결된 도구, 사용 가능한 데이터와 어떤 관계인지까지 고려해 판단한다.

다중 탐지 레이어

여러 탐지기를 동시에 사용한다. 예를 들어 다음과 같은 위험 신호를 각각 검사한다.

• 탈옥(jailbreak) 시도
• 프롬프트 인젝션
• 민감 데이터 노출
• 정책 위반 행동

문제가 발견되면 시스템은 허용(allow), 모니터링(monitor), 차단(block) 같은 대응을 자동으로 결정할 수 있다.

실행 체인 모니터링

공격은 입력이나 출력이 아니라 중간 단계에서 발생하기도 한다. 예를 들어 검색된 문서 안에 숨겨진 명령이 에이전트 행동을 바꾸거나, 특정 도구 호출이 위험한 작업을 실행할 수 있다. Guards는 이러한 에이전트 실행 체인 전체를 검사한다.

‘Policy‑as‑Code’로 구현하는 AI 거버넌스

이 플랫폼의 핵심 개념 중 하나는 Policy‑as‑Code다.

기업에는 개인정보 보호 정책, 규제 준수 요구사항, 내부 보안 규칙 등이 존재한다. 문제는 이런 규칙이 문서 형태로만 존재하면 AI 시스템이 자동으로 따르지 못한다는 점이다.

Policy‑as‑Code 접근법은 이러한 규칙을 기계가 실행 가능한 정책 코드로 변환해 시스템에 적용한다.

연구에서도 AI 거버넌스 규칙을 실시간 가드레일로 변환하는 방법이 제안되고 있으며, 자연어 정책 문서를 분석해 정책 트리를 만들고 이를 경량 분류기로 컴파일해 실행 중 모니터링에 활용할 수 있다.

기업은 예를 들어 다음과 같은 규칙을 정의할 수 있다.

• 의료·금융 데이터 공개 차단
• 고위험 의사결정 시 인간 검토 의무화
• 특정 도구 호출 제한
• 규제 감사용 로그 기록

이러한 정책은 코드처럼 버전 관리가 가능하기 때문에 AI 시스템이 빠르게 변해도 함께 업데이트할 수 있다.

EU AI Act와의 정렬

지스카드가 강조하는 또 하나의 포인트는 EU AI Act 규제 대응이다.

유럽연합의 AI 규제는 위험 기반 구조를 사용하며, 건강·안전·기본권에 영향을 줄 수 있는 시스템을 **“고위험 AI(high‑risk AI)”**로 분류한다. 이러한 시스템은 위험 관리, 기록 보관, 투명성, 기술적 견고성, 인간 감독 등 다양한 요구사항을 충족해야 한다.

런타임 정책 제어와 행동 로그 같은 기능은 다음과 같은 요구사항을 지원할 수 있다.

• AI 시스템 행동 모니터링 및 기록
• 자동화된 의사결정 감사 가능성 확보
• 인간 감독 메커니즘 지원

이는 특히 고위험 시스템에 적용되는 규정과 밀접하게 연결된다.

금융·보험·헬스케어가 특히 관심을 갖는 이유

AI 에이전트 거버넌스는 특히 규제가 강한 산업에서 중요하다.

은행과 보험에서는 에이전트가 신용 분석, 사기 탐지, 보험 청구 처리, 고객 지원 같은 업무를 수행할 수 있다. 이런 환경에서는 금융 데이터 보호와 규제 준수가 필수다.

헬스케어에서는 위험도가 더 높다. AI 에이전트가 환자 기록을 요약하거나 의료 정보를 검색하거나 진료 문서를 작성할 수 있기 때문이다. 이때 환자 데이터 보호와 의료 전문가의 감독이 보장되어야 한다.

이러한 이유로 많은 기업은 단순한 프롬프트 지침이 아니라 인프라 수준에서 동작하는 보안 제어를 요구한다.

유럽의 ‘주권 AI’ 전략과의 연결

지스카드는 Guards를 유럽형 ‘소버린 AI(sovereign AI)’ 인프라의 일부로도 강조한다.

플랫폼은 온프레미스 또는 통제된 환경에서 배포할 수 있도록 설계되어 기업이 데이터와 정책 실행 환경을 자체 인프라 안에 유지할 수 있도록 한다.

GDPR과 EU AI Act 같은 규제를 따르는 기업에게는 AI 보안과 모니터링 시스템이 어디에서 실행되는지가 중요한 요소가 될 수 있다.

핵심 변화: 콘텐츠가 아니라 행동을 보호해야 한다

AI 에이전트의 등장은 AI 안전 시스템의 관점을 바꾸고 있다.

프롬프트와 텍스트만 검사하는 방식으로는 데이터 접근, 도구 호출, 자동화된 행동까지 포함하는 복잡한 시스템을 충분히 보호할 수 없다.

지스카드의 접근 방식은 이러한 변화 속에서 등장한 새로운 방향을 보여준다. 핵심은 AI가 생성한 텍스트가 아니라 AI가 수행하는 행동 전체를 감시하고 정책을 실시간으로 적용하는 것이다.

이러한 플랫폼이 대규모 기업 환경에서 복잡한 실패를 얼마나 효과적으로 방지할 수 있을지는 아직 검증이 진행 중이다. 하지만 AI 에이전트가 핵심 업무 시스템으로 확장되는 상황에서 컨텍스트 기반, 정책 중심 런타임 보안은 점점 필수적인 계층으로 여겨지고 있다.