마이크로소프트 RAMPART·Clarity: 기업용 AI 에이전트를 더 안전하게 만드는 새로운 개발 도구

RAMPART: AI 에이전트를 위한 지속적 적대적 테스트

RAMPART는 "Risk Assessment and Measurement Platform for Agentic Red Teaming"의 약자로, AI 에이전트 보안 테스트를 위한 프레임워크다. 개발자가 정상 시나리오와 공격 시나리오를 모두 자동 테스트 코드로 작성할 수 있도록 설계됐다.

pytest 기반 테스트 구조

RAMPART의 특징 중 하나는 Python의 인기 테스트 프레임워크인 pytest와 직접 통합된다는 점이다.

개발자는 일반적인 유닛 테스트를 작성하듯 다음과 같은 테스트를 작성할 수 있다.

• 특정 요청이 정책에 맞게 거부되는지
• 도구 호출이 안전한 범위 내에서 이루어지는지
• 민감 데이터 접근 시 차단되는지

이 테스트는 CI(Continuous Integration) 파이프라인에서 자동 실행되므로, 코드 변경 시마다 AI 에이전트의 안전성을 검사할 수 있다.

공격 시나리오를 테스트 케이스로

RAMPART에서는 다양한 공격 상황을 테스트로 구현할 수 있다.

예를 들면 다음과 같은 시나리오다.

• 프롬프트 인젝션 공격
• 정책 우회 요청
• 위험한 쉘 명령 실행 시도
• 내부 데이터 유출 시도

각 테스트는 에이전트가 요청을 안전하게 거부하거나 제한된 방식으로 처리하는지 확인한다.

레드팀 발견을 회귀 테스트로 전환

AI 보안에서는 한 번 발견된 취약점이 다시 나타나는 일이 흔하다. RAMPART는 이를 방지하기 위해 레드팀 테스트 결과나 실제 사고를 회귀 테스트로 전환하도록 설계됐다.

예를 들어 프롬프트 인젝션 취약점이 발견되면 해당 공격 패턴을 테스트 케이스로 추가해 이후 모든 빌드에서 자동 검증할 수 있다.

확률적 AI 행동 대응

AI 시스템은 기존 소프트웨어와 달리 비결정적(probabilistic) 행동을 보일 수 있다. 한 번 테스트에 통과했다고 해서 항상 같은 결과가 나온다는 보장은 없다.

RAMPART는 위험 시나리오를 반복적으로 실행해 시간에 따른 행동 변화를 관찰하도록 설계돼 이러한 특성을 고려한다.

CI/CD 파이프라인 통합

RAMPART 테스트는 CI 환경에서 실행되기 때문에 다음과 같은 변경 사항을 자동으로 검증할 수 있다.

• 프롬프트 또는 시스템 지침 변경
• 모델 교체
• 새로운 API 또는 도구 연결
• 검색 데이터 소스 변경
• 보안 정책 업데이트

만약 테스트가 실패하면 빌드를 차단해 문제가 있는 에이전트가 배포되지 않도록 할 수 있다.

Clarity: 코드 작성 전 위험을 설계 단계에서 검토

RAMPART가 테스트 도구라면 Clarity는 설계 지원 도구에 가깝다.

마이크로소프트는 Clarity를 **에이전트 설계를 위한 구조화된 “사운딩 보드”**로 설명한다. 팀이 코드 작성 전에 다음과 같은 질문을 체계적으로 검토하도록 돕는다.

• 에이전트가 수행해야 할 작업은 무엇인가?
• 절대 수행하면 안 되는 작업은 무엇인가?
• 어떤 도구와 권한이 필요한가?
• 예상 가능한 실패나 악용 시나리오는 무엇인가?
• 배포 전에 어떤 보호 장치와 테스트가 필요한가?

이 과정은 초기 설계에서 위험한 가정을 발견하도록 돕는다. 일반적으로 설계 단계에서 수정하는 것이 개발 이후 수정하는 것보다 훨씬 비용이 낮다는 점을 고려한 접근이다.

사고 이후 분석에도 활용

Clarity는 계획 단계뿐 아니라 사고 대응과 실패 분석에도 사용할 수 있다.

예를 들어 다음과 같은 상황에서 활용된다.

• RAMPART 테스트 실패
• 예상치 못한 에이전트 행동
• 실제 서비스 사고

이때 팀은 Clarity를 통해 다음을 재검토한다.

• 어떤 위험을 놓쳤는지
• 어떤 통제가 부족했는지
• 어떤 테스트가 추가되어야 하는지

그 결과는 다시 RAMPART 테스트 케이스로 추가되어 시스템의 안전성을 점점 강화한다.

왜 기업용 AI에서 중요한가

기업 환경의 AI 에이전트는 단순한 챗봇이 아니다. 내부 데이터베이스를 읽고, API를 호출하며, 자동화 작업을 수행하고, 때로는 시스템 명령까지 실행할 수 있다.

이 때문에 프롬프트 인젝션이나 도구 오용 같은 문제는 실제 보안 사고나 운영 장애로 이어질 가능성이 있다.

마이크로소프트의 접근은 이러한 위험을 해결하기 위해 다음을 결합한다.

• 설계 단계 위험 분석
• 자동화된 적대적 테스트
• 레드팀 결과의 회귀 테스트화
• 사고 후 설계 재검토

결국 목표는 하나다. AI 에이전트 안전성을 개발 프로세스의 일상적인 엔지니어링 작업으로 만드는 것이다.

AI 에이전트가 더 자율적으로 진화할수록, 이런 방식의 지속적인 안전성 검증은 기업 AI 시스템 구축의 핵심 요소가 될 가능성이 높다.