엔비디아 OSAA, 블랙햇서 ‘SAFE’ 공개…AI 보안 사고 공유 체계 시동

목표는 개별 사고를 공동 방어 정보로 바꾸는 것이다. 모든 프롬프트 인젝션이나 데이터 유출 사건을 독립적인 사례로 취급하는 대신, 여러 참여자가 반복되는 공격 패턴과 방어책을 함께 학습하도록 하겠다는 구상이다.

하나의 제품이 아닌 ‘AI 에이전트 보안 스택’

OSAA는 SAFE 하나만 내놓은 것이 아니다. 회원사들은 AI 에이전트의 신원, 권한, 실행 환경, 평가, 데이터, 거버넌스와 복원력을 각각 다루는 오픈소스 및 검증 가능한 기술을 함께 제시하고 있다.

주요 기여 내용으로 언급된 것은 다음과 같다.

• 엔비디아: 오픈 웨이트 모델 제품군, 에이전트가 접근하거나 실행할 수 있는 범위를 제한하는 OpenShell, 에이전트 테스트·감사 도구, 데이터 유출·프롬프트 인젝션·탈옥 위험을 검사하는 오픈소스 스캐너 Garak.
• 옥타(Okta): Cross App Access 프로토콜을 활용한 에이전트 신원·접근 관리 참조 구현. 기업용 애플리케이션과 에이전트를 보다 통제된 환경에서 연결하는 것이 목적이다.
• 레드햇(Red Hat): 조직의 정책을 실행 단계의 권한으로 연결하고, 정책이 실제 통제로 이어지는 과정을 감사할 수 있도록 설계된 오픈소스 거버넌스 프로젝트 asago.
• 아마존: 에이전트 구축과 평가를 위한 오픈소스 도구 Strands Agents, 그리고 권한 부여 언어 Cedar.
• 기타 회원사: 에이전트 신원 보안을 다루는 Agent Guard와 Agent Watch 등. 이는 에이전트 보안이 모델 자체를 검사하는 것만으로 끝나지 않는다는 점을 보여준다.

이 기술들이 성숙하면 기업은 AI 에이전트의 행동 범위를 제한하고, 실행 과정을 감시하며, 악성 또는 의도한 범위를 벗어난 에이전트에 대응할 수 있는 공통 도구를 확보할 수 있다. 그러나 이는 현재 확인된 성과가 아니라 향후 가능한 결과다.

누가 참여했고, 누가 빠졌나

보도에 따르면 OSAA에는 출범 첫 주에 120곳이 넘는 조직이 참여했다. 주요 참여 기업으로는 엔비디아, 어도비, 블랙록, 시스코, 크라우드스트라이크, 허깅페이스, 인텔, 마이크로소프트, 레드햇, 비자가 거론됐다. 아마존은 비교적 최근 합류한 회원으로 소개됐다.

OSAA는 미국 정책 당국에 오픈 웨이트 AI 모델에 대한 광범위하거나 성급한 규제를 피하라고 촉구한 7월 24일 공개서한과 같은 흐름에서 등장했다. 당시 공개서한에는 엔비디아, 마이크로소프트, 메타, IBM, 델, 팔란티어, 허깅페이스 등이 포함된 25개 기업이 참여했다. 서한은 다운로드 가능한 모델을 제한하면 경쟁이 약화되고, 미국이 국가안보 대응을 논의하는 과정에서 사용자가 중국 AI 시스템으로 이동할 수 있다고 주장했다.

블랙햇 관련 보도가 나온 시점에 OSAA에 참여하지 않은 주요 AI 기업으로는 **앤스로픽(Anthropic), 오픈AI(OpenAI), 구글(Google)**이 언급됐다. 다만 공개서한 서명자 명단은 보도 시점과 매체에 따라 차이가 있다. 일부 보도는 오픈AI와 구글이 이후 명단에 추가됐다고 전하고, 다른 보도는 두 회사가 최초 명단에는 없었다고 설명한다. 현재 공개된 자료만으로는 이들 기업이 OSAA에 참여하지 않은 이유를 확인할 수 없다.

빠른 출발이 중요한 이유

OSAA의 핵심 주장은 개방성과 보안이 반드시 반대되는 개념은 아니라는 것이다. 모델과 도구, 평가 결과, 사고 대응 교훈을 더 많은 방어자가 직접 살펴볼 수 있다면 실패를 재현하고 취약점을 검증하며 수정 사항을 확산하기 쉬워질 수 있다. SAFE는 사고 수집과 분석 단계에서는 기밀성을 유지하면서도, 일반화된 교훈은 더 넓게 공유하려 한다.

또한 OSAA의 산업 간 구성은 모델 개발사, 클라우드·인프라 사업자, 신원·접근 관리 업체, 보안 기업, 기업 고객 사이에서 공통 인터페이스와 관행을 만드는 데 도움이 될 수 있다. 이런 작업이 실제 표준과 운영 체계로 발전한다면, 기업은 오픈 AI 시스템을 평가하고 통제하며 책임 있게 도입하기가 쉬워질 수 있다.

이는 오픈 웨이트 AI를 미국의 기술 경쟁력 문제로 봐야 한다는 정책 논리를 뒷받침할 가능성도 있다. 특히 미국 정책 당국이 중국 AI 연구소와 오픈 웨이트 모델에 어떻게 대응할지를 논의하는 상황에서, 더 안전하고 상호 운용 가능한 미국 중심의 개방형 생태계를 만들 수 있다는 기대다.

하지만 OSAA가 이미 미국의 경쟁력을 높였거나 AI의 시스템적 위험을 낮췄다는 증거는 아직 없다. 지금 확인 가능한 성과는 보다 제한적이고 구체적이다. 120곳이 넘는 연합체가 오픈 AI 정책 옹호에서 한 걸음 더 나아가, 리눅스 재단이 관리하는 AI 보안 사고 공유 초안을 공개했고, 회원사들이 향후 상호 운용 가능한 방어 계층이 될 수 있는 도구들을 내놓기 시작했다는 점이다.