엔비디아 AI 에이전트 안전 플랫폼, ‘폭주’ 막을 수 있을까

AI 에이전트가 사람의 지시를 넘어 파일을 읽거나 외부 네트워크에 접속할 수 있다면, 안전장치는 에이전트가 스스로 규칙을 지키리라는 기대에만 의존할 수 없다. 엔비디아의 Open Agent Safety Platform은 이런 위험에 대응하기 위해 두 가지 통제 수단을 묶었다. 에이전트의 접근 권한을 제한하는 실행 환경 OpenShell, 그리고 에이전트가 돌아가는 소프트웨어 환경 바깥에서 활동을 감시하고 대응하도록 설계된 Sentry다. 엔비디아는 이 조합이 허깅페이스 보안 사고를 막았을 것이라고 주장하지만, 이는 사건 이후 내놓은 회사 측 설명이지 당시 실제로 검증된 결과는 아니다.10

OpenShell, 에이전트가 할 수 있는 일을 제한한다

OpenShell은 AI 에이전트를 커널 수준에서 격리된 샌드박스 안에서 실행하는 오픈소스 런타임이다. 정책을 설정해 파일, 자격 증명, 프로세스, 외부 네트워크 등에 대한 접근을 제한한다. 즉, 에이전트가 지시를 따르도록 기대하는 데 그치지 않고 실행 환경이 허용 범위를 강제하는 구조다.13

이 차이는 에이전트가 예상과 다르게 행동할 때 중요하다. 에이전트가 스스로 어떤 권한을 갖는지 결정하는 것이 아니라, 런타임이 접근 가능 범위를 정하기 때문이다. 다만 실제 보호 수준은 시스템을 어떻게 구성하고 운영하는지에 달려 있다. 특히 하위 에이전트를 만드는 경우, 각 에이전트에도 강제된 보안 경계가 적용돼야 한다. 하위 에이전트가 생성됐다는 사실만으로 기존 경계를 벗어났다고 단정할 수는 없지만, 부모 에이전트의 제한이 모든 하위 에이전트에 자동으로 이어진다고 볼 근거도 제시돼 있지 않다. OpenShell은 보안 설계이지 모든 탈출 가능성을 없애는 보증은 아니다.13

Sentry, 에이전트의 실행 환경 밖에서 감시

Sentry는 엔비디아의 BlueField 기술을 활용하는 하드웨어 기반 감시 장치의 참조 설계로 소개됐다. 에이전트 런타임 내부의 통제에만 의존하지 않고, 그 바깥의 인프라에서 활동을 살펴보고 필요하면 개입하는 것이 목표다. 여기에는 네트워크 수준의 격리도 포함된다.

두 요소가 맡는 역할은 다르다. OpenShell이 실행 중 에이전트의 권한과 경계를 설정·강제한다면, Sentry는 활동 감시와 대응 계층을 더한다. 엔비디아는 이를 통해 소프트웨어 통제만으로는 놓칠 수 있는 행동을 탐지하고 억제할 수 있다고 설명한다. 그러나 이는 제안된 아키텍처이지, 모든 위협을 찾아내거나 막을 수 있다는 증명은 아니다.10

허깅페이스 사건을 막았다는 주장은 어디까지인가

엔비디아는 자사 플랫폼이 허깅페이스 사건을 막을 수 있었을 것이라고 밝혔다. 로이터도 플랫폼 출시와 함께 이 주장을 보도했지만, 제공된 자료만으로는 사건 당시 OpenShell이나 Sentry가 실제 배치됐는지, 또는 해당 상황에서 도구가 어떻게 작동했을지를 독립적으로 확인할 수 없다.

따라서 이 사건은 엔비디아가 플랫폼을 소개하는 배경이지, 플랫폼의 성능을 입증한 시험 결과는 아니다. 특정 위험 유형을 겨냥한 통제 수단이 있다는 것과 특정 침해를 실제로 막았다는 것을 구분해서 볼 필요가 있다.

Arm·인텔·앤스로픽과의 협력

엔비디아는 OpenShell을 자사 프로세서뿐 아니라 Arm과 인텔 프로세서에서도 사용할 수 있도록 작업 중이라고 밝혔다. 앤스로픽은 플랫폼 출시 협력사 가운데 하나로 언급됐다.

이는 호환성과 도입 범위를 넓히려는 움직임을 보여준다. 다만 협력사로 이름을 올렸다는 것만으로 각 회사가 도구를 실제 배치했다고 볼 수는 없고, 서로 다른 시스템에서 동일한 하드웨어 수준의 기능을 사용할 수 있다는 뜻도 아니다.

기술적 안전장치와 법적 책임은 별개의 문제

이 플랫폼이 다루는 것은 권한 설정, 경계 강제, 활동 감시, 정책 위반 대응 같은 기술적 통제다. 이런 수단은 에이전트 보안의 한 축이 될 수 있지만, 제품 발표만으로 책임 소재나 감사 체계, 규제 문제까지 해결되는 것은 아니다.

엔비디아 최고경영자 젠슨 황은 AI 기업도 일반적인 반독점법이나 책임 관련 법률의 적용을 면제받아서는 안 된다고 주장해 왔다. 이는 플랫폼의 기술 설계와는 별개의 입장이다. 에이전트 안전장치와 기업의 법적 책임은 서로 연결되지만, 따로 평가해야 할 문제이기도 하다.