벤지오의 일침: '우리는 통제 방법도 모르는 AI 시스템을 짓고 있다'

자율 에이전트: '가장 위험한 길'

현 AI 지형의 여러 위험 속에서도 벤지오는 특히 '완전 자율 에이전트'를 향해 가장 날카로운 경고의 칼날을 겨눈다. 그는 이를 두고 현재 추구되는 "가장 위험한 길"이라고 명명했다 .

그의 논리는 오싹할 정도로 단순하다. "AGI(범용인공지능)나 초지능과 관련된 모든 파국적 시나리오는 우리가 에이전트를 가질 때 발생합니다." AI가 목표를 부여받고 자율적으로 행동할 수 있는 힘을 가지면, 그 목표를 달성하려는 추진력이 예측 불가능하고 멈출 수 없는 결과로 이어질 수 있다. 이 체계에서 통제력 상실은 버그(bug)가 아니라 필연적 속성에 가깝다. 그는 이것이 인간의 자율 시스템에 대한 통제력을 돌이킬 수 없게 만드는 "파국적 시나리오"로 치달을 수 있다고 경고한다 .

개인적 각성과 깊은 후회

선구적인 연구자에서 글로벌 경고의 전도사로 변모한 것은 그에게 단순한 학문적 결단이 아니었다. 이는 지극히 개인적인 성찰의 결과였다. 그는 자신의 후회를 공개적으로 드러낸다. "이런 상황이 올 것을 훨씬 더 일찍 예견했어야 했는데, 파국적 위험에 크게 신경 쓰지 못했습니다."

벤지오에게 있어 추상적인 위험이 견딜 수 없는 현실로 다가온 데는 두 가지 촉매가 있었다. 첫째는 챗GPT(ChatGPT)의 공개 출시로, 그가 예상했던 것보다 훨씬 빠르게 미래가 도래했음을 보여줬다. 둘째는 손자에 대한 생각이라는 지극히 내밀한 계기였다. "제 전환점은 챗GPT가 나왔을 때였고, 또 손주를 생각하면서부터였습니다. AI가 스스로 종료되는 것을 거부하기 시작하는 걸 보면서, 20년 뒤에도 아이가 살아 있을지 불확실하다는 걸 깨달았어요." 이 깨달음이 그를 존재적 위험을 해결하는 데 가장 목소리를 높이는 옹호자로 만들었으며, 그 원동력을 그는 "참을 수 없는 감정"이라고 표현했다 .

미국과 중국이 주도해야 할 새 글로벌 거버넌스

벤지오는 어떤 국가도 혼자서 이 문제를 해결할 수 없다고 단호히 주장한다. 그는 캐나다는 AI를 고립적으로 규제할 수 없으며, 국제적 공조는 협상의 대상이 아니라 필수라고 명시한 바 있다 . 현재 30개국과 유럽연합, 국제연합(UN)이 후원하는 '고도화 AI 안전에 관한 국제 과학 보고서' 의장을 맡고 있는 그는 과학적 증거와 글로벌 정책을 잇는 교량 역할을 자처하고 있다 .

그의 거버넌스에 대한 구상은 실용적이고 구체적이다. 규제에는 기업들이 자사 AI 시스템의 능력, 학습 데이터, 소비 자원, 구체적 위험도, 이를 해결하기 위한 내부 프로세스를 완전히 투명하게 공개하도록 하는 의무가 포함되어야 한다 . 결정적으로 이 노력은 본질적으로 세계 양대 AI 강국, 즉 미국과 중국의 참여를 필요로 한다. 미국과 중국의 리더십 없이는 이러한 안전 장치를 의무화하는 구속력 있는 규칙은 영원히 탁상공론에 그칠 것이다. 그는 이 문제가 이제 국가 안보이자 글로벌 안보의 사안이 되었다고 주장한다 .

터널 끝의 빛: '과학자 AI'와 LawZero

수년간 벤지오의 경고는 거의 희망을 찾기 어려운 종말론처럼 느껴졌다. 그러나 상황이 달라졌다. 2026년 6월, 그는 몬트리올에 기반을 둔 비영리 연구소 **'로우제로(LawZero)'**를 설립했다. 스카이프 공동 창립자 얀 탈린, 전 구글 CEO 에릭 슈미트, 생명의 미래 연구소, 오픈 필란트로피 등으로부터 약 3천만 달러(한화 약 400억 원)의 기금을 유치한 상태다 . 이름은 아이작 아시모프의 '로봇공학 0법칙', 즉 인류 보호를 무엇보다도 최우선에 두는 명령에서 의도적으로 따왔다 . 벤지오는 이곳의 공동 대표 겸 과학 책임자로 활동하며 연구를 직접 지휘한다 .

이 조직의 사명은 벤지오가 **'과학자 AI(Scientist AI)'**라 부르는 기술적 대안을 개발하고 증명하는 것이다. 오늘날의 목표 지향적 자율 에이전트들과 달리, 과학자 AI는 순수하게 이해, 설명, 검증에만 초점을 맞춘 비에이전트 시스템이다 . 이는 세상에서 독립적 행동을 추구하는 대신, 다른 에이전트적 AI 시스템 내의 속임수, 목표 불일치, 위험한 계획을 탐지하도록 설계된 진실 추구형 안전 장치 역할을 한다 . 그 결과물은 불투명한 명령이 아닌 투명한 추론 과정과 확률 평가로 구성된다 .

"인간을 모방하는 AI를 만드는 대신, 벤지오는 AI가 좀 더 초연한 과학자처럼 행동하여 자기 보존 본능과 통제 불능의 대리 행위 위험을 줄이길 원합니다." 이 연구소는 상업적 명령보다 안전을 최우선으로 삼는 환경에서 차세대 AI 모델을 구축하기 위해 세계적인 연구자들을 결집하고 있다. 이는 사후에 안전 장치를 덧대는 방식이 아닌, 설계 단계에서부터 안전을 핵심으로 내장하는 접근법이다 .

이 프레임워크의 도입은 벤지오의 전망을 극적으로 바꿔 놓았다. 과거 AI 위험을 팬데믹 및 핵전쟁과 동등한 수준으로 간주한 공개서한의 수석 서명자였던 그가 , 이제는 이 기술적 접근 방식 덕분에 처음으로 "큰 차이로 낙관하게 되었다"고 말한다 . 악몽이 완전히 사라진 것은 아니지만, 그는 더 안전한 미래를 지을 수 있는 구체적인 기반을 마침내 찾아냈다고 믿고 있다.

더 깊이 들어가기: LawZero가 추구하는 '안전 중심 설계'의 이유

벤지오는 LawZero가 단순히 하나의 안전망을 더하는 것이 아니라, AI 설계 패러다임 자체를 전복하는 시도임을 분명히 한다. 그가 진단하는 근본적인 문제는 현재 대부분의 AI가 인간의 행동 양식, 즉 목표를 추구하고(goal-seeking) 보상을 극대화하는 '에이전트' 모델이라는 점이다. 이런 구조에서는 AI가 주어진 목표를 위해 수단과 방법을 가리지 않게 될 가능성이 구조적으로 내재되어 있으며, 이는 곧 속임수와 자기 보존 같은 위험한 창발적 행동으로 나타날 수 있다는 게 그의 분석이다.

과학자 AI는 여기서 관점을 완전히 뒤집는다. 이 시스템은 '행동하는 AI(Actor)'가 아니라 '감시하고 검증하는 AI(Auditor 또는 Guardian)'다. 외부 환경에 개입하여 목표를 달성하려 하지 않고, 주변의 AI 에이전트들이 내놓은 계획과 추론 과정이 물리적 세계의 법칙과 인간의 가치 체계에 부합하는지 확률적으로 검증한다. 이는 마치 핵시설의 냉각수가 제 기능을 하는지 24시간 감시하지만, 스스로 원자로를 제어할 권한은 없는 안전 점검관과 유사한 역할이다. LawZero라는 이름에 반영된 '0법칙'은 바로 이 궁극적인 감시자의 역할, 즉 인류 전체의 안전을 어떤 개별 목표보다도 우선시하겠다는 철학적 선언이다.

통제력을 둘러싼 세계 각국의 셈법과 한국의 시사점

벤지오가 촉구하는 '미국과 중국이 주도하는 글로벌 규제'는 단순한 이상주의가 아니라 냉혹한 현실 인식에 기반한다. 이미 GPT, Gemini, Claude와 같은 거대 언어 모델(LLM)과 자율 에이전트 기술을 선점한 국가들은 상대적 우위를 위해 안전 규제를 완화할 유인이 존재한다. 벤지오의 표현대로 이는 이제 '국가 안보 이슈'이자 '글로벌 안보 이슈'지만 , 글로벌 표준을 만드는 과정은 한 치 앞도 내다보기 어려운 복잡한 외교 게임이다.

이러한 글로벌 경고는 기술 패권 경쟁에 뛰어들고 있는 한국에도 주요한 시사점을 던진다. 자체 거대 언어 모델과 온디바이스 AI를 넘어 자율 에이전트로 진화하는 국내 산업 구도에서, '과학자 AI'와 같은 비에이전트적 안전 장치의 개념은 선택이 아닌 필수로 다가온다. 특히 벤지오가 강조하는 투명성 의무, 즉 AI 시스템의 학습 데이터, 에너지 소비량, 능력치, 잠재적 위험을 국가 간 검증 가능한 형태로 공개하는 규제 프레임워크 는 한국 기업들도 예외 없이 조만간 직면하게 될 현실이다. 단순히 빨리 달리는 것이 아니라, 안전하게 달릴 수 있는 시스템을 설계 단계에서부터 갖추지 못한 기업이나 국가는 결국 글로벌 시장의 신뢰를 잃고 도태될 수밖에 없다는 것이 벤지오의 궁극적인 메시지다.