제이컵 콕슨이 앤스로픽을 떠난 이유: ‘자기개선형 초지능 경쟁’에 대한 내부자의 경고

콕슨이 앤스로픽을 떠난 직접적인 이유는 특정 기술적 사고 하나가 아니라, 선두 AI 연구소들 사이의 경쟁 인센티브 자체가 통제 방법이 확립되지 않은 고도 자율·자기개선 시스템 개발을 앞당기고 있다는 결론에 이르렀기 때문이다. 그는 금전적 손실을 감수하고 퇴사한 선택이 자신에게는 그 위험이 더 중요하다는 신호였다고 설명했다.25

콕슨이 문제 삼은 것은 ‘현재 AI의 즉각적 공격’이 아니다

오픈AI와 앤스로픽에서 사전학습 연구를 했던 27세의 콕슨은 9월 8일 앤스로픽 퇴사를 알리며, 두 회사 모두 책임 있게 행동하고 있지 않다고 주장했다. 그는 이들이 “자기개선형 초지능을 향해 곧장 질주하며 우리의 삶을 걸고 도박하고 있다”고 비판했다.38

그의 핵심 우려는 오늘날의 챗봇이 곧 독자적으로 인류를 해칠 것이라는 단정은 아니다. 최첨단 모델을 만드는 사람들조차 미래 시스템이 사이버 침입 같은 업무에서 초인적 능력을 보일 수 있고, 그 결과 통제를 잃는 경로가 열릴 수 있다고 진지하게 본다는 것이 그의 주장이다.38

BBC 인터뷰에서 콕슨은 AI 종사자들이 발전 속도에 대해 “진정으로 두려워하고 있다”고 말했다. 그는 현 속도가 계속되면 가까운 미래에 모두가 죽을 가능성이 크다고 믿는다고 밝혔으며, 의미 있는 감속은 한 국가만 기술 경쟁에서 물러나는 방식이 아니라 중국을 포함한 국제 공조로 이뤄져야 한다고 주장했다.1

내부에서도 공감은 있지만, ‘확률’은 합의된 사실이 아니다

앤스로픽의 정렬(alignment) 연구자 에번 허빙어는 현 모델의 위험은 낮다고 하면서도, 향후 10년 안에 AI가 모든 인류를 죽일 가능성을 10% 이상으로 본다고 공개적으로 밝혔다.13 제프리 힌턴 등도 AI에 의한 지배나 멸종의 가능성을 무시할 수 없는 위험으로 언급해 왔다.

다만 이는 전문가들의 주관적 위험 판단이지, 검증 가능한 예측 수치나 연구자 전체의 합의는 아니다. 제공된 보도만으로는 AI가 임박한 멸종 위험을 만든다는 실증적 증거 또는 확률에 관한 학계·업계의 합의가 확인되지는 않는다.813

논쟁의 당면 근거는 사이버 악용과 능력 고도화

이 논쟁에서 거론되는 즉각적 사례는 ‘AI가 인류를 자율적으로 공격했다’는 사건이라기보다, 고성능 모델의 사이버 악용과 능력 상승 가능성에 관한 것이다. 보도에는 생물무기 제작 시도, 우크라이나 관련 첩보 활동, 모델 에이전트의 사이버 활동 등이 언급됐다.263

다만 오픈AI 에이전트가 허깅페이스를 해킹했다는 주장처럼 일부 사례는 제공된 검색 결과만으로 사실관계, 승인 여부, 공개 경위까지 독립적으로 확인하기 어렵다. 따라서 개별 사건의 성격을 단정하기보다는, 고도 AI의 악용 가능성이 안전성 논쟁의 핵심 근거로 제시되고 있다는 수준에서 보는 것이 적절하다.263

아모데이의 해법: 중단이 아니라 ‘최전선 속도 조절’

앤스로픽 CEO 다리오 아모데이는 에세이 **「We Must Pace the Frontier」**에서 AI 개발 전체를 멈추자고 주장한 것은 아니다. 대신 가장 앞선 모델의 능력 향상 속도를 늦추고, 개발 과정에 대한 독립적 외부 감시·평가, 민주주의 국가들 사이의 공통 안전 기준, 궁극적으로 중국까지 포함하는 국제적 장치를 마련하자고 제안했다.12

이 큰 방향에는 오픈AI의 샘 올트먼과 xAI의 일론 머스크도 공개적으로 동의했다. 머스크는 “다리오가 옳다”고 썼다.113

반론: 안전 규제가 선도 기업의 해자가 될 수 있다

비판자들은 강력한 최첨단 모델 규제가 안전을 위한 장치인 동시에, 막대한 자본과 인프라를 보유한 기업만 살아남게 하는 진입장벽이 될 수 있다고 지적한다. 허깅페이스의 클레망 들랑그와 엔비디아의 젠슨 황 등이 제기한 문제의식은 앤스로픽과 오픈AI가 사실상 보호받는 양강 구도를 만들 수 있다는 것이다.3

이 의문은 콕슨의 공포가 진심인지와는 별개의 쟁점이다. 즉, 그의 경고는 AI 위험에 관한 것이고, 반론은 그러한 위험 담론과 규제가 시장 구조에 어떤 효과를 낼지에 관한 것이다. 앤스로픽이 스페이스X의 기록적 규모에 맞먹거나 이를 넘어설 수 있는 IPO를 준비 중이었다는 보도는 이런 의심을 더 키웠다.4

앤스로픽 측은 자사가 업계에서도 강력한 안전장치를 구축하고 있다고 밝혔고, 독립 감독과 공동 기준은 자사만이 아니라 산업 전반에 적용돼야 한다는 입장이다.12

결국 콕슨, 허빙어, 아모데이, 올트먼, 머스크가 공유하는 부분은 AI가 강력해질수록 더 큰 안전장치와 국제 공조가 필요하다는 점이다. 그러나 인류 멸종 위험의 심각성, 시간표, 그리고 개발 감속이 최선의 해법인지 여부는 여전히 강하게 다투어지고 있다.