앤트로픽 연구책임자의 ‘AI 멸종 위험 10%’ 발언이 드러낸 정렬 논쟁의 핵심

에번 허빙거의 공개 발언이 AI가 인류를 멸종시킬 것이라는 사실을 입증한 것은 아니다. 다만 훨씬 구체적이고 중요한 사실을 드러냈다. 앤트로픽의 정렬 과학 책임자가 향후 10년 안에 그런 일이 벌어질 개인적 가능성을 10%보다 높게 본다고 말했고, 회사가 초지능의 정렬 문제를 풀 계획도, 그 해법에 이르는 뚜렷한 경로도 아직 갖고 있지 않다고 인정한 것이다. 12

이 조합은 전 앤트로픽·오픈AI 연구자 제이컵 콕슨의 퇴사 경고에 무게를 실었다. 최전선 AI 연구소들이 훨씬 강력한 시스템을 향해 나아가는 반면, 그 시스템을 인간의 의도와 목표에 안정적으로 맞추는 방법은 아직 검증되지 않았다는 우려다. 여기서 ‘정렬(alignment)’이란 AI가 인간이 의도한 목표와 제약을 따르도록 만드는 문제를 뜻한다. 23

‘10% 초과’는 회사 결론이 아니라 개인 전망이다

가장 먼저 구분해야 할 점은 이 수치가 허빙거 개인의 판단이라는 사실이다. 앤트로픽의 공식 위험 추정치도, 전 직원의 합의도, 확립된 과학적 예측도 아니다. 12

확률 수치 하나만으로 재난이 일어나는 경로, 시점, 발생 가능성이 증명되는 것도 아니다. 허빙거는 현재 존재하는 모델이 초래할 위험은 낮다고 봤다. 그가 우려한 것은 미래 AI가 훨씬 강력해지고, AI 능력을 이용해 더 강력한 AI를 만드는 재귀적 자기개선이 진행되는 상황이다. 210

그럼에도 이 발언이 주목받는 이유는 대형 최전선 AI 연구소에서 정렬 연구를 이끄는 인물에게서 나왔기 때문이다. 핵심은 자극적인 ‘10%’라는 숫자 자체보다, 성능 발전 속도와 초지능을 인간 통제 아래 둘 수 있다는 확신 사이에 여전히 큰 간극이 있다는 고백이다. 12

콕슨의 퇴사 경고와 맞닿은 지점

콕슨은 오픈AI와 앤트로픽에서 모두 일한 뒤 퇴사하며, 두 회사가 책임 있게 행동하지 않고 자기개선형 초지능을 향해 경쟁하고 있다고 비판했다. 허빙거는 AI를 만드는 사람들이 멸종 수준의 결과를 실제 가능성으로 진지하게 고려한다는 콕슨의 핵심 주장에 공개적으로 동의했다. 23

그렇다고 모든 직원이 같은 견해를 공유한다는 뜻은 아니며, 콕슨의 주장이 두 회사를 독립적으로 검증한 평가가 되는 것도 아니다. 다만 현직 정렬 책임자가 그 문제의식을 확인하면서, 그의 퇴사 발언을 한 전직 직원의 고립된 불만으로만 치부하기는 어려워졌다. 심각한 내부 우려와 최전선 개발의 지속은 동시에 존재할 수 있다는 점이 드러났기 때문이다. 12

사무엘 마크스의 관련 발언도 같은 원칙으로 읽어야 한다. 보도에 따르면 그는 AI 개발자들이 자신의 기술이 인류 멸종 또는 그에 준하는 심각한 결과를 낼 수 있다고 믿는다고 말했지만, 이는 회사 전체의 위험 추정치를 보여주는 공개 자료가 아니라 내부자의 견해다. 5

본질은 ‘불확실성 아래의 통제’ 문제다

이 사안은 흔히 ‘AI 종말론 대 AI 낙관론’으로 단순화된다. 하지만 더 실질적인 질문은 따로 있다. 피해가 전 지구적이고 되돌리기 어려울 수 있는 반면, 그 확률과 시점은 매우 불확실하다면 어떤 안전장치를 의무화해야 하는가다.

허빙거의 발언은 몇 가지 쟁점을 선명하게 한다.

• 정렬 문제는 아직 풀리지 않았다. 연구소가 최선을 다한다는 말과, 현 시스템보다 훨씬 강력한 AI를 통제할 검증된 방법이 있다는 말은 다르다. 1
• 경쟁은 자율적 감속을 어렵게 할 수 있다. 콕슨의 비판은 중대한 안전 문제가 풀리지 않았는데도 경쟁 압력이 더 높은 능력의 시스템 개발을 밀어붙인다는 데 있다. 23
• 현재 모델의 안전성만으로는 충분하지 않다. 허빙거는 현 모델의 위험을 낮게 보면서도, 훨씬 강력해질 미래 시스템의 위험을 별도로 제기했다. 210
• 외부 검증이 중요하다. 대중·고객·정부는 독립 평가와 투명한 보고 없이는 기업의 내부 안전 절차를 평가하기 어렵다.

이는 임박한 재난의 증거가 아니다. 그러나 위험한 능력이 실제로 생긴 뒤에는 해결하기 더 어려워질 수 있는 거버넌스 문제다.

투명성 논란이 더한 압박

보도에 따르면 앤트로픽은 최신 모델 출시 전 영국 AI 안전 연구소의 시험에 해당 모델을 제출하지 않았다. 다만 이는 회사나 영국 정부가 공개적으로 확정한 조사 결과가 아니라 보도에 근거한 내용이므로 신중히 다뤄야 한다. 10

그럼에도 이 사안은 자발적 안전 약속에 왜 회의가 따라붙는지 보여준다. 기업의 안전 책임자들조차 정렬 문제가 미해결이라고 말한다면, 외부에서는 어떤 시험이 이뤄졌는지, 누가 검토했는지, 결과가 어디까지 공유됐는지, 어느 능력 수준에서 더 강한 통제가 발동되는지를 물을 수밖에 없다.

‘속도를 늦추자’는 말의 실제 의미

개발 속도를 늦추자는 요구가 모든 AI 연구와 도입을 영구히 중단하자는 뜻일 필요는 없다. 중요한 능력 임계점을 넘기 전에 강제력 있는 점검 장치를 갖추자는 정책적 주장에 가깝다.

가능한 조치로는 다음이 거론된다.

• 출시 전 독립적인 능력·안전성 평가
• 심각한 사고와 실질적으로 위험한 능력에 대한 보고 의무
• 더 강한 보안·거버넌스 통제가 필요한 능력 기준의 명확화
• 개발사 내부 보증에만 의존하지 않는 감사 체계
• 경쟁 때문에 어느 한 기업이나 국가가 안전 기준을 낮추지 않도록 하는 국제 공조

논리는 단순하다. 확률은 불확실해도 피해 규모가 극단적일 수 있다면, 통제 상실 뒤가 아니라 그 전에 안전장치가 실제로 작동함을 입증해야 한다는 것이다.

결국 드러난 것은 무엇인가

허빙거의 글은 최전선 AI 개발의 핵심 긴장을 드러냈다. 선도 기업의 구성원들은 장기적으로 매우 심각한 위험을 공개적으로 인정하면서도, 바로 그 위험을 긴급하게 만들 수 있는 능력을 향해 계속 개발을 진행할 수 있다. 12

그의 발언은 파국적 AI 피해의 확률을 확정하지 않으며, 앤트로픽의 공식 예측으로 읽어서도 안 된다. 하지만 정렬 논쟁을 훨씬 구체적으로 만들었다. 이제 질문은 고도 AI가 위험해질 수 있는가에만 머물지 않는다. 기업과 정부가 독립적 증거, 집행 가능한 규칙, 국제 공조를 통해 해당 시스템이 안전하게 통제하기 어려운 수준에 이르기 전에 준비돼 있음을 보여줄 수 있는가에 달려 있다. 110