힌턴 “향후 10년 AI 인류 멸종 위험 10%, 불합리한 추정 아냐”

노벨상 수상 컴퓨터 과학자이자 현대 AI의 선구자로 꼽히는 제프리 힌턴은 향후 10년 안에 AI가 모든 인류를 죽일 가능성이 10%라는 추정은 불합리하지 않다고 말했다. 그러나 그는 곧바로 중요한 단서를 달았다. **“누구도 합리적인 추정치를 낼 방법을 정말로 알지 못한다”**는 것이다. 91012

따라서 이는 인류 멸종이 일어날 것이라는 예언도, 현재의 챗봇이 이미 그런 위험을 지녔다는 주장도 아니다. 인간을 훨씬 뛰어넘는 능력을 갖춘 AI가 등장했는데도 통제가 어려운 상태로 남을 경우를 대비해야 한다는 예방적 경고에 가깝다.

힌턴이 말한 ‘10%’의 뜻

힌턴은 BBC 시사 프로그램 뉴스나이트(Newsnight) 인터뷰에서 10년 내 AI발 인류 멸종 위험 10%가 불합리한 수치는 아니라고 답했다. 근거는 확신이 아니라 불확실성이다. 인류는 자신보다 지능이 높아질 수 있는 존재와 공존해 본 적이 없다는 것이 그의 문제 제기다. 910

그는 이전에도 더 긴 시간대를 놓고 비슷한 우려를 밝혀 왔다. 2024년 말에는 30년 안에 AI가 인류 멸종으로 이어질 확률을 10~20%로 봤고, 2025년에는 이 수치가 계산된 예측이 아니라 직관에 따른 판단이라고 설명했다. 1415

핵심은 위험 추정치와 필연적 미래 예측은 다르다는 점이다. 힌턴의 주장은 불확실하니 안심해도 된다는 것이 아니라, 피해 규모가 극단적으로 큰 사안인 만큼 불확실성 자체가 신중함의 이유가 된다는 쪽에 가깝다.

왜 ‘미래의 초인간 AI’를 우려하나

여기서 상정하는 것은 영화 같은 기계 반란이 아니다. 힌턴이 우려하는 시나리오는 인간보다 전략적·기술적으로 훨씬 뛰어난 AI가 혼란을 일으키거나, 인간의 이익과 충돌하는 목표를 추구하는 경우다.

보도에서 거론된 위해 경로로는 사람을 조종하는 일, 생물학적 바이러스나 컴퓨터 바이러스 제작, 사이버 공격, 핵심 기반시설 교란 등이 있다. 이는 고성능 미래 AI가 초래할 수 있다고 제시된 경로이지, 오늘날 AI 도구가 이미 입증한 능력은 아니다. 1011

이 구분은 중요하다. 앤트로픽의 정렬 과학 책임자 에번 허빙거는 현존 모델에서 비롯되는 위험은 낮다고 명시했다. 그 역시 우려하는 지점은 시스템이 훨씬 더 강력해지거나, 연구자들이 안전하게 관리할 수 있는 속도보다 빠르게 자기 개선을 할 가능성이다. 11624

앤트로픽 내부에서 나온 경고: 제이컵 콕슨과 에번 허빙거

최근 논쟁은 제이컵 콕슨이 앤트로픽과 AI 업계를 떠난 뒤 더 커졌다. 콕슨은 앤트로픽과 오픈AI가 자기 개선형 초지능을 향해 충분히 책임 있게 행동하지 않은 채 경쟁하고 있다며, 이를 인간의 목숨을 건 도박이라고 비판했다. 317

다만 콕슨이 인류가 2030년까지 끝난다고 단정적으로 예측한 것은 아니다. 그의 더 제한적인 주장은 최첨단 AI를 만드는 사람들이 이 기술이 2020년대 말까지 모두를 죽일 수 있다고 진지하게 믿고 있다는 것이었다. 57

허빙거는 이 우려의 심각성에 공개적으로 동조했다. 그는 향후 10년 내 AI가 모든 인류를 죽일 가능성을 개인적으로 10%보다 높게 본다고 썼다. 또 앤트로픽이 최선을 다하고 있다고 믿지만, 초지능 AI의 정렬 문제를 풀 계획은 아직 없으며 그 해법을 향해 분명히 나아가고 있다고도 보기 어렵다고 덧붙였다. 16

AI 정렬이란 무엇인가

AI 정렬(alignment)이란 고도화된 AI가 개발자가 의도한 인간의 목표에 지속적으로 부합해 행동하고, 예상하지 못한 상황에서도 통제 가능하도록 만드는 문제를 뜻한다.

안전 연구자들에게 이는 단지 AI가 나쁜 요청을 거절하게 하는 수준의 문제가 아니다. 광범위한 자율성, 각종 도구 접근권, 운영자도 완전히 이해하지 못하는 능력을 지닌 시스템을 현실의 압박 속에서 안전하게 지휘할 수 있느냐는 질문이다.

허빙거의 발언은 초지능 정렬이 불가능하다는 증거는 아니다. 다만 그의 판단에 따르면, 그런 시스템이 등장할 수 있는 시점 전에 이를 정렬할 검증된 해법은 아직 없다는 뜻이다. 16

다른 전문가들의 공감대와 이견

힌턴의 정확한 10% 수치에 합의가 있는 것은 아니다.

AI 비평가이자 인지과학자인 게리 마커스는 초지능이 안전하고 통제 가능하게 개발될 수 있다는 과학적 합의가 없을 때 이를 개발하는 것은 어리석다는 힌턴의 예방 원칙에 동의했다. 그러나 보도에 따르면 마커스는 가까운 시기에 인류 멸종으로 이어질 현실적 경로가 있다고 보지는 않는다. 안전장치가 필요하다는 데 동의한다고 해서 재앙의 확률이나 시점까지 같게 보는 것은 아니라는 점을 보여준다. 1141

AI의 장기 위험에 대한 우려와, 현재 기술 흐름이 조만간 자율적이고 통제 불가능한 초지능으로 이어질 수 있는지에 대한 회의론은 공존한다. 그래서 이런 확률 수치는 측정값이라기보다 전문가 개인의 판단으로 읽어야 한다.

결국 남는 정책 질문

가장 넓은 공통분모는 AI 멸종이 확실하다는 주장이 아니다. 운영자보다 뛰어난 시스템의 통제권을 잃을 가능성이 무시할 수 없는 수준이라면, 개발 속도가 안전 연구를 앞지르기 전에 공개적 검증이 필요하다는 주장이다.

힌턴의 추정, 콕슨의 사직, 허빙거의 정렬 경고는 같은 미해결 질문으로 이어진다. 전략적으로 인간을 능가할 수 있는 시스템을 배포하거나 계속 확장하기 전에, 사회는 어떤 안전성 증거를 요구해야 하는가.

독자가 이 논쟁을 볼 때는 흔히 뒤섞이는 세 가지 주장을 분리할 필요가 있다.

• 현재 AI 모델이 인류 멸종급 위협을 가한다.
• 미래 AI는 그런 위협을 낳을 능력을 얻을 수 있다.
• 그 결과의 확률을 정밀하게 계산할 수 있다.

제시된 자료는 두 번째를 저명 연구자들이 제기한 심각한 우려로 뒷받침한다. 반면 허빙거는 현존 모델의 위험이 낮다고 했고, 힌턴은 확률 자체를 신뢰성 있게 계산할 수 없다고 말했다. 11016