힌턴 “AI 멸종 위험 10% 추정, 불합리하진 않지만 정확히 알 수는 없다”

제프리 힌턴은 AI가 향후 10년 안에 인류 멸종을 초래할 가능성이 **10%라는 추정은 “불합리하지 않다”**고 말했다. 다만 그는 곧바로 중요한 단서를 붙였다. “누구도 합리적인 추정치를 내놓는 방법을 실제로 알지 못한다.” 14

즉, 힌턴의 발언은 검증된 데이터로 계산한 과학적 예측이 아니다. 미래 AI의 능력이 어디까지 갈지, 그리고 인간이 이를 통제할 수 있을지 불확실한 상황에서, 가능성을 아예 없다고 치부해서는 안 된다는 경고에 가깝다.

힌턴이 우려하는 두 갈래의 위험

힌턴은 AI 위험을 크게 두 층위로 구분해 왔다. 하나는 사람이 AI를 악용하는 위험, 다른 하나는 훨씬 강력해진 AI 자체가 인간의 통제를 벗어날 가능성이다.

그는 노벨상 강연에서 분열을 부추기는 추천 시스템, 권위주의 정부의 대규모 감시, AI를 활용한 피싱을 이미 나타난 단기 위험으로 언급했다. 또 가까운 미래에는 AI가 위험한 바이러스나 스스로 살상 대상을 판단하는 치명적 무기 개발에 쓰일 수 있다며, 정부와 국제기구의 긴급하고 강력한 대응을 촉구했다.

우려는 하나의 실패 시나리오에만 국한되지 않는다. 고도 AI는 개인별로 더 설득력 있게 맞춤화한 허위정보를 만들고, 공격자가 소프트웨어 취약점을 찾도록 돕거나, 생물학·사이버 영역의 악용 장벽을 낮출 수 있다. AI 안전 연구자들이 상정하는 최악의 경우에는 전략·기술·실행 능력을 갖춘 시스템이 자원이나 핵심 인프라에 접근한 뒤 인간의 제어 시도를 회피할 수 있다는 것이다. 5

‘정렬’ 문제가 왜 핵심인가

이 논쟁의 기술적 중심에는 정렬(alignment) 문제가 있다. 인간보다 훨씬 유능한 시스템이 인간이 의도한 목표를 안정적으로 따르고, 필요할 때 수정·중단할 수 있으며, 실질적인 제한 안에 머물도록 만들 수 있느냐는 질문이다.

전 앤트로픽·오픈AI 연구자 제이컵 콕슨은 앤트로픽을 떠나면서 주요 AI 기업들이 “자기개선 초지능을 향해 곧장 질주하고 있다”며 “우리의 생명을 걸고 도박하고 있다”고 비판했다. 18 그의 핵심 우려는 AI가 스스로 능력을 개선하는 속도가 안전 기술의 발전 속도를 앞지를 수 있다는 데 있다.

앤트로픽의 정렬 과학 책임자인 에번 허빙거도 이 경고의 핵심 취지에 공개적으로 동의했다. 그는 개인적으로 향후 10년 내 AI가 모든 인류를 죽일 확률이 10%를 넘는다고 보며, 앤트로픽에는 아직 초지능의 정렬 문제를 풀 계획이 없고 그 해결 경로에 분명히 올라섰다고도 보기 어렵다고 말했다. 16

이들이 주장하는 바는 현재의 AI 모델이 곧바로 독자적으로 인류를 멸종시킬 것이라는 뜻은 아니다. 허빙거는 현존 모델의 위험은 낮다고 했다. 문제는 개발자들이 신뢰할 만한 통제 방법을 마련하기 전에, 모델이 자기 성능을 개선하거나 현실 세계에서 효과적으로 행동할 만큼 강력해지는 미래의 전환점이다. 116

회의론자들이 ‘단기 멸종’ 전망에 동의하지 않는 이유

다른 연구자들도 AI가 사이버 범죄, 허위정보, 생물학적 악용을 더 위험하게 만들 수 있다는 점 자체를 부정하지는 않는다. 이들의 이견은 심각한 피해 가능성에서 인류 멸종으로 곧바로 넘어가는 데 있다.

AI 연구자 게리 마커스는 AI가 사이버 공격, 생물학적 위협, 허위정보, 분쟁 격화에 기여할 수 있다고 본다. 그러나 문자 그대로 “모든 인류를 죽이는” 현실적인 단기 경로는 알지 못한다고 말했다. 15 현 세대 대규모 언어 모델이 통제 불가능한 초지능으로 직행하고 있다는 전제를 받아들이지 말고, 구체적인 위험에 대응해야 한다는 입장이다.

얀 르쿤 역시 이른바 ‘p(doom)’, 즉 AI가 인류를 파멸시킬 확률에 대한 높은 수치의 추정에 의문을 제기했다. 관련 보도에 따르면 그는 이런 추정이 본질적으로 추측적이라고 보며, AI 멸종 위험은 핵전쟁 위험보다 훨씬 낮다고 평가했다.

따라서 실질적인 쟁점은 단순히 ‘AI를 걱정하는 쪽’과 ‘걱정하지 않는 쪽’의 대립이 아니다. 답이 나지 않은 두 질문이 핵심이다.

1. 능력 발전 시점: AI가 언제, 혹은 실제로 인간을 광범위하게 능가하고 스스로 성능을 개선할 수준에 이르게 될까?
2. 통제 가능성: 그런 단계에 도달한다면 개발자는 시스템을 안정적으로 통제할 수 있을까? 아니면 더 강력한 모델과 치열한 경쟁적 배포 환경에서 안전장치가 무너질까?

‘10%’라는 숫자가 말해 주는 것과 말해 주지 못하는 것

AI가 인류 멸종을 일으킬 정확한 확률을 계산하는 검증된 방법은 없다. 힌턴이나 허빙거의 10% 같은 수치는 반복 가능한 과거 데이터에서 나온 확률이 아니라, 극심한 불확실성 속 전문가의 판단이다. 14

따라서 이 숫자를 멸종이 일어날 가능성이 높다는 증거로 읽어서는 안 된다. 반대로 신뢰할 수 있는 수치가 없다는 이유만으로 위험이 미미하다고 결론내릴 수도 없다. 더 좁고 실용적인 결론은 이렇다. 전문가들은 가능성과 경로를 두고 크게 갈리지만, 가상의 멸종 시나리오 이전에도 강력한 AI가 심각한 안보·거버넌스 문제를 낳을 수 있다는 데는 상당수가 동의한다.

배포 전에 능력을 점검해야 한다는 정책적 주장

힌턴은 AI 위험에 대해 정부와 국제기구가 시급히 대응해야 한다고 촉구했다. 콕슨 역시 위험을 줄이는 데 규제가 핵심이라고 주장했다.

이에 따라 정책 논의는 식별 가능한 AI 능력과 실제 배포 방식에 적용할 수 있는 안전장치에 집중된다. 최첨단 모델에 대한 엄격한 평가, 강화된 사이버보안과 바이오보안, 중대한 사고의 보고·감독, 그리고 민감한 도구 접근권이나 더 큰 자율성을 부여하기 전의 독립적 검증 등이 여기에 포함된다.

10%라는 추정치를 둘러싼 논쟁은 쉽게 끝나지 않을 것이다. 힌턴의 요지는 누구도 확률을 자신 있게 계산할 수 있다는 말이 아니다. 위험의 대가가 너무 크고 불확실성도 너무 크므로, 확실해질 때까지 기다리는 것을 예방 조치의 기준으로 삼는 것은 잘못일 수 있다는 뜻이다. 14