앤드루 응 “AI 멸종론은 SF에 더 가깝다”…안전의 초점은 현실적 위험

앤드루 응의 요지는 AI가 무해하다는 말이 아니다. 인류 멸종이 임박했다는 주장은 아직 지나치게 추측적이므로, 그것이 AI 정책 전체를 이끄는 기준이 되어서는 안 된다는 것이다.

구글 브레인 공동 설립자이자 코세라 공동 설립자인 응은 9월 17일 블룸버그 TV 인터뷰에서 AI가 인류를 멸종시킬 수 있다는 경고를 “과학보다 공상과학에 훨씬 더 가깝다”고 표현했다. 그는 AI 안전을 중단이나 공포의 문제가 아니라, 시험과 안전장치, 지속적 개선을 통해 다뤄야 할 공학 분야로 봤다.2

응이 본 ‘멸종 위험’ 주장

응은 AI 시스템이 결코 완벽하게 예측 가능하지는 않을 것이라고 인정했다. 그러나 예측이 완벽하지 않다는 사실만으로 AI 개발을 폭넓게 늦춰야 한다는 결론이 나오지는 않는다고 주장했다. 배포 전후의 테스트, 안전장치, 공학적 개선으로 시스템의 안전성을 계속 높일 수 있다는 설명이다.2

또한 AI 개발 전반의 속도를 낮추면 안전 연구와 안전 기술의 발전 자체도 늦어질 수 있다고 경고했다.2

이 지점에서 응은, 능력이 높아진 AI가 통제를 벗어날 수 있다는 우려를 중심에 두는 견해와 갈린다. 그의 입장은 가상의 멸종 시나리오보다 이미 관찰할 수 있고 대응 방법도 찾을 수 있는 실패 유형부터 다루자는 쪽에 가깝다.

‘종말론’ 서사를 경계한 이유

응은 실존적 AI 위험에 대한 경고가 기술이 사회에 제공할 수 있는 혜택을 충분히 실현하는 데 오히려 해가 될 수 있다고 말했다. 또 AI 붐 초기 업계가 관심을 끌고 규제 논의에 영향을 주기 위해 재앙적 피해에 대한 두려움을 부추긴 적이 있다고 지적했다.1

이는 위험 자체뿐 아니라 인센티브의 문제이기도 하다. 극적인 경고는 대중의 관심을 모으고, 규제의 방향은 기업이 부담해야 할 비용과 사업 환경을 바꿀 수 있다. 다만 응은 안전 연구를 멈추자고 한 것이 아니다. 멸종 주장을 확립된 과학처럼 취급하거나 전면적 감속의 근거로 삼는 데 반대한 것이다.

응이 우선하자고 한 안전 과제

응의 대안은 실용적 위험 감소다. 인터뷰 관련 보도는 그가 사이버 보안을 비롯한 구체적 안전장치를 우선 과제로 꼽았다고 전했다.5

이를 운영 원칙으로 풀면 다음과 같다.

• 엄격한 테스트: 배포 전뿐 아니라 배포 뒤에도 체계적으로 점검한다.
• 안전장치와 가드레일: 이미 알려진 실패 유형과 오남용 경로를 제한한다.
• 반복적 공학 개선: 새 문제가 발견될 때마다 신뢰성과 통제력을 높인다.
• 예견 가능한 피해에 집중: 멸종 시나리오에 정책 역량을 집중하기보다 사이버 보안 등 구체적 위험을 우선한다.25

이 접근이 완벽한 통제를 약속하는 것은 아니다. 대신 다른 공학 분야처럼, 평가와 개선을 반복해 유용한 기술을 충분히 신뢰할 수 있는 수준으로 만들어 갈 수 있다는 논리다.

‘속도 조절’ 진영과의 차이

AI 안전이 중요하다는 점에는 여러 인물이 동의한다. 그러나 최첨단 모델의 개발 속도에 관해서는 결론이 크게 다르다. 여기서 ‘프런티어 AI’는 현시점에서 가장 성능이 높은 범용 AI 모델과 이를 개발하는 연구소를 뜻한다.

제이컵 콕슨: 훨씬 높은 위험 추정

전 앤트로픽·오픈AI 연구원 제이컵 콕슨은 앤트로픽을 떠난 뒤, 자기 개선이 가능한 시스템을 향한 빠른 개발이 재앙적 결과를 낳을 수 있다고 경고했다. 그는 개발 감속이 필요하다고 주장했으며, 이후 앤트로픽의 속도 조절 제안을 환영했다.3343

다리오 아모데이: 안전장치를 마련할 시간을 벌자

앤트로픽 최고경영자 다리오 아모데이는 AI 기업들이 모델 능력을 높이는 속도를 늦춰야 한다고 촉구했다. 독립 평가자를 포함한 체계를 통해 위험을 관리할 시간을 확보하자는 것이 그의 목표다.18

샘 올트먼: 프런티어 개발의 속도 조절에 동의

오픈AI 최고경영자 샘 올트먼은 아모데이 제안의 기본 취지에 동의했다. 또 안전 관행을 평가할 수 있도록 외부 평가자에게 실질적인 접근 권한을 제공하는 안전장치 중 하나를 오픈AI도 수용하겠다고 밝혔다.1924

제프리 힌턴: 인간 통제 상실 가능성을 우려

제프리 힌턴은 AI가 인간의 통제를 벗어날 “상당한 위험”이 있다고 말해 왔다. 그는 개발 속도 조절과 출시 전 테스트 같은 조치를 지지하며, 정부 대응이 너무 느리다고 비판했다.20

결국 쟁점은 위험의 확률과 정책 수단 모두에 있다. 콕슨, 아모데이, 올트먼, 힌턴은 통제 상실 위험이 의도적으로 최첨단 시스템의 속도를 조절할 만큼 충분히 개연성 있다고 본다. 반면 응은 멸종 주장의 근거가 충분하지 않으며, 안전 정책은 구체적이고 해결 가능한 실패에 집중해야 한다고 본다.21820

감속 반대론과도 이유는 다르다

응이 광범위한 감속에 반대한다고 해서, 감속에 반대하는 정치권·업계 인사들의 논리와 모두 일치하는 것은 아니다.

• 젠슨 황: 엔비디아 최고경영자는 AI 업계에 새 법이나 규제가 필요하지 않다고 말했다.53
• 마크 저커버그: 메타 최고경영자는 경쟁과 시장 유인이 기업들로 하여금 모델 안전성을 확보하게 할 것이므로 업계 전체의 감속은 불필요하다고 주장했다.55
• 도널드 트럼프 미국 대통령: 트럼프는 통제 불능 AI에 대한 우려를 “사기(hoax)”라고 일축했고, 미국에는 AI 기업을 규제하고 기소할 수단이 이미 있다고 말했다.4950
• 중국 정부 측: 중국 외교부 대변인은 최첨단 AI 개발을 늦추자는 요구에 반대 입장을 냈다.52

이들은 광범위한 개발 중단이나 감속에 반대한다는 결론에서는 응과 닿아 있다. 하지만 이유는 다르다. 응의 주장은 측정 가능한 피해에 집중하고 더 나은 통제 장치를 만들자는 기술적·공학적 주장이다. 반면 황, 저커버그, 트럼프, 중국 정부 측은 정도의 차이는 있지만 추가 규제 반대, 시장 유인, 경쟁과 국가 전략을 더 강조해 왔다.250525355

사이버 위험에서는 일부 접점

이 논쟁은 ‘안전을 중시하는 쪽’과 ‘안전을 무시하는 쪽’으로 단순히 나뉘지 않는다. 코히어 최고경영자 에이단 고메즈는 AI 모델이 대규모로 취약점을 찾아내고 악용할 수 있어 매우 강력한 사이버 무기가 됐다고 말했다.62

이는 구체적인 사이버 보안 위험을 다뤄야 한다는 응의 주장과 맞닿아 있다. 다만 제공된 보도만으로는 고메즈가 업계 전반의 감속이나 국제 AI 거버넌스에 대해 어떤 입장인지까지 단정할 수는 없다.

투자자 스티브 아이스먼 역시 개발 감속, 안전 연구, 규제, 국제 거버넌스 전반에 관한 입장을 평가하기에는 현재 자료가 충분하지 않다.

핵심 정리

응의 발언은 AI 안전 논쟁의 질문을 다시 던진다. AI를 더 안전하게 만들어야 하느냐가 아니라, 추측적인 인류 멸종 시나리오가 안전 의제를 이끌어야 하느냐가 핵심이라는 것이다.

그의 답은 ‘아니다’다. 현재 식별할 수 있는 피해에 대해 테스트와 안전장치, 공학적 개선을 우선하고, 혁신과 안전 진전 모두를 늦출 수 있는 전면적 감속은 피해야 한다는 주장이다.12