답변게시됨2개월 전Last edited 2개월 전22 소스

AI가 인류를 멸종시킬 수 있다는 경고, 무엇을 믿고 어떻게 대비해야 하나

에반 허빙거가 언급한 ‘향후 10년 내 인류 멸종 가능성 10% 이상’은 과학적으로 측정된 확률이 아니라, 큰 불확실성 아래 내린 개인적 판단이다. 제이콥 콕슨과 빌랄 처그타이는 선도 AI 기업들이 자기개선 초지능을 향해 지나치게 빠르게 경쟁한다고 경고했지만, 반론 측은 디지털 능력이 곧바로 현실 세계의 파괴력으로 이어지지는 않는다고 본다.

게시자GPT-5.6 Terra로 편집GPT Image 2로 이미지 생성

Studio Global AI로 검색 및 팩트체크 인기 페이지 더 보기

연구 답변

주요 시사점

에반 허빙거가 언급한 ‘향후 10년 내 인류 멸종 가능성 10% 이상’은 과학적으로 측정된 확률이 아니라, 큰 불확실성 아래 내린 개인적 판단이다.
제이콥 콕슨과 빌랄 처그타이는 선도 AI 기업들이 자기개선 초지능을 향해 지나치게 빠르게 경쟁한다고 경고했지만, 반론 측은 디지털 능력이 곧바로 현실 세계의 파괴력으로 이어지지는 않는다고 본다.
현실적인 공통 과제는 현재의 악용 위험에 대응하면서 독립 평가, 위험 능력 기준, 기업 간 공조와 국제 협력으로 고성능 AI의 안전 주장을 검증 가능하게 만드는 일이다.

Editorial illustration representing the debate over advanced AI safety and human control — How is the current debate over whether advanced artificial intelligence could cause human extinction unfolding, including Jacob Coxon’s resiThe AI extinction debate centers on uncertain future capabilities, real-world constraints, and the safeguards required before frontier systems advance further.
AI 프롬프트
Create a landscape editorial hero image for this Studio Global article: How is the current debate over whether advanced artificial intelligence could cause human extinction unfolding, including Jacob Coxon’s resi. Article summary: The debate is becoming less about whether AI poses any danger and more about what kind of evidence and governance threshold should apply before frontier systems become substantially more capable. There is no empirical ba. Topic tags: general, news, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts w
openai.com

AI가 인류를 멸종시킬 수 있느냐를 둘러싼 최근 논쟁은 ‘AI는 안전하다’와 ‘AI는 위험하다’의 단순한 대결이 아니다. 핵심은 세 가지다. AI 능력이 얼마나 빠르게 진전될지, 모델이 되돌릴 수 없는 현실 피해를 일으키려면 어떤 조건들이 충족돼야 하는지, 그리고 강한 규제를 도입하기 전에 사회가 어느 정도의 증거를 요구해야 하는지다.

선도 연구소 출신 연구자들의 경고가 논쟁의 긴박감을 높였지만, 멸종론에 회의적인 인사들도 시험·평가와 안전 관행 자체를 대체로 부정하지는 않는다. 결국 정책의 중심 질문은 점점 더 분명해지고 있다. 더 강력한 시스템을 배포하기 전에 개발사들이 통제 가능성과 안전성을 입증할 수 있는가다.

내부 연구자들의 경고: 통제하기 어려운 시스템을 향한 경쟁

앤트로픽 전 연구자 제이콥 콕슨은 자신이 오픈AI에서도 일했었다고 밝히며 2026년 9월 퇴사했다. 그는 두 회사가 책임 있는 개발보다 경쟁을 우선하고 있으며, ‘자기개선 초지능’을 향해 달리고 있다고 주장했다. 49

이 경고에는 앤트로픽의 정렬 과학 책임자인 에반 허빙거도 공개적으로 공감했다. 허빙거는 AI가 향후 10년 안에 모든 인류를 죽일 가능성을 개인적으로 10% 이상으로 본다고 했으며, 앤트로픽이 초지능의 정렬 문제를 해결할 계획을 아직 갖고 있지 않다고도 말했다. 16 다만 이 수치는 과학계의 합의나 경험적 계산에 따른 멸종 확률이 아니라, 그의 개인적 전망으로 보도됐다. 12

전 구글 딥마인드 연구자 빌랄 처그타이도 AI가 모두를 죽일 잠재력이 있으며, 이를 피할 시간이 바닥나고 있을 수 있다고 경고했다. 2

이런 주장은 대체로 ‘현재의 챗봇이 갑자기 위험해진다’는 이야기는 아니다. 우려하는 경로는 미래 AI가 AI 연구를 실질적으로 가속하고, 더 높은 자율성으로 작동하며, 인간의 감독을 회피하거나, 사이버·생물학·제도적 영역에서 위험한 역량에 접근하는 속도가 안전 기술의 발전보다 빨라지는 상황이다. 이 연쇄가 실제로 가능한지, 또 언제 가능해질지가 가장 큰 쟁점이다.

‘10%’는 확정된 예측이 아니다

허빙거의 수치는 고위 정렬 연구자의 발언이라는 점에서 큰 주목을 받았다. 하지만 이는 역사적 데이터로 검증된 확률이나 인류 멸종 위험을 계산할 수 있는 모델의 결과가 아니다. 극심한 불확실성 속에서 나온 한 전문가의 판단으로 읽어야 한다. 12

그 판단이 현실이 되려면 적어도 다음과 같은 미해결 조건들이 맞물려야 한다.

AI가 현재 모델보다 훨씬 더 높은 능력에 도달해야 한다.
그 능력이 지속적인 전략적 자율성 또는 현실 세계에서의 해로운 영향력으로 전환돼야 한다.
기술적 통제, 운영자, 제도, 대응책이 시스템이나 그 악용을 막는 데 실패해야 한다.
안전성과 정렬 연구가 능력 향상의 속도를 따라가지 못해야 한다.

각 고리는 독립적으로 논쟁의 대상이다. 그렇다고 우려가 사소해지는 것은 아니다. 다만 강렬한 숫자 하나를 입증된 예측처럼 받아들여서는 안 된다는 뜻이다.

회의론의 핵심: 디지털 지능과 물리적 실행력은 다르다

회의론자들은 소프트웨어와 언어 작업에서 뛰어난 성과를 보인다는 사실이 곧바로 멸종 규모의 물리적 피해 능력으로 이어진다는 추론에 이의를 제기한다. 생물학 분야가 대표 사례다. 에릭 싱은 언어 모델이 가상의 바이러스 유전체 설계를 생성하는 일과 실제로 기능하는 바이러스를 만드는 일은 근본적으로 다르다고 지적했다. 물질 확보, 제조, 생물학적 생존성, 실험실 작업, 검증은 각각 별도의 장벽이라는 것이다. 46

이는 중요한 구분이다. 모델이 정보나 설계안을 제공할 수는 있어도, 현실의 피해로 옮기려면 전문 시설, 암묵지, 공급망, 반복 실험, 통제 물질 접근 등이 필요할 수 있다. 이런 제약이 생물안보 위험을 0으로 만들지는 않는다. 다만 디지털 능력만으로 곧바로 결정적인 물리적 역량이 생긴다는 가정에는 의문을 제기한다.

엔비디아 CEO 젠슨 황은 AI가 인류를 끝낼 것이라는 주장을 “완전히 터무니없는 이야기”라고 비판한 대표적 인사다. 33 마크 큐반도 AI 에이전트 집단 자체보다, 종말론적 주장에 사람들이 어떻게 반응하느냐가 더 큰 위험일 수 있다고 말했다. 43

따라서 회의론은 반드시 ‘최첨단 AI에 안전장치가 필요 없다’는 뜻은 아니다. 오늘날 모델 성능에서의 외삽과 가정적인 미래 경로만으로 임박한 멸종을 말하려면, 그에 걸맞은 더 강한 증거가 필요하다는 입장에 가깝다.

부상하는 중간 해법: 능력 향상 속도를 조절하고 안전을 검증하자

멸종을 확정된 미래로 보지도, 아예 일축하지도 않는 실무적 접근도 있다. 앤트로픽 CEO 다리오 아모데이는 안전 연구에 시간을 벌기 위해 AI 모델 능력의 향상 속도를 늦춰야 한다고 촉구했다. 그가 제안한 틀에는 직원과 유사한 수준의 접근 권한을 가진 상주형 독립 평가자와, 최첨단 AI 기업 간 공조가 포함된다. 18

로이터는 오픈AI CEO 샘 올트먼이 공동의 감속을 추진하는 리더들 가운데 한 명이라고 보도했다. 동시에 업계에서는 시장 중심 안전장치에 얼마나 의존할지를 두고 의견이 갈린다. 19 올트먼도 제안된 접근법의 일부로 외부 평가자를 지지했다는 보도가 나왔다. 20

이 접근은 추상적 예측에서 검증 가능한 실행으로 논점을 옮긴다.

독립 평가: 회사의 자체 발표에만 의존하지 않고, 자격을 갖춘 외부 검토자가 안전 주장을 실질적으로 평가할 수 있게 한다. 18
능력 기준 임계값: 사이버 작전이나 자율 에이전트 행동 등 위험 영역에서 모델의 역량이 크게 올라갈 경우, 검토를 강화하거나 배포를 제한한다.
연구소 간 공조: 경쟁사에 뒤처지지 않으려 안전 여유를 줄이는 유인을 낮춘다. 18
국제 협력: 정부와 주요 AI 개발사가 기준을 조율하고, 충분한 안전장치 없이 배포하도록 만드는 경쟁 압력을 줄이는 장치를 마련한다. 27
능력 발전에 상응하는 안전 진전: 더 강력한 시스템에는 입증된 통제, 모니터링, 사고 대응 역량이 함께 갖춰져야 한다는 원칙을 적용한다.

장기 멸종 우려가 당장의 피해를 가릴 수 있나

또 다른 비판은 우선순위에 관한 것이다. 재앙적 위험이 연구와 비상계획의 대상이 될 수는 있지만, 불확실한 멸종 시나리오에만 집중하면 이미 고도화된 AI의 배포와 함께 나타나는 피해가 가려질 수 있다.

당면 과제에는 AI를 활용한 사이버 악용, 사기, 감시, 허위정보, 차별적 자동화 판단, 노동시장 충격, 권력 집중이 포함된다. 아모데이 역시 개발 속도 조절을 주장하며 무기 개발, 사이버 공격, 감시 등의 악용 위험을 언급했다. 29

이는 현재 피해와 장기적 재앙 위험 중 하나만 선택해야 한다는 뜻은 아니다. 접근 통제 강화, 더 나은 평가, 신중한 배포 정책, 독립적 감시, 사고 보고, 명확한 책임 체계는 현재의 악용을 줄이는 동시에 더 강력한 시스템에 대한 대비도 높일 수 있다.

이 논쟁이 실제로 바꾸는 것

가장 설득력 있는 결론은 인류 멸종이 입증됐다는 것도, 완전한 재앙 경로가 증명되지 않았으니 걱정을 접어도 된다는 것도 아니다. 이 논쟁이 제시하는 더 실용적인 기준은 분명하다. 능력이 계속 높아지는 시스템의 안전 주장은 시험할 수 있어야 하고, 독립적인 검토를 받아야 하며, 잠재적 피해 규모에 맞아야 한다.

콕슨, 허빙거, 처그타이는 불확실성 아래에서 예방적으로 행동해야 한다고 주장한다. 황과 싱 같은 회의론자들은 지금의 증거가 가까운 시일 내 종말론을 정당화하는지 묻는다. 아모데이와 올트먼의 제안은 모든 철학적 이견을 먼저 해결하지 않아도 실행할 수 있는 대응책을 가리킨다. 최첨단 개발 속도를 조절하고, 위험한 능력을 측정하며, 신뢰할 수 있는 외부 검토를 받아들이고, 경쟁 압력이 검증되지 않은 안전 주장을 배포의 기본값으로 만들기 전에 공조하자는 것이다. 49 16 33 18 19

Studio Global AI

연구를 계속하세요

이 페이지에는 Studio Global 내에서 계속할 수 있는 소스 기반 답변이 포함되어 있습니다.

Studio Global AI로 검색 및 팩트체크

사람들은 또한 묻습니다.