최첨단 AI를 둘러싼 논쟁은 이제 ‘안전이 중요한가’라는 수준을 넘어섰다. 핵심은 더 강력한 모델을 계속 개발하면서 안전장치를 따라붙게 할 수 있느냐, 아니면 통제할 수 없을지 모르는 능력 경로는 미리 차단해야 하느냐에 있다.
전 Google DeepMind 연구과학자 알렉스 터너는 후자에 더 무게를 둔다. 그의 경고는 단순히 AI 개발을 늦추자는 주장보다 강하다. 최첨단 시스템의 발전 속도가 기업과 정부, 나아가 미국과 중국 같은 경쟁 강대국이 신뢰성 있게 관리할 수 있는 속도를 앞지르고 있으며, 자발적 약속만으로는 경쟁 압력을 견디기 어렵다는 것이다. 그는 대규모 AI 개발의 물리적 기반인 컴퓨트를 추적하는 일이 실질적 규제의 출발점이 될 수 있다고 주장했다.
17
터너가 DeepMind를 떠난 이유
터너는 DeepMind의 스케일러블 정렬(alignment) 팀에서 일하다가 2026년 6월 퇴사했다. 그가 밝힌 이유는 Google이 미 국방부와 맺은 계약에 있었다. 이 계약은 펜타곤이 기밀 업무에 Google의 AI를 활용하도록 허용했지만, 자율무기와 대규모 감시에 사용하지 못하도록 하는 구속력 있는 제한이 없었다는 것이 터너의 문제 제기다.
18
19
이는 군사적 AI 활용에 관한 문제이면서, 그가 더 넓게 제기해 온 최첨단 AI 거버넌스 문제이기도 하다. 상업적·전략적 경쟁이 거세질 때도 안전 원칙이 작동하려면 선언이 아니라 집행 가능한 규칙이어야 한다는 뜻이다. 터너가 DeepMind에서 맡았던 정렬 연구 역시 미래의 고성능 AI가 인간의 복지와 양립하는 방식으로 행동하도록 하는 데 초점이 맞춰져 있었다.
19
경고의 핵심은 ‘지능’이 아니라 통제 상실
터너의 주장은 재앙이 반드시 일어난다는 예언이 아니다. 위험 시나리오에 관한 경고다. AI가 AI 연구를 돕고, 자체 개발 과정 일부를 자동화하거나, 사람이 의미 있게 점검할 수 없는 수준으로 작동하게 되면 인간 사회가 위험을 평가하고 통제할 시간을 잃을 수 있다는 것이다.
문제는 추상적인 ‘높은 지능’ 그 자체가 아니다. 강한 능력, 자율성, 검증 가능한 통제의 부재가 결합하는 상황이다. 복잡한 목표를 장기간 추구하고 도구에 접근하며 후속 시스템의 개선에 기여할 수 있는 시스템은, 인간의 평가와 제도적 감독보다 능력이 더 빨리 진전되는 피드백 고리를 만들 가능성이 있다.
그래서 터너는 기업이 AI가 통제 불가능한 수준의 지능으로 자기개선을 하도록 내버려 둬서는 안 된다고 주장해 왔다. 이는 그러한 시스템이 이미 존재한다거나 인류 멸종이 확정됐다는 증거가 아니라, 방치하기에는 위험이 큰 실패 경로에 대한 경고다.
17
19
왜 ‘컴퓨트 추적’이 규제의 열쇠인가
컴퓨트(compute)는 고성능 AI 모델을 학습시키는 데 쓰이는 특수 반도체, 데이터센터, 전력 등 계산 자원을 뜻한다. 최첨단 AI 개발에 필요한 이 자원은 물리적이고 희소하다. 터너는 이 자원을 추적하는 체계가 집행 가능한 규제의 기반이 될 수 있다고 설명했다.
17
예를 들어 컴퓨트 감시 체계가 마련되면 정부나 독립 감독기관은 유난히 큰 규모의 학습 작업을 파악하고, 일정 기준 이상에서는 허가나 검토를 요구할 수 있다. 개발사가 합의된 능력 한계를 조용히 넘어서기 어려워지는 효과도 기대할 수 있다.
물론 이것만으로 정렬 문제가 해결되지는 않는다. 핵심 가치는 거버넌스다. 모델이 배포된 뒤가 아니라, 위험한 능력이 만들어지기 전 단계에서 감사를 위한 구체적 대상을 제공한다. 기업의 자율 약속이 의도를 보여주는 장치라면, 모니터링과 구속력 있는 규칙은 경쟁 상황에서도 작동하도록 설계된 장치다.
아모데이의 대안: 멈추지 말고 속도를 맞추자
Anthropic 최고경영자 다리오 아모데이는 ‘프런티어 속도 조절(pacing the frontier)’을 제안했다. 이는 AI 모델 학습이나 기술 진보를 완전히 중단하자는 요구가 아니다. 정렬 연구, 안전장치, 외부 평가가 따라갈 수 있도록 AI 역량 향상 속도를 늦추자는 구상이다.
16
그가 제시한 방안은 세 갈래다.
- 상주형 독립 평가자: 최첨단 AI 연구소가 외부 평가자에게 직원에 준하는 상시 접근권을 제공해 안전 관행과 정렬 상태를 확인하고 사고를 보고하게 한다. Anthropic은 이 조치를 이행하겠다고 약속했다.
16
- 민주주의 국가와 선도 연구소의 공조: 참여국과 기업이 공통 안전 기준 및 통제 없이 능력이 급격히 커지는 상황의 제한을 마련한다.
1
16
- 중국을 포함한 국제 공조의 모색: 한 국가의 자제가 다른 곳의 개발 가속으로 이어지는 위험한 경쟁을 피하자는 취지다.
1
8
이 틀은 최첨단 개발의 지속을 전제로 한다. 반면 터너는 통제되지 않는 자기개선을 막고, 애초에 최첨단 개발을 가능케 하는 입력 자원인 컴퓨트에 규제를 걸어야 한다는 점을 더 강하게 강조한다.
올트먼·머스크·허사비스는 어디에 섰나
아모데이의 제안은 경쟁 관계에 있는 AI 업계 지도자들로부터 이례적인 공개 지지를 받았다.
- 샘 올트먼(OpenAI CEO): 직원에 준하는 접근권을 가진 독립 평가자 제도를 도입하겠다고 했고, 최첨단 AI 연구소에 대한 안전 요건도 환영한다고 밝혔다.
2
12
- 일론 머스크: “다리오가 옳다”고 공개 지지했다. 다만 그가 지지하는 구체적 규제 설계가 무엇인지는 현재 보도만으로 뚜렷하지 않다.
4
7
- 데미스 허사비스(Google DeepMind CEO): 아모데이의 글이 올바른 방향을 가리킨다고 평가하며, 더 강한 안전장치와 느린 프런티어 발전이라는 큰 방향에 동의했다.
2
7
이들의 지지가 모든 임계값, 집행 수단, 지정학적 비용에 대한 합의를 뜻하지는 않는다. 다만 논의의 초점이 ‘최첨단 AI 안전을 신경 써야 하는가’에서 ‘안전 연구가 따라잡는 동안에도 계속 규모를 키울 수 있는가’로 옮겨 갔음을 보여준다.
중국은 반대 논거이자 협력의 이유
개발 속도를 늦추자는 주장에 가장 흔히 제기되는 반론은 지정학이다. 미국 기업이 속도를 늦추면 중국이 앞서갈 수 있다는 것이다. 로이터는 이 논쟁을 국제적 공조에 따른 자제와 시장 중심 안전장치 사이의 대립으로 설명하며, 중국과의 경쟁이 핵심 쟁점이라고 전했다.
1
아모데이의 답은 단계적 공조다. 먼저 민주주의 국가와 주요 연구소들이 기준을 맞추고, 이후 가능하다면 더 넓은 국제 협력으로 나아가자는 것이다. 하지만 검증 문제, 전략적 불신, 국가별 우선순위 차이 때문에 구속력 있는 세계적 합의는 이 계획에서 가장 불확실한 부분이다.
터너의 컴퓨트 추적론은 왜 지지자들이 선의에만 의존하지 않는 장치를 찾는지를 보여준다. 가장 큰 학습 작업에 투입되는 자원을 파악하고 검사할 수 있다면, 국제 경쟁 속에서 나온 기업의 약속보다 더 집행력 있는 수단이 될 수 있다는 논리다.
17
진짜 쟁점: 입증 책임은 누구에게 있나
현재 업계의 공감대는 제한적이다. 아모데이, 올트먼, 머스크, 허사비스는 모두 일정 형태의 속도 조절과 강화된 평가를 지지했다.
1
2
7 그러나 핵심 논쟁은 남아 있다.
- 기업은 안전 관행을 개선하는 동시에 최첨단 능력을 계속 밀어 올려도 되는가?
- 특히 통제되지 않는 자기개선이 가능한 시스템처럼 위험한 경로는, 통제 수단이 검증되기 전까지 금지해야 하는가?
- 외부 평가자는 연구소에 실질적으로 도전할 만큼 독립적이고 충분한 정보를 가질 수 있는가?
- 국제 공조는 안전 규칙을 따르는 쪽만 경쟁에서 불리해지는 상황을 막을 수 있는가?
터너의 핵심 기여는 이 문제를 기업의 신중함만으로 풀 수 없다고 짚은 데 있다. 진정한 우려가 통제 상실이라면, 대응책 역시 감사 가능하고 집행 가능해야 한다. 아모데이의 속도 조절안은 외부 감시를 늘리는 중요한 진전이다. 그러나 비판자들이 보기에 최종 시험대는 감독 체계가 위험한 능력 경쟁을 실제로 멈출 수 있느냐에 있다.
16
17