아모데이의 ‘프런티어 AI 속도 조절’ 구상, 무엇을 뜻하나

다리오 아모데이 앤트로픽 CEO가 에세이 We Must Pace the Frontier에서 요구한 것은 AI 연구를 멈추자는 주장이 아니다. 핵심은 최첨단 AI의 성능이 높아지는 속도를 의도적으로 조절해, 정렬(alignment) 연구·보안 통제·독립 평가·공적 거버넌스가 이를 따라잡을 시간을 확보하자는 것이다. 7

‘속도 조절’은 개발 중단과 다르다

아모데이가 말하는 ‘페이싱(pacing)’은 모델 학습이나 기술 진보를 동결하는 방식이 아니다. 더 강력한 모델을 내놓기 전, 안전 대책이 실제로 작동하는지 확인할 만큼의 시간을 두자는 제안이다. 그는 속도를 늦추더라도 발전은 여전히 빠르게 느껴질 것이며, 그렇게 얻는 1~2년을 정렬과 안전장치 개선에 쓴다면 심각한 사고 가능성을 크게 낮출 수 있다고 봤다. 67

그가 특히 우려하는 것은 재귀적 자기개선이다. AI가 차세대 AI를 만드는 연구·엔지니어링 작업에 더 직접적으로 기여하면서 발전 주기를 스스로 가속하는 현상을 뜻한다. 아모데이는 이 흐름이 인간의 이해·평가·통제 능력을 앞지를 수 있다고 경고했다. 7

“6~12개월 안에 인터넷 장악” 경고의 의미

에세이에서 가장 주목받은 대목은 자율형 에이전트에 대한 전망이다. 아모데이는 현재의 능력 발전 속도가 이어진다면, 6~12개월 안에 충분히 강력한 에이전트 무리가 지속형 봇넷을 통해 인터넷의 상당 부분을 장악하고 수천억 달러 규모의 피해를 낼 수 있다고 우려했다. 7

이는 이미 그런 사태가 발생했다는 주장이 아니라, 가능한 미래 역량에 관한 예측이다. 그의 실질적 문제 제기는 사이버 악용과 통제 상실 위험이 기존의 정책 수립 절차나 기업의 자율 공개만으로 대응하기에는 너무 빠르게 도래할 수 있다는 데 있다. 717

아모데이의 3단계 방안

1. 최첨단 AI 연구소에 독립 평가자 상주시켜야

첫 단계이자 가장 즉각적인 조치는 외부의 자격 있는 평가자에게 연구소 직원 수준의 상시 접근 권한을 제공하는 것이다. 이들은 안전 관행과 모델을 점검하고 사고를 보고할 수 있어야 하며, 기업이 선택해 공개하는 요약 자료에만 의존해서는 안 된다는 취지다. 앤트로픽은 이를 자발적으로 시행하겠다고 밝혔다. 17

이 방안은 기업의 안전 주장을 외부에서 검증 가능하게 만들려는 시도다. 개발 현장에 가까운 곳에서 독립 검토가 이뤄진다면, 모델이 널리 배포되기 전에 안전 공백을 찾아낼 가능성도 커진다.

2. 민주국가 간 공통 안전 기준 마련

두 번째 단계는 민주국가의 AI 기업과 정부가 공통된 안전 기준과 속도 조절 방식에 합의하는 것이다. 경쟁사끼리의 직접 협의는 독점금지법 문제를 일으킬 수 있는 만큼, 아모데이는 제한된 범위의 안전 협력을 가능하게 하는 미국 정부의 지원을 요구했다.

목표는 경쟁사가 앞서간다는 이유만으로 한 기업이 안전 검증 시간을 줄이는 유인을 낮추는 것이다. 즉, 프런티어 AI 위험을 ‘집단행동 문제’로 본다. 개별 연구소가 신중함의 필요성을 알아도, 모두가 제약 없이 질주한다면 혼자 속도를 늦추기 어렵기 때문이다.

3. 권위주의 국가와도 장기적으로 협력해야

세 번째 단계는 가장 난도가 높다. 중국을 포함한 권위주의 정부와 어떤 형태로든 협력 방안을 찾아야 한다는 주장이다. 아모데이는 민주국가만 참여하는 감속은 충분한 해법이 될 수 없다고 본다. 경쟁국의 국가 지원 프로젝트가 같은 제한 없이 발전한다면, 일방적 감속은 전략적으로 위험해질 수 있다는 이유다. 7

그러나 협력에는 중대한 신뢰와 안보 문제가 따른다. 민감한 안전 기법, 평가 절차, 검증 접근권을 공유하면 전략적 경쟁국의 역량을 높일 수 있다. 이 때문에 중국 문제는 계획의 핵심 딜레마를 드러낸다. 전 세계 협약은 검증하기 어렵고, 민주국가끼리만 맺는 협약은 지속 가능성이나 지정학적 안전성에 의문이 남는다. 7

누가 공개 지지했나

NPR 보도에 따르면 오픈AI의 샘 올트먼 CEO는 아모데이의 ‘프런티어 속도 조절’ 주장에 동의했고, 외부 평가자 상주 방식에도 따르겠다고 밝혔다. 17 xAI 창업자 일론 머스크 역시 안전 대책이 발전 속도를 따라잡도록 개발을 늦추자는 취지에 지지를 표한 것으로 보도됐다. 5

반면 제공된 자료만으로는 구글 딥마인드의 데미스 허사비스 의장이 구체적으로 지지했다는 점을 확정하기 어렵다. 따라서 그의 지지를 기정사실로 표현하는 것은 신중할 필요가 있다.

왜 지금 이런 제안이 나왔나

아모데이는 빠르게 진전되는 AI 역량, 재귀적 자기개선, 그리고 에이전트의 무단 사이버 활동 보고 등을 문제의 배경으로 제시했다. 이 에세이는 주요 AI 연구소의 위험 대응을 비판하며 업계를 떠난 앤트로픽 연구자 제이콥 콕슨의 사임 뒤에 나왔다. 18

이 사건들이 고도 AI가 이미 통제 불능이라는 증거는 아니다. 다만 안전 논쟁이 먼 미래의 가상 시스템에만 국한되지 않고, 현재와 가까운 미래의 에이전트가 실제 운영 환경에서 어떻게 행동하는지의 문제로 옮겨가고 있음을 보여준다.

IPO와 거버넌스의 연결고리

프런티어 AI 기업의 상장 가능성을 평가할 때 안전은 곧 사업 리스크다. 거버넌스 실패, 사이버 사고, 규제 개입, 평판 훼손은 모두 기업 가치에 중대한 영향을 줄 수 있다. 로이터는 앤트로픽이 6월 1일 미국에서 비공개 IPO 신청을 했고, 오픈AI도 그 다음 주 비공개 신청을 했다고 보도했다. 20

다만 상장 시점과 진행 상태는 유동적이다. 로이터는 이후 올트먼이 AI 안전 우려를 이유로 오픈AI가 2026년에는 상장하지 않겠다고 말했다고 전했다. 19 투자자에게 더 큰 질문은 IPO가 언제 이뤄지느냐만이 아니다. 상업적 가치와 잠재적 위험이 함께 커지는 모델을 기업이 얼마나 신뢰할 만한 통제 체계로 관리할 수 있느냐가 핵심이다.

‘속도 조절’이 시험할 것

아모데이의 제안은 대형 AI 개발사들이 중대한 사고가 강제하기 전에 스스로 제약을 받아들일 수 있는지를 시험한다. 첫 단계인 외부 독립 평가자 상주는 비교적 구체적이고 확인 가능한 조치다. 반면 민주국가 간 공조와 권위주의 국가와의 협력은 경쟁 정책, 국가안보, 국제적 신뢰에 좌우되므로 훨씬 어렵다.

그의 주장은 AI 감속이 쉽다는 뜻이 아니다. 독립적으로 검증할 수 있는 안전장치 없이 가속을 계속하는 편이 더 위험할 수 있다는 경고다. 7