아마존이 AI 안전 논쟁에서 제시한 입장은 분명하다. 강력한 AI 모델은 엄격한 테스트와 충분한 보호장치가 마련된 뒤에만 출시해야 한다. 다만 이를 이유로 업계 전체가 AI 개발 경쟁의 속도를 의도적으로 늦춰야 한다는 주장에는 동참하지 않았다.
6
아마존은 안전과 발전을 양자택일로 보지 않는다. 즉, 모델의 역량 향상 자체를 늦추기보다 출시 직전의 안전성 검증을 엄격하게 하는 방식에 무게를 둔 셈이다.
아마존이 요구한 것: ‘개발 중단’이 아닌 ‘안전한 출시’
아마존은 로이터에 AI 모델은 “준비가 됐고 안전하게 사용할 수 있을 때” 출시돼야 하며, 이를 위해서는 엄격한 테스트와 강력한 안전장치가 필요하다고 밝혔다. 업계와 정부의 공동 대응도 강조했다.
6
중요한 차이는 기준이 개발 속도가 아니라 출시 준비 상태에 있다는 점이다. 아마존은 학습이나 성능 개선을 일괄 중단하자고 요구하지 않는다. 대신 모델을 평가하고, 위험을 줄이는 보호장치를 적용한 뒤, 사용에 안전하다고 판단될 때 배포하자는 입장이다.
다만 여전히 답해야 할 질문은 남는다. 안전성 시험 기준은 누가 정하는지, 어느 수준의 증거가 있어야 ‘안전하다’고 볼 수 있는지, 개발사가 직접 수행한 테스트만으로 충분한지 등이 그것이다.
앤스로픽과의 차이: 출시 심사인가, 개발 속도 조절인가
앤스로픽의 다리오 아모데이 CEO는 최전선 AI 기업들이 모델 역량을 높이는 속도를 늦춰 안전 조치가 따라잡을 시간을 확보해야 한다고 주장했다. 그의 제안에는 내부 접근 권한을 가진 독립 평가자, 업계 공통 기준, 국제적 공조가 포함된다.
1
2
따라서 아모데이의 요구는 아마존보다 한 단계 더 강하다. 안전을 출시 전 관문으로만 두는 것이 아니라, 안전장치가 뒤처질 때는 역량 개발의 속도 자체도 조절해야 한다는 주장이다. 그가 언급한 오용 및 통제 상실 시나리오는 예방 조치를 촉구하는 근거이지, 자율 AI의 통제 상실이 이미 현실화됐다는 증거는 아니다.
1
11
정리하면 다음과 같다.
- 아마존: 발전은 계속하되, 철저한 시험을 통과하고 안전장치가 갖춰진 모델만 출시해야 한다.
6
- 앤스로픽: 안전 조치가 따라가지 못하면 최전선 모델의 성능 향상 속도도 늦춰야 하며, 독립 감독과 공동 기준이 필요하다.
1
2
다른 빅테크는 어디에 서 있나
OpenAI의 샘 올트먼, 구글 딥마인드의 데미스 허사비스, xAI의 일론 머스크는 아모데이 제안의 방향성에 공개적으로 지지를 표했다. 올트먼은 안전 관행을 검증할 수 있도록 직원 수준의 접근 권한을 받는 외부 평가자 체계를 앤스로픽과 같은 수준으로 도입하겠다고 밝혔다.
4
하지만 안전 목표에 공감한다고 해서 실제 감속 방식까지 합의한 것은 아니다. 공동 감속을 실행하려면 무엇이 ‘위험한 역량’인지에 대한 공통 정의, 신뢰할 수 있는 검증 체계, 치열한 사업·지정학적 경쟁 속에서 경쟁사들이 지킬 수 있는 합의가 필요하다. 로이터는 주요 AI 업계 인사들 사이에서도 위험의 긴급성과 대응 방식에 대한 견해가 갈린다고 보도했다.
메타의 마크 저커버그 CEO는 공동 감속보다 시장 중심의 안전장치를 선호해 왔다.
핵심 정책 쟁점: 자율 테스트인가, 강제 가능한 외부 감독인가
아마존의 접근은 출시 전 평가, 레드팀 테스트, 보안 통제, 위험 보고 같은 수단과 잘 맞는다. 2026년 국제 AI 안전 보고서도 위협 모델링, 위험 행동을 가늠하는 역량 평가, 투명성 공시, 사고 보고를 주요 위험 관리 방식으로 제시한다.
문제는 이런 조치가 자율 규범에 머물러야 하느냐는 것이다. 미국 상원 협상에서는 AI 기업이 피해 방지를 위한 ‘합리적 예방조치’를 취했음을 입증하도록 요구하는 법안이 논의되고 있다. 보도된 방안에 따르면 미 상무장관은 관련 증거를 요구하고, 정부 감사관을 통해 기업 제품을 시험할 수 있게 된다.
20
이른바 ‘주의의무(duty of care)’ 체계는 기업의 약속을 넘어 외부 기관이 “이 모델은 출시할 준비가 됐다”는 회사의 판단을 검증하고 이의를 제기할 수 있게 한다. 전면적 개발 중단을 뜻하지는 않지만, 출시 결정에 대한 외부 견제 장치를 만들 수 있다.
안전 공조에는 반독점·거버넌스 문제도 있다
공동 안전 협약은 테스트와 사고 보고의 일관성을 높일 수 있다. 그러나 소수 대형 기업이 규칙을 정하는 구조가 될 수 있다는 우려도 있다. 앤드루 퍼거슨 미국 연방거래위원회(FTC) 위원장은 AI 기업들이 반독점 예외를 요구하면서 새 규제도 로비하는 상황을 두고 “깊이 의심해야 한다”고 말했다. 다만 전문가들은 재앙적 위험을 막기 위한 협력은 현행 반독점법 아래에서도 허용될 수 있다고 로이터에 밝혔다.
17
코히어의 에이든 고메즈 CEO도 소수 선도 연구소가 장악한 안전 협약은 기존 강자를 더 공고히 할 수 있다고 경고했다. 그는 선도 기업들만 기준을 정하게 하기보다, 독립적으로 검증 가능한 안전장치와 투명성, 더 폭넓은 참여가 필요하다고 주장했다.
이는 공동 대응의 안전상 필요성을 부정하는 주장은 아니다. 감독 체계는 신뢰할 수 있어야 할 뿐 아니라, 규제가 기존 기업에 포획되는 일을 막도록 설계돼야 한다는 지적이다.
정치 환경도 변수
아마존이 말한 ‘산업계와 정부의 공동 대응’은 현재 미국 정책 환경에서는 실행이 쉽지 않을 수 있다. 트럼프 행정부는 국제 무대에서 AI 규제에 신중하고 개입을 최소화하는 접근을 촉구해 왔으며, 도널드 트럼프 대통령은 현행 안전장치로 충분하다는 취지의 발언을 했다. 행정부는 오픈 웨이트 모델을 자발적 안전성 테스트 대상에 넣지 않겠다는 입장도 AI 개발사들에 전달했다.
반면 빌 게이츠는 각국 정부가 AI가 가져올 변화에 준비돼 있지 않다며, 일자리 변화·중독·사이버 공격 같은 위험에 대응하기 위한 국제 공조가 필요하다고 말했다.
18
결론: 아마존이 던진 질문
아마존의 메시지는 AI를 늦추자는 요구가 아니다. 모델이 철저히 시험되고 강력한 보호장치를 갖추기 전에는 출시하지 말자는 더 엄격한 배포 기준을 요구한 것이다.
6
이는 안전 조치가 뒤처질 때 최전선 AI 역량 향상 속도를 조절하자는 앤스로픽의 제안보다 제한적인 접근이다. 그러나 논쟁을 더 현실적인 질문으로 밀어 올린다. 기업이 스스로의 출시 판단을 믿을 만하게 통제할 수 있는가, 아니면 독립 평가자와 공공기관이 그 판단을 검증하고, 이의를 제기하거나, 필요하다면 막을 권한까지 가져야 하는가.
1
20