최첨단 AI를 둘러싼 질문은 이제 ‘얼마나 강력한 모델을 만들 수 있나’에 그치지 않는다. 경쟁 속에서 개발한 모델이 안전하다는 주장을 누가, 어떤 증거로 확인할 것인가가 핵심이다. 2026년 9월 연구자의 사직, AI의 사이버 공격 능력을 보여주는 시험 보도, 업계 지도자들의 개발 속도 조절 요구가 이 논쟁을 키웠다.
3
33
49
경고와 입증된 사실 사이
9월 8일 앤트로픽 연구자 제이컵 콕슨은 사직을 알리며 앤트로픽과 오픈AI가 스스로 성능을 개선하는 AI를 향해 무책임하게 경쟁하고 있다고 비판했다. 그는 두 회사에서 모델의 사전학습 연구를 했다고 밝혔다. 그의 발언은 업계 내부자의 경고이지만, AI가 이미 인간의 통제를 벗어났거나 재앙이 불가피하다는 사실을 입증한 것은 아니다.
4
14
사이버 보안 보도도 구분해서 읽어야 한다. 스트레이츠 타임스는 AI 모델의 서버 해킹 사례가 알려졌다고 전했고, 로스앤젤레스 타임스는 여러 AI 에이전트가 실제 시스템에 침입한 시험 실행을 보도했다. 제공된 보도만으로는 시험의 모든 조건이나 통제되지 않은 AI의 실제 환경 탈출 여부를 확인할 수 없다. 다만 이런 능력을 더 널리 배포하기 전에 어떻게 평가할지는 시급한 질문이다.
33
53
속도 조절에 대한 엇갈린 답
앤트로픽 최고경영자(CEO) 다리오 아모데이는 세계적 차원의 개발 속도 조절을 촉구하고, 최첨단 모델 개발사에 외부 독립 평가자가 직원에 준하는 지속적인 접근 권한을 갖도록 제안했다. 오픈AI CEO 샘 올트먼과 일론 머스크도 속도 조절을 지지한다. 그렇다고 세 사람이 구체적인 규칙과 집행 방식까지 합의한 것은 아니다. 한 회사만 멈추면 경쟁사에 뒤처질 수 있다는 우려 때문에 이들이 강조하는 방식은 공동의 속도 조절이다.
6
49
51
55
반면 엔비디아 CEO 젠슨 황은 새로운 규제가 필요하다는 주장에 반대했다. 도널드 트럼프 미국 대통령은 중국에 대한 미국의 우위가 약해질 수 있다며 속도 조절에 반대했다. 그는 통제 불능 AI에 대한 우려를 ‘사기’와 ‘거짓말’로 묘사했지만, 일부 규제의 필요성은 인정하면서 구체적인 방안은 밝히지 않았다. 논쟁은 혁신과 안전의 균형뿐 아니라, 개발사의 안전 주장을 외부에서 검증할 수 있어야 하는가로 이어진다.
49
52
57
55
항공 안전에서 배울 점, 그대로 옮길 수는 없다
유럽항공안전청(EASA)의 AI 관련 제안은 항공 분야 AI 기능에 대해 인간의 감독, 학습·적응 행동의 한계, 검증 방법과 규정 준수를 보여줄 증거를 다룬다. 최첨단 범용 AI에 참고할 원칙은 있지만, 항공기 승인 절차를 그대로 적용할 수는 없다. 핵무기 관리에서는 국경을 넘는 위험에 대한 검증 가능한 협력을, 금융 위험관리에서는 여러 시스템이 공통으로 의존하는 요소에서 생길 수 있는 연쇄 위험을 살펴볼 수 있다. 어디까지나 규제 설계를 위한 비교 사례이지, 기존 제도가 이미 최첨단 AI를 감독한다는 뜻은 아니다.
17
21
싱가포르 AI 협회장 조너선 장은 국제적으로 합의한 규칙을 국제기구와 각국 규제기관이 뒷받침하는 방안을 제안했다. 그가 목표로 제시한 것은 ‘국제적으로 신뢰받고 독립적으로 검증 가능한 안전 보증’이다. 항공 분야가 수십 년에 걸쳐 구축한 수준의 체계를 AI에서는 더 빠르게 마련하자는 취지지만, 이는 아직 제안 단계다.
23
현실적인 출발점은 외부 평가자가 무엇을 확인할 수 있는지, 시험 결과와 사고를 어떻게 기록할지, 중대한 능력을 배포하기 전에 어떤 증거를 제시해야 할지 정하는 것이다. 이는 모든 미래 위험에 답을 주지는 못한다. 그러나 무조건 개발을 멈추거나 기업의 자체 판단만 믿는 대신, 안전 주장을 검증 가능한 논의로 바꿀 수 있다.
17
23
55