AI가 다음 AI를 개발한다면? 연구자들이 규제 당국에 점검을 요구한 이유

오픈AI, 앤트로픽, 메타, 마이크로소프트의 연구·정책 관계자들이 정책 당국에 AI 연구개발의 자동화 수준을 살펴보라고 촉구했습니다. 우려의 핵심은 AI가 단지 더 뛰어난 모델이 되는 데 그치지 않고, 다음 세대 AI를 만드는 연구까지 도울 수 있다는 점입니다. 이런 작업이 반복되면 기술 발전 속도가 빨라져 감독과 대응에 필요한 시간이 줄어들 수 있다는 것입니다. 23

이런 가능성은 흔히 ‘지능 폭발’이라고 불리지만, 이미 AI가 사람의 지시 없이 스스로를 계속 개선하고 있다는 증거는 아닙니다. 지금 논의의 초점은 AI가 AI 연구에서 어떤 역할을 하고 있는지 측정하고, 그 역할이 커질 때 어떻게 관리할지에 있습니다. 114

AI가 AI 개발을 도우면 어떤 일이 생길까

AI는 새로운 모델을 개발하는 과정의 일부를 도울 수 있습니다. 그 도움이 더 뛰어난 시스템을 만드는 데 기여하고, 새 시스템이 다시 연구개발에 더 많이 참여한다면 다음 단계는 더 빠르게 진행될 가능성이 있습니다. AI가 AI를 만드는 과정을 개선하는 이런 순환을 ‘재귀적 자기개선’이라고 합니다. 15

연구자들이 걱정하는 것은 성능뿐 아니라 발전의 속도입니다. 관련 보도에 소개된 한 시나리오에서는 평소 1년 걸릴 수 있는 발전이 몇 주 만에 이뤄질 가능성을 제시했습니다. 다만 이는 전망일 뿐, 실제로 그런 속도에 도달했다는 측정 결과는 아닙니다. 314

앞서 선도 AI 기업과 학계 연구자 25명을 인터뷰한 연구에서도 다수는 AI가 AI 연구를 자동화하고, 그 결과 긍정적 피드백 순환이 나타날 수 있다고 봤습니다. 이는 업계가 이 가능성을 진지하게 다루는 배경을 보여주지만, 지능 폭발이 필연적이라는 뜻은 아닙니다. 1

정책 당국에 요구한 것은 ‘현재 수준 파악’

연구자들이 우선 요구한 것은 기업들이 연구개발 과정에서 AI를 얼마나 폭넓게 활용하는지 더 잘 파악하는 일입니다. 오픈AI, 앤트로픽, 메타, 마이크로소프트 등의 관계자를 포함한 AI 지도자와 연구자 20여 명은 정책 당국이 이 진전을 살펴보고 안전장치를 검토해야 한다고 촉구했습니다. 2

이는 AI 연구소가 이미 연구 통제권을 AI에 넘겼다는 뜻이 아닙니다. AI가 개발 과정의 더 많은 부분을 맡게 될 때 기존 감독 체계가 충분한지 판단하려면, AI가 어디서 어떻게 쓰이는지에 대한 정보가 필요하다는 주장입니다. 23

개발 속도 조절론, 합의와 실행은 별개

개발 속도를 함께 늦추면 새로운 능력이 나타나기 전에 안전성 시험과 독립 평가, 감독 체계를 준비할 시간을 확보할 수 있다는 주장이 있습니다. 오픈AI와 앤트로픽의 연구자들은 공개적으로 속도 조절을 요구해 왔습니다. 반면 업계 일부 인사들은 시장 중심의 안전장치를 선호합니다. 얼마나 늦춰야 하는지, 현실적인 중단이나 유예가 무엇인지에 대해 업계의 합의는 이뤄지지 않았습니다. 818

실행 방법도 쟁점입니다. 어떤 모델이나 연구 활동을 대상으로 삼을지, 준수 여부를 누가 확인할지, 경쟁 관계에 있는 기업들이 어떻게 함께 속도를 조절할지 정해야 합니다. 보도에서도 중단의 의미와 집행 방법은 아직 명확하지 않다고 지적합니다.

‘긴급 종료 장치’가 해결책이 될 수 있을까

마이크로소프트의 브래드 스미스 사장은 AI 모델을 만드는 기업뿐 아니라 클라우드 인프라 제공자와 AI 에이전트를 관리하는 주체도 시스템을 끌 수 있어야 한다고 주장했습니다. 이런 장치는 사고가 났을 때 작동하는 비상 브레이크가 될 수 있지만, 사전 예방이나 지속적인 감독을 대신하지는 않습니다.

기술적인 한계도 있습니다. AI 시스템은 여러 인프라에 분산돼 운영될 수 있어 단일 스위치만으로 모든 구성 요소를 멈춘다고 보장하기 어렵습니다. 전문가들은 지속적인 모니터링과 사람의 개입도 필요하다고 지적합니다.

안전을 말하는 기업, 동시에 사업자이기도 하다

개발사와 클라우드 사업자에게 감독 역할을 맡기자는 제안에는 이해관계 문제가 따라옵니다. 마이크로소프트는 AI 모델 개발에 참여하는 동시에 클라우드 제공자이기도 합니다. 이처럼 한 기업이 기술을 만들고 운영 기반을 제공하면서 감독 체계의 당사자가 될 수 있는 만큼, 독립적인 점검과 명확한 규칙이 중요합니다. 다만 이런 이해관계가 있다는 사실만으로 특정 기업의 안전 우려가 진정성 없다고 단정할 수는 없습니다. 2

더 큰 문제는 기업 간 조율입니다. 업계 지도자들은 개발 속도를 두고 의견이 갈려 있고, 속도 조절 논의는 AI를 먼저 개발하고 도입하려는 경쟁 속에서 이뤄지고 있습니다. 한 기업만 자율적으로 속도를 늦춘다면 다른 기업들이 계속 빠르게 움직이는 상황에서 이를 유지하기 어려울 수 있습니다. 자료는 업계의 이견과 경쟁 압력을 보여주지만, 투자 이해관계가 개별 연구자의 견해를 좌우한다고 입증하지는 않습니다. 1218

결국 정책 당국 앞에는 서로 맞물린 질문 두 가지가 놓여 있습니다. AI가 AI 개발에 어느 정도 관여하는지 어떻게 추적할 것인지, 그리고 안전장치가 기업의 자체 약속에만 기대지 않도록 어떻게 검증할 것인지입니다. 연구자들의 경고는 이 질문들을 지금 살펴볼 이유가 있다는 뜻이지, 지능 폭발이 얼마나 일어날 법한지 또는 어떤 정책이 최선인지를 확정해 주는 것은 아닙니다. 123