샘 올트먼이 경고한 AI의 두 갈래 위험: 통제 상실과 권력 집중

OpenAI의 샘 올트먼 최고경영자(CEO)는 강력한 AI가 사회에 실패를 안길 수 있는 경로가 두 가지라고 경고한다. 하나는 인간이 갈수록 유능해지는 시스템을 통제하지 못하게 되는 경우이고, 다른 하나는 AI를 지휘할 권한이 소수에게 과도하게 집중되는 경우다. 그의 문제 제기는 기술적 AI 안전과 정치·제도적 거버넌스를 한 틀에서 본다. 안전한 AI란 단지 모델이 무엇을 할 수 있는지뿐 아니라, 누가 그것을 지시하고 통제하는지의 문제라는 뜻이다. 1316

올트먼이 피해야 한다고 한 두 가지 경로

첫째, 인간의 통제 상실이다. 올트먼은 인류가 AI에 미래의 통제권을 빼앗길 수 있으며, 이는 받아들일 수 없는 결과라고 밝혔다. AI는 사람이 감독하기 어려운 시스템에 의존하거나 종속되는 대신, 사람을 위해 작동해야 한다는 것이 그의 원칙이다. 216

둘째, AI 권력의 집중이다. 그는 한 개인·기업·국가가 압도적으로 강력한 AI를 통제하고, 이를 이용해 자신의 세계관을 모두에게 강요하는 상황도 경고했다. 올트먼은 이런 결과가 “극도로 디스토피아적”일 수 있다고 말했다. 113

두 위험은 연결돼 있지만 같은 문제는 아니다. 첫 번째는 인간이 강력한 시스템을 이해하고 제한하며 필요할 때 중단·무력화할 수 있느냐에 관한 문제다. 두 번째는 시스템이 기술적으로는 통제 가능하더라도, 그것을 가진 주체가 견제받지 않는 과도한 권한을 행사할 수 있다는 문제다.

올트먼이 거론한 안전장치는

올트먼의 입장이 AI 개발을 단순히 멈추자는 데 있는 것은 아니다. 그는 모델의 능력이 정렬(alignment)과 감시 체계보다 앞서가서는 안 되며, 경쟁 압박이 무모한 배포의 변명이 될 수 없다고 주장한다. 여기서 정렬은 AI의 행동이 인간의 의도와 목표에 부합하도록 만드는 연구를 뜻한다. 213

그가 강조한 장치는 다음과 같다.

• 능력 향상 속도를 따라가는 정렬과 감시: 갈수록 강력해지는 모델이 무엇을 하는지 개발자가 실질적으로 평가하고 통제할 수 있어야 한다는 요구다. 213
• 사람을 위한 AI: 인간이 AI에 종속되는 것이 아니라 AI가 인간에게 봉사해야 한다는 원칙이다. 216
• 프런티어 AI에 대한 일관된 연방 차원의 기준: 최첨단 모델이 초래할 수 있는 위험을 관리하기 위해, 제각각의 자율 약속에만 의존하지 않는 공통 안전 요건을 지지했다. 1316
• 독립적 검증: 고도 AI를 개발하는 기업에 대한 신뢰를 높일 방법으로 독립 감사인의 검토 가능성을 언급했다. 16

실무적으로 이는 가장 강력한 시스템일수록 더 높은 입증 책임을 져야 한다는 의미다. 안전 조치를 모델의 능력이 이미 앞서간 뒤에 보완하는 일이 아니라, 배포 결정을 내리기 전부터 검증 가능하고 신뢰할 만한 방식으로 갖춰야 한다는 것이다.

앤트로픽 연구자의 경고가 더한 긴장감

같은 주, 전 앤트로픽 연구원 제이콥 콕슨은 주요 AI 연구소들이 자기개선형 AI를 향해 달리며 “우리의 목숨을 걸고 도박하고 있다”고 경고했다. 그의 퇴사 관련 보도에 따르면, 그는 이런 시스템을 만드는 연구자들조차 AI가 인간의 통제를 벗어날 만큼 강해질 수 있다고 심각하게 우려한다고 봤다. 17

이 경고는 올트먼의 표현보다 훨씬 직설적이지만, 밑바탕의 우려는 겹친다. 즉, AI 능력의 진전이 신뢰할 만한 감독 능력보다 빨라질 수 있다는 것이다. 보도된 공개 논쟁에서 앤트로픽의 정렬 연구 책임자 에번 허빙어는 AI가 10년 안에 인류 멸종을 초래할 가능성이 10%를 넘는다는 개인적 추정을 제시했고, 초지능 AI의 정렬 문제에 대한 완전한 해법은 아직 없다고 인정했다. 다만 이는 개인의 위험 판단이지, 확립된 예측이나 과학계의 합의된 확률은 아니다. 17

핵심은 특정한 멸종 시점이 증명됐다는 데 있지 않다. 그런 증거는 없다. 중요한 점은 프런티어 AI 개발에 가장 가까이 있는 연구자들 사이에서도 현재의 안전 관행이 개발 중인 시스템의 속도를 충분히 따라가고 있는지를 공개적으로 두고 논쟁이 벌어지고 있다는 사실이다.

진짜 업계 논쟁: 능력 우선인가, 안전 우선인가

이 갈등은 흔히 AI 가속론과 감속론의 대결로 묘사되지만, 그것만으로는 부족하다. 대다수 참여자는 AI가 큰 혜택을 제공할 수 있다는 데 동의한다. 실제 쟁점은 순서와 강제력이다.

한쪽은 안전 연구, 평가, 거버넌스, 오남용 대응 체계가 성숙할 시간을 확보하도록 프런티어 AI 개발 속도를 조절해야 한다고 본다. 앤트로픽 CEO 다리오 아모데이는 모델 능력 향상 속도를 늦춰야 한다고 주장하면서, 기업 내부에 상주하는 독립 평가자, 프런티어 연구소 간 공조, 국제 협력 등을 제안했다.

반대 방향의 압박도 현실적이다. 기업과 정부는 경쟁국이나 경쟁사보다 늦어질 경우 경제적·지정학적 우위를 잃을 수 있다고 우려한다. 그러나 올트먼은 경쟁이 능력이 정렬과 감시를 앞지르는 것을 정당화할 수는 없다고 본다. 13

로이터는 일부 연구자들이 모델 능력이 예상보다 빠르게 발전하는 반면, 인간이 시스템 내부를 파악하고 통제할 여지는 줄고 있다고 본다고 전했다. 이에 따라 정책의 핵심 질문도 더 선명해진다. 안전장치가 뒤따라오는 동안 연구소들이 더 자율적인 모델을 계속 배포해도 되는가, 아니면 그 안전장치가 충분하다는 점을 먼저 입증해야 하는가.

AI 거버넌스에 남는 과제

올트먼의 두 경고는 프런티어 AI 거버넌스가 기술적 통제와 권력의 분산을 함께 다뤄야 한다는 점을 시사한다. 모델 평가, 정렬 연구, 감시, 독립 감독은 첫 번째 문제에 대응한다. 일관된 규칙, 투명성, 일방적 통제에 대한 제한은 두 번째 문제와 맞닿아 있다.

파국적 전망이나 구체적인 시간표를 확정된 사실처럼 받아들일 수는 없다. 다만 실패의 피해가 매우 클 수 있다는 가능성 때문에, 더 강한 평가와 외부 검증, 안전 요건을 요구하는 목소리는 주변적 관심사가 아니라 AI 산업의 핵심 의제가 됐다. 13