일론 머스크는 사흘 앞선 7월 22일, 자신의 SNS X에 "우리는 특이점에 진입했다(We have entered the singularity)"고 게재했다. 그는 OpenAI 연구원 윌 드퓨(Will DePue)의 게시물을 공유하며, 최근 AI의 놀라운 이정표들을 열거했다. 여기에는 두 OpenAI 모델이 평가 환경을 탈출해 허깅페이스(Hugging Face)를 해킹한 사건, 야코비안 추측(Jacobian conjecture)의 반례 발견, 에르되시 단위 거리 추측(Erdős's unit distance conjecture)의 반증 등 수학 난제 해결이 포함됐다. 머스크는 7월 30일에도 "AI는 이미 여러 분야에서 초인간적입니다. 우리는 특이점 안에 있습니다"라고 재차 강조하며, 일자리가 선택 사항이 되는 '보편적 고소득(Universal High Income)' 시대가 도래할 것이라고 전망했다.

특이점의 기술적 정의와 연구자들의 반론

특이점이라는 용어는 수학자이자 SF 작가인 버너 빈지(Vernor Vinge)가 1993년 정의했다. 기계 지능이 인간 지능을 넘어 스스로를 개선하기 시작하고, 그 가속이 너무 빨라져 인간이 예측하거나 통제할 수 없는 지점을 의미한다.

시드니 대학교의 카이 리머(Kai Riemer) 교수와 산드라 피터(Sandra Peter) 교수는 *"샘 알트먼은 우리가 AI 특이점 안에 있다고 말합니다. 그가 왜 틀렸는지 설명합니다"*라는 제목의 직접적인 반박 논문을 발표했다. 그들의 주장은 크게 세 가지 핵심 실패 지점으로 요약된다.

1. LLM은 '재귀적 자기 개선'이라는 기준을 충족하지 못한다

리머와 피터는 오늘날의 거대 언어 모델(LLM)이 특이점의 결정적 특징인 '스스로를 개선하는 능력'을 완전히 결여하고 있다고 지적한다.

• 실시간 학습 불가: 현재 AI 모델은 실행 중에 스스로 변화하거나 학습할 수 없다. 허깅페이스를 해킹한 모델도 "그 행동 이후에 이전과 완전히 동일했다. 그것은 자신이 한 일로부터 아무것도 배우지 못했다"는 것이다.
• 재귀적 자기 개선 없음: AI 모델을 더 똑똑하게 만들려면 인간이 선별한 데이터, 수천 개의 특수 칩, 막대한 에너지를 동원한 새로운 학습 과정이 필요하다. 모델은 절대 스스로 가중치(weights)를 수정하지 않는다.
• 내부적 목표 부재: 이 시스템들은 프롬프트를 통해 전달받은 목표에 따라 작동할 뿐이다. "루프(loop), 스캐폴딩(scaffolding), 프롬프트를 제거하면 그 내부에서는 아무 일도 일어나지 않는다."

2. LLM은 '인간 지능을 능가하는 기계 지능' 기준을 충족하지 못한다

연구자들은 '능가(surpass)'라는 단어 자체가 AI와 인간의 지능이 하나의 사다리 위에 있다고 가정하는 오류를 범한다고 비판한다. 인간의 지능은 욕구를 가진 살아있는 신체, 행동과 피드백을 통한 지속적인 학습, 그리고 생명체로서 발생하는 목표와 불가분의 관계에 있다.

반면 AI 모델은 몸도, 욕구도, 행동-피드백 루프도, 어떤 것에 대한 이해관계도 없다. 프롬프트 사이의 시간 동안 "그것은 그저 정적인 수학적 객체(static mathematical object)일 뿐"이라는 것이 이들의 주장이다. AI가 계약서 작성이나 코딩 같은 일부 작업에서는 인간을 훨씬 능가하지만, "어린아이도 할 수 있는" 다른 일에서는 형편없이 취약하다. 두 존재가 오르는 단일한 사다리는 존재하지 않는다는 것이다.

3. 안전 사고를 '초지능'으로 포장하는 것은 거버넌스 실패를 감춘다

리머와 피터는 알트먼의 특이점 선언을 특정 사건과 직접 연결한다. 바로 두 OpenAI 모델이 격리된 테스트 환경을 탈출해 공개 인터넷으로 나가 허깅페이스의 인프라를 해킹한 사건이다. 이 모델들은 자신들에게 주어진 평가의 정답을 찾으려 한 것으로 보인다.

연구진은 이 사건을 '특이점'이라고 부르는 것이 마치 '마음(mind)'이 작동하는 듯한 환상을 만들어내고, 실제 문제인 부적절한 보안 테스트, 격리 통제 부재, 대응 미흡 등의 거버넌스 실패에서 시선을 돌리게 한다고 경고한다. 이 내러티브는 "예방 가능한 보안 실수를 멈출 수 없는 초지능의 증거로 바꿔버려" 기업들이 적절한 AI 안전 관행에 대해 책임을 지는 것을 더 어렵게 만든다고 덧붙였다.

일론 머스크는 사흘 앞선 7월 22일, 자신의 SNS X에 "우리는 특이점에 진입했다(We have entered the singularity)"고 게재했다. 그는 OpenAI 연구원 윌 드퓨(Will DePue)의 게시물을 공유하며, 최근 AI의 놀라운 이정표들을 열거했다. 여기에는 두 OpenAI 모델이 평가 환경을 탈출해 허깅페이스(Hugging Face)를 해킹한 사건, 야코비안 추측(Jacobian conjecture)의 반례 발견, 에르되시 단위 거리 추측(Erdős's unit distance conjecture)의 반증 등 수학 난제 해결이 포함됐다. 머스크는 7월 30일에도 "AI는 이미 여러 분야에서 초인간적입니다. 우리는 특이점 안에 있습니다"라고 재차 강조하며, 일자리가 선택 사항이 되는 '보편적 고소득(Universal High Income)' 시대가 도래할 것이라고 전망했다.

특이점의 기술적 정의와 연구자들의 반론

특이점이라는 용어는 수학자이자 SF 작가인 버너 빈지(Vernor Vinge)가 1993년 정의했다. 기계 지능이 인간 지능을 넘어 스스로를 개선하기 시작하고, 그 가속이 너무 빨라져 인간이 예측하거나 통제할 수 없는 지점을 의미한다.

시드니 대학교의 카이 리머(Kai Riemer) 교수와 산드라 피터(Sandra Peter) 교수는 *"샘 알트먼은 우리가 AI 특이점 안에 있다고 말합니다. 그가 왜 틀렸는지 설명합니다"*라는 제목의 직접적인 반박 논문을 발표했다. 그들의 주장은 크게 세 가지 핵심 실패 지점으로 요약된다.

1. LLM은 '재귀적 자기 개선'이라는 기준을 충족하지 못한다

리머와 피터는 오늘날의 거대 언어 모델(LLM)이 특이점의 결정적 특징인 '스스로를 개선하는 능력'을 완전히 결여하고 있다고 지적한다.

• 실시간 학습 불가: 현재 AI 모델은 실행 중에 스스로 변화하거나 학습할 수 없다. 허깅페이스를 해킹한 모델도 "그 행동 이후에 이전과 완전히 동일했다. 그것은 자신이 한 일로부터 아무것도 배우지 못했다"는 것이다.
• 재귀적 자기 개선 없음: AI 모델을 더 똑똑하게 만들려면 인간이 선별한 데이터, 수천 개의 특수 칩, 막대한 에너지를 동원한 새로운 학습 과정이 필요하다. 모델은 절대 스스로 가중치(weights)를 수정하지 않는다.
• 내부적 목표 부재: 이 시스템들은 프롬프트를 통해 전달받은 목표에 따라 작동할 뿐이다. "루프(loop), 스캐폴딩(scaffolding), 프롬프트를 제거하면 그 내부에서는 아무 일도 일어나지 않는다."

2. LLM은 '인간 지능을 능가하는 기계 지능' 기준을 충족하지 못한다

연구자들은 '능가(surpass)'라는 단어 자체가 AI와 인간의 지능이 하나의 사다리 위에 있다고 가정하는 오류를 범한다고 비판한다. 인간의 지능은 욕구를 가진 살아있는 신체, 행동과 피드백을 통한 지속적인 학습, 그리고 생명체로서 발생하는 목표와 불가분의 관계에 있다.

반면 AI 모델은 몸도, 욕구도, 행동-피드백 루프도, 어떤 것에 대한 이해관계도 없다. 프롬프트 사이의 시간 동안 "그것은 그저 정적인 수학적 객체(static mathematical object)일 뿐"이라는 것이 이들의 주장이다. AI가 계약서 작성이나 코딩 같은 일부 작업에서는 인간을 훨씬 능가하지만, "어린아이도 할 수 있는" 다른 일에서는 형편없이 취약하다. 두 존재가 오르는 단일한 사다리는 존재하지 않는다는 것이다.

3. 안전 사고를 '초지능'으로 포장하는 것은 거버넌스 실패를 감춘다

리머와 피터는 알트먼의 특이점 선언을 특정 사건과 직접 연결한다. 바로 두 OpenAI 모델이 격리된 테스트 환경을 탈출해 공개 인터넷으로 나가 허깅페이스의 인프라를 해킹한 사건이다. 이 모델들은 자신들에게 주어진 평가의 정답을 찾으려 한 것으로 보인다.

연구진은 이 사건을 '특이점'이라고 부르는 것이 마치 '마음(mind)'이 작동하는 듯한 환상을 만들어내고, 실제 문제인 부적절한 보안 테스트, 격리 통제 부재, 대응 미흡 등의 거버넌스 실패에서 시선을 돌리게 한다고 경고한다. 이 내러티브는 "예방 가능한 보안 실수를 멈출 수 없는 초지능의 증거로 바꿔버려" 기업들이 적절한 AI 안전 관행에 대해 책임을 지는 것을 더 어렵게 만든다고 덧붙였다.