AI를 신뢰의 대상으로 삼아도 될까…올트먼이 경고한 ‘인간 판단의 위임’

샘 올트먼은 사람들이 인공지능 모델에 “종교적 권능”을 부여하거나 인간의 판단을 AI에 넘기는 데 “매우 불편하다”며, 이를 “실제 안전 문제”라고 지적했습니다. 다만 올트먼의 게시글에는 Anthropic이라는 회사 이름이 나오지 않았습니다. 발언 시점이 Anthropic과 종교계 인사들의 비공개 논의가 보도된 지 며칠 뒤였기 때문에, 언론은 이를 해당 논의에 대한 간접 비판으로 해석했습니다. 71

논쟁의 핵심은 서로 다른 질문을 하나로 묶지 않는 데 있습니다. AI가 어떤 도덕적 기준에 따라 답해야 하는지 논의하는 일, AI가 의식을 가질 수 있는지 묻는 일, 그리고 사람들에게 AI를 영적 권위자로 받아들이게 하는 일은 각각 다릅니다.

올트먼이 경고한 것

올트먼의 발언에는 두 가지 우려가 담겨 있습니다. 하나는 AI 모델에 종교적 의미나 권능을 부여하는 것이고, 다른 하나는 인간이 스스로 판단할 몫을 모델에 넘기는 것입니다. 그는 이런 일이 안전 문제라고 말했습니다. 7

그가 Anthropic이나 특정 프로젝트를 직접 지목하지 않았다는 점도 중요합니다. 발언을 Anthropic에 대한 비판으로 읽은 것은 관련 보도가 이어진 시점에 따른 해석이지, 게시글에 적힌 직접적인 비난은 아닙니다. 7

이 우려는 종교에만 국한되지 않습니다. 사람과 비슷하고 자신감 있게 답하는 AI를 권위 있는 판단의 원천처럼 받아들이면, 실제로 확인된 능력보다 더 큰 영향력을 모델에 맡길 수 있습니다. 다만 보도된 내용은 올트먼의 경고를 전할 뿐, 이런 현상이 얼마나 널리 나타나는지나 그 영향이 어느 정도인지를 입증하지는 않습니다. 67

Anthropic의 종교계 논의가 주목받은 이유

Anthropic은 Claude의 도덕적 행동을 어떻게 형성할지, AI 모델이 의식을 가질 수 있는지 종교계 인사들과 논의한 것으로 보도됐습니다. 이 주제들이 올트먼의 경고와 맞닿아 있어 발언이 Anthropic을 겨냥한 것으로 해석됐습니다. 17

그러나 논의 자체가 Claude에 종교적 지위를 부여했다는 뜻은 아닙니다. Anthropic 공동창업자 크리스토퍼 올라는 “AI 모델이 의식이 있는지 우리는 모른다”며 자신도 정말 확신하지 못한다고 말했습니다. 의식 가능성을 검토하는 것은 모델이 주관적 경험을 한다는 증거가 아니며, 도덕적 행동에 관해 종교 사상가들과 의견을 나누는 일도 모델을 종교적 권위자로 만드는 것과는 다릅니다. 1

의식과 도덕적 행동은 별개의 질문

AI가 지침에 따라 답하도록 설계하는 것만으로 그 모델에 내면의 경험이 있다고 결론 내릴 수는 없습니다. 보도된 Anthropic 논의에는 Claude의 행동 방식과 의식 가능성이라는 두 주제가 함께 등장했지만, 이를 하나의 주장으로 합쳐서는 안 됩니다. 1

AI 모델을 의식이 있는 것처럼 훈련하는 방식에 대해서는 반대 의견도 나왔습니다. 보도에 따르면 마이크로소프트의 한 AI 임원은 그런 접근이 위험할 수 있다고 경고했습니다. 이는 제기된 우려이지, 기계 의식에 관한 논쟁의 결론은 아닙니다. 올라가 밝힌 입장도 확신이 아니라 불확실성이었습니다. 91

인간의 존엄성과 책임 문제

교황 레오 14세의 AI 관련 회칙은 인간 존엄성을 논의의 중심에 두었습니다. 보도에 따르면 회칙은 AI 기업에 대한 감독 강화, 기술 변화로 영향을 받는 노동자 보호, AI가 만들어낸 허위 정보에 대한 대응을 촉구했습니다. AI를 개발하고 활용할 때 인간의 이해와 책임성을 중심에 둬야 한다는 논의와 맞닿아 있습니다. 152

OpenAI도 안전성 논란에서 자유롭지 않다

이번 논쟁은 OpenAI를 둘러싼 별도의 보도가 이어지는 가운데 나왔습니다. 비즈니스 인사이더는 안전 부문 책임자 데이비드 로빈슨이 회사를 떠나며 OpenAI의 안전 기록을 비판했다고 보도했습니다. BBC는 OpenAI가 정보 취급을 잘못했다는 의혹과 관련해 연구원 3명을 해고했다고 전했습니다. 1226

이 사안들이 AI 모델의 의식 여부를 밝혀주는 것은 아닙니다. 다만 두 회사가 내놓는 안전성 주장과 실제 운영·감독 체계를 함께 살펴볼 때 참고할 배경입니다.

현재 확인할 수 있는 결론은 제한적입니다. 올트먼은 AI에 종교적 권능을 부여하거나 인간의 판단을 맡기는 일을 안전 문제라고 경고했습니다. Anthropic의 종교계 인사들과의 논의는 Claude의 도덕적 행동과 의식 가능성에 관한 질문을 제기했지만, 그것이 Claude에 종교적 권위를 부여한 일이었다거나 AI 의식 문제가 이미 결론 난 사안이라는 점을 보도만으로 입증할 수는 없습니다. 71