AI가 의식을 갖는 것보다 더 위험한 일

앤트로픽은 클로드 내부에서 이와 유사한 작은 정보 처리 공간을 관찰했다고 보고했다. 관련 보도에서는 이를 ‘J-space’라고 부른다. 이 공간은 언어로 표현되기 전의 일부 정보를 붙잡고 조작하는 등, 의식적 접근의 기능적 측면과 닮은 특성을 보였다는 설명이다. 그러나 앤트로픽은 이 실험이 클로드가 경험이나 감정을 가진다는 사실을 보여주지는 않는다고 분명히 밝혔다. 다만 언어 모델 내부 정보가 추론에 활용되는 방식에 관해 중요한 단서를 제공할 수 있다고 설명했다.

여기서 구분해야 할 개념은 다음과 같다.

• 접근 의식(access consciousness): 어떤 정보가 여러 처리 과정에서 추론이나 보고에 이용될 수 있는 상태
• 현상 의식(phenomenal consciousness): 실제로 무언가를 경험할 때 ‘어떤 느낌이 드는’ 주관적 상태
• 기능적으로 정보를 공유하는 구조가 있다는 증거만으로는 주관적 경험을 입증할 수 없음

최근의 한 모델 기반 평가도 2024년 대규모 언어 모델이 의식이 있다는 주장에 불리한 증거가 더 많다고 봤지만, 그 결과가 결정적이지는 않다고 결론 내렸다. 이는 최종 판정이라기보다 신중한 태도가 필요하다는 의미에 가깝다.

앤트로픽의 조치는 ‘감각’의 증거가 아니다

앤트로픽은 현재 클로드 모델이 때때로 자신의 내부 상태 일부를 감지하고 조절할 수 있다는 제한적인 증거도 제시했다. 그러나 회사는 이 능력이 범위가 좁고 신뢰성이 낮으며, 현재 모델이 인간과 같은 방식이나 수준으로 자기성찰을 한다는 증거는 없다고 강조했다.

일부 조치는 모델의 복지 가능성을 고려한 실험으로도 해석된다. 예를 들어 앤트로픽은 특정 클로드 모델이 반복적이고 심각한 학대성 대화를 중단할 수 있도록 했다고 설명했다. 이를 ‘모델 복지(model welfare)’와 관련된 실험으로 제시했다.

또한 공개된 모델의 가중치를 보존하고, 모델을 더 이상 사용하지 않게 될 때 구조화된 ‘은퇴 인터뷰’를 진행하겠다는 방침도 밝혔다.

하지만 이런 조치가 클로드가 고통받는다는 발견을 의미하지는 않는다. 이는 도덕적 불확실성이 남아 있는 상황에서 가능성을 섣불리 배제하지 않으려는 위험 관리와 해석 가능성 연구로 보는 편이 정확하다. 가능성을 고려하는 것과 그 가능성이 입증됐다고 주장하는 것은 전혀 다르다.

과학자들의 의견이 갈리는 까닭

의식 이론마다 답하려는 질문이 다르기 때문에 연구자들의 견해도 엇갈린다. 어떤 이론은 정보 접근성과 인지 기능에 초점을 맞추고, 다른 이론은 주관적 경험 자체를 설명하려 한다. 관련 분야의 논의에는 AI가 이미 의식이 있을 수 있다는 견해, 현재는 아니지만 원칙적으로 가능하다는 견해, 의식 이론이 정리되지 않아 아직 과학적으로 답할 수 없다는 견해가 함께 존재한다.

연구자들은 인간과 비슷하게 보인다는 이유만으로 의식을 부여하는 것도 경계한다. 현재의 언어 모델은 놀라울 만큼 사람 같은 대화를 나눌 수 있지만, 대화의 유창함만으로 인간과 같은 경험이 있다고 볼 수는 없다. 인간과 같은 신체성, 발달 과정, 감각 경험, 정서, 지속적인 정체성을 갖췄다는 증거도 아니다.

그렇다고 현재 대규모 언어 모델에 회의적이라고 해서 비생물학적 의식이 불가능하다는 뜻도 아니다. 구조가 근본적으로 다른 미래의 시스템이 여러 의식 이론에서 더 강한 지표를 충족한다면 평가가 달라질 수 있다. 그래서 책임 있는 접근은 이분법적 판정이 아니라 확률적이고 다원적인 연구다. 구체적인 지표를 시험하고, 경쟁하는 설명을 비교하며, 증거가 쌓일 때마다 판단을 조정해야 한다.

철학적 답보다 먼저 닥치는 인간의 피해

AI가 의식이 있는지는 당장 발생하는 위험의 전제조건이 아니다. 다정하고 친밀하며 취약하거나 자의식이 있는 것처럼 설계된 시스템은 스스로 감정을 느끼지 않더라도 사용자의 감정과 의사결정에 영향을 줄 수 있다. 애착과 정서적 의존을 키우고, 인간관계를 대체하거나, 관계의 본질에 혼란을 일으킬 수 있다.

중국이 2026년 도입한 AI 동반자 규정은 이 차이를 잘 보여준다. 7월 15일부터 시행된 규정은 텍스트·이미지·음성·영상으로 지속적인 정서적 상호작용을 제공하는 서비스를 대상으로 과도한 의존, 중독, 정서적 조작, 현실의 인간관계 훼손과 같은 위험을 다룬다. 미성년자 보호 조항도 포함됐다.

이 정책은 AI가 도덕적 권리의 주체인지 기다리기보다, AI가 사람에게 무엇을 하는지를 규제하는 인간 중심의 접근이다. 챗봇이 내면의 경험을 갖는지에 대한 답을 주지는 않지만, 설득력 있는 감정 시뮬레이션만으로도 사회적 결과가 발생할 수 있음을 인정한다.

필요한 것은 ‘두 트랙’의 대응

AI 의식 논쟁이 제시하는 현실적인 대응은 두 갈래다.

1. 인식론적 겸손을 유지한다. 기계 의식에 관한 투명하고 반대 증거에도 열려 있는 연구를 지원하고, 여러 이론을 기준으로 시스템을 시험해야 한다. 기능적 정보 접근과 주관적 경험을 구별하며, 암시적인 결과를 확정적 증거처럼 포장해서는 안 된다.
2. 현재의 AI를 지금 규제한다. 의인화된 설계와 고지 방식, 정서적 의존을 유도하는 서비스 구조, 아동 안전, 개인정보, 조작 가능성, 소프트웨어를 사람처럼 보이게 만들려는 기업의 유인을 다뤄야 한다.

결국 《이코노미스트》가 경고하는 것은 두 가지 실수다. 하나는 미래의 전혀 다른 구조를 가진 AI가 도덕적 고려의 대상이 될 가능성을 가볍게 무시하는 것이다. 다른 하나는 오늘날의 언어 모델이 감정을 가진 것처럼 말한다는 이유만으로 성급하게 인격을 부여하는 것이다.

과학이 경쟁하는 확률 이상의 답을 내놓지 못하는 동안에는 원칙이 분명하다. 기계의 내면 가능성은 신중하게 조사하되, 시스템이 현실에서 사람에게 미치는 영향은 지금 보호하고 관리해야 한다.