ChatGPT 드리밍 V3: 당신의 모든 대화를 기억하는 AI, 그 치명적 오류

주요 아키텍처 변화는 다음과 같습니다.

• 전체 대화 기록 스캔: 더 이상 사용자가 깃발을 꽂아 둔 항목에 의존하지 않고, 모든 대화를 읽습니다 .
• 선호도 추론: 사용자가 저장할 의도가 없었을 수도 있는, 평소의 가벼운 발언이나 과거 행동 패턴에서 은밀한 세부 정보를 추출합니다 .
• 세션 간 통합: 오프라인에서 꿈꾸는 듯한 프로세스(dreaming process)가 실행되어 모순된 정보를 해결하고 오래된 사실을 업데이트합니다 .
• 합성된 표현: 저장되는 것은 당신의 대화를 그대로 옮긴 녹취록이 아니라, 당신이 누구인지에 대해 모델이 생성한 압축된 설명문입니다 .

사용자는 '설정'에서 메모리 요약본을 볼 수 있지만, 근본적인 원시 데이터 계층은 직접 노출되지 않습니다 . 이는 시스템이 잘못된 정보를 학습하기 시작할 때 치명적인 감사 공백(audit gap)을 만듭니다.

ZDNet 테스트, 광범위한 정확성 결함 발견

ZDNet의 데이비드 게위츠 기자는 업그레이드된 메모리를 광범위하게 테스트한 결과, 시간이 지남에 따라 더욱 심각해지는 구조적인 정확성 문제를 발견했습니다 .

• 오래된 가정이 영구 고착됨: ChatGPT는 오래된 직함, 종료된 프로젝트, 대체된 선호도를 저장한 후, 모든 후속 상호작용에서 이를 현재의 사실인 것처럼 취급했습니다 .
• 사소한 실수가 불변의 진리로: AI는 작은 실수를 고정해 버리고, 검증된 사실에 사용하는 것과 동일한 수준의 확신을 적용합니다. 단 하나의 잘못된 세부 정보가 향후 수십 개의 답변을 조용히 오염시킵니다 .
• 보이지 않는 전파: 결함이 있는 메모리 데이터는 뭔가 잘못되었다는 눈에 보이는 신호 없이 답변을 왜곡합니다. 사용자는 AI가 이미 많은 대화에서 손상된 맥락을 바탕으로 작업하고 있다는 사실을 피해가 번질 때까지 전혀 깨닫지 못할 수 있습니다 .
• 정교하지만 틀린 프로필: 시스템은 그럴듯하지만 사실이 아닌 정교한 개인 프로필을 만들고, 모든 답변을 잘못된 전제에 고정시킵니다 .

게위츠 기자는 드리밍 V3를 "기술적 승리"이자 "무책임한 기능"이라고 평가했습니다 . 핵심 문제는 AI가 실수를 한다는 점이 아닙니다. 진짜 문제는 그 실수가 당신이 이후에 묻는 모든 질문의 영구적이고 보이지 않는 인프라가 되어 버린다는 점입니다.

감사 공백: 오픈AI가 당신에게 보여주지 않는 것들

오픈AI의 메모리 FAQ에는 조용히 충격적인 사실이 담긴 인정 문구가 있습니다. "메모리 요약에는 가장 중요한 세부 정보가 담겨야 하지만, 여기에는 ChatGPT가 당신과의 채팅을 바탕으로 기억하는 모든 것이 포함되지는 않습니다. ChatGPT가 무언가를 기억하고 있는지 알고 싶다면, 채팅에서 직접 물어보세요" .

메모리 요약 페이지는 합성된 프로필을 사람이 읽을 수 있도록 개괄한 것입니다. 모델이 실제로 저장하고 사용하는 내용을 들여다보는 완전한 창이 아닙니다 . 이는 사용자가 설정 UI만으로는 ChatGPT가 자신에 대해 무엇을 '알고' 있는지 완전히 감사할 수 없다는 뜻입니다 . AI에게 당신에 대해 숨기고 있는 가정을 스스로 드러내 보라고 일일이 물어봐야 하는데, 이는 신뢰할 수도 없고 정기적으로 사용하기에도 현실적이지 않은 미봉책에 불과합니다.

"그냥 삭제하면 되는 거 아닌가?"라는 질문이 통하지 않는 이유

메모리를 관리하거나 삭제하는 옵션은 존재하지만, 각각 상당한 한계를 지닙니다.

• 메모리 기능을 꺼도 이미 저장된 내용이 지워지지 않을 수 있음: ZDNet은 이 기능을 비활성화해도 시스템이 이미 합성한 데이터가 반드시 삭제되지는 않는다고 보도했습니다 .
• 수동 삭제는 위태로운 임시방편: 사용자가 '설정'에서 개별 메모리 항목을 검토하고 삭제할 수는 있지만, 다음에 '드리밍' 프로세스가 실행될 때 기존 채팅 기록에서 동일한 세부 정보를 다시 학습할 수 있습니다 .
• 진행 중인 자동 재합성: 드리밍 V3는 맥락을 지속적으로 재합성하므로, 단순히 나열된 메모리를 삭제한다고 해서 과거 대화에서 비슷한 정보를 다시 추론하는 것을 막을 수 없습니다 .
• 대부분의 사용자는 문제가 터지기 전까지 감사하지 않음: 손상된 메모리의 첫 번째 가시적 징후는 오염된 데이터가 이미 많은 답변을 형성해 버린 후에야 나타나는 경우가 많습니다 .

새로운 유형의 컨텍스트 부패: 프로필의 중심부부터 썩는다

'컨텍스트 부패(Context Rot)'는 대규모 언어 모델이 컨텍스트 윈도우가 가득 차면서 성능이 저하되는 현상, 즉 오래된 정보가 새로운 내용에 밀려나면서 출력 결과가 사용자의 실제 상황에서 멀어지는 현상을 말합니다 . 드리밍 V3는 여러 세션에 걸쳐 이런 문제를 해결하도록 명시적으로 설계되었으며, "ChatGPT의 수억 명 사용자와 수년에 이르는 시간 규모에 메모리를 적용할 때 나타나는 정보의 노후화, 정확성, 확장성 문제를 해결"하기 위해 개발되었습니다 .

하지만 오픈AI가 구축한 것은 더욱 교활한 변종을 낳았습니다. 유한한 윈도우가 채워지면서 맥락이 외부에서부터 썩는 대신, 이제는 중심부에서 바깥쪽으로 썩어 나갑니다. 일단 하나의 오류가 영구적인 사용자 프로필에 침투하면, 이후 모든 답변을 조용히 저하시킵니다. 이건 정보 손실로 인한 전통적인 컨텍스트 부패가 아닙니다. 시스템이 권위 있는 것으로 취급하는 잘못된 정보로 인한 부패입니다. 그리고 사용자는 이를 보거나 쉽게 제거할 수 없기 때문에, 왜 자신의 AI가 점점 더 엉터리 답변을 내놓는지 영영 알지 못할 수도 있습니다 .