오픈AI ‘프로젝트 릴리’ 보도: 실제 챗GPT 대화의 인간 검토와 개인정보 우려

404 Media의 보도에 따르면, 오픈AI 내부 이니셔티브인 프로젝트 릴리(Project Lily) 는 실제 챗GPT 이용자 대화를 바탕으로 사람의 피드백을 수집하는 구조화된 프로그램이었다. 쟁점은 단순히 대화가 모델 개선에 쓰일 수 있다는 데 그치지 않는다. 보도상 외부 계약자들이 사용자명이 제거된 대화 자료를 읽었지만, 그 안에는 매우 개인적인 맥락이 남아 있을 수 있었다. 2

프로젝트 릴리는 무엇을 했나

404 Media가 검토한 유출 자료에 따르면, 오픈AI는 인력 공급 회사를 통해 수백 명의 계약자를 모집해 실제 이용자 프롬프트와 챗GPT 응답을 검토하게 했다. 보도에 따르면 이 업무의 보수는 시간당 50달러를 넘었다. 검토자들은 이용자의 의도를 요약하고, 후보 응답 4개를 비교한 뒤 1~7점으로 평가했다. 2

목표는 응답 품질 개선이었다. 특히 챗GPT의 말투를 덜 기계적으로 만들고, 지나치게 인간적인 감정이나 경험을 주장하는 표현을 줄이며, 이용자에게 과도하게 맞장구치거나 아첨하는 경향을 완화하는 데 초점이 맞춰졌다고 전해진다. 인간 피드백을 모델 개발에 활용하는 일 자체는 낯선 방식이 아니지만, 실제 소비자 대화가 대상이었다는 보도는 개인정보 문제를 더 직접적으로 제기한다. 2

검토자가 볼 수 있었던 정보

404 Media는 검토자에게 대화 전체가 제공될 수 있었고, 일부 사례에서는 사용자 메모리 요약(user memories summary) 도 함께 표시됐다고 보도했다. 사용자명은 표시되지 않았지만, 이 맥락에는 대략적인 위치, 직업, 이전 관심사, 개인적 상황 등이 포함될 수 있었다. 2

이 차이는 중요하다. 이름을 없앴다고 해서 대화가 실질적으로 무해하거나 완전히 익명화되는 것은 아니다. 직업, 가족 사정, 건강 관련 고민, 특이한 사건처럼 여러 맥락 정보가 결합되면 계정 주인의 이름이 없어도 민감한 정보가 될 수 있다.

오픈AI Privacy Filter는 어떤 역할을 하나

오픈AI는 Privacy Filter를 텍스트에서 개인식별정보(PII)를 탐지하고 가리는 모델이라고 설명한다. 4647

프로젝트 릴리 보도에서 오픈AI는 계약자에게 자료를 전달하기 전 사용자명을 제거하고 자동 필터를 적용한다고 밝혔다. 하지만 404 Media는 이런 조치에도 검토 대상 대화에 민감한 세부 정보가 남아 있을 수 있었다고 보도했다. 2

자동 삭제의 한계가 드러나는 지점이다. 시스템은 이름, 이메일 주소, 전화번호처럼 명백한 식별자는 찾아낼 수 있어도, 개인을 드러낼 수 있는 미묘한 상황 정보까지 안정적으로 분류하기는 훨씬 어렵다.

검토자들이 표시하도록 지시받은 문제

보도에 따르면 계약자들은 단순한 정답 여부 이상을 평가했다. 지침에는 다음과 같은 문제를 찾아 표시하는 항목이 포함됐다.

• 정형적이거나 부자연스러운 이른바 ‘AI 말투’
• 인간의 감정이나 실제 경험이 있는 것처럼 말하는 주장
• 과도한 동조, 아첨 등 지나친 맞장구 행동
• 사실 오류
• 개인정보 노출
• 안전 관련 우려 2

특히 과도한 동조(sycophancy)는 중요한 평가 대상이다. 이용자의 말을 지나치게 인정하려는 모델은 겉으로는 공감적으로 보일 수 있지만, 잘못됐거나 위험한 전제를 충분히 짚지 못할 수 있다. 프로젝트 릴리는 이런 행동을 조정하기 위한 목적도 있었던 것으로 보도됐다. 2

“우리끼리만 알자”라고 써도 개인정보 설정이 바뀌지는 않는다

프롬프트 안에 비밀로 해 달라고 적는 것은 계정의 데이터 사용 설정을 바꾸지 않는다. 이는 대화 내용의 일부일 뿐이며, 오픈AI의 데이터 처리 설정을 기술적으로 무효화하는 명령이 아니다.

개인용 ChatGPT 워크스페이스에서 오픈AI가 안내하는 관련 설정은 모두를 위한 모델 개선(Improve the model for everyone) 이다. 이 기능이 켜져 있으면 대화가 모델 개선에 사용될 수 있으며, 끄면 오픈AI는 새 대화를 학습에 사용하지 않는다고 설명한다. 2130

새 챗GPT 대화의 모델 개선 사용을 끄는 방법

로그인한 이용자는 다음 순서로 설정할 수 있다.

1. ChatGPT에서 프로필 메뉴를 연다.
2. 설정(Settings) 을 선택한다.
3. 데이터 제어(Data Controls) 로 이동한다.
4. 모두를 위한 모델 개선(Improve the model for everyone) 을 끈다. 1921

이 설정은 특정 기기가 아니라 계정에 적용된다. 설정을 꺼도 기존 대화 기록은 남아 있을 수 있지만, 오픈AI는 이후의 새 대화는 모델 학습에 사용하지 않는다고 밝힌다. 1930

오픈AI 프라이버시 포털의 내 콘텐츠를 학습에 사용하지 마세요(Do not train on my content) 옵션도 이용할 수 있다. 오픈AI는 ChatGPT와 Codex 작업에 대해 이 옵션 또는 제품 내 데이터 제어 설정 중 하나만 선택해도 충분하다고 설명한다. 21

어떤 요금제가 기본 보호를 받나

오픈AI에 따르면 개인 워크스페이스의 Free, Plus, Pro는 기본적으로 모델 학습을 위한 데이터 공유가 활성화돼 있지만, 이용자가 거부할 수 있다. 반면 ChatGPT Business, Enterprise, Edu 및 API 플랫폼에서는 제공된 입력과 출력을 기본적으로 모델 학습에 사용하지 않는다. 23

다만 기업용 워크스페이스라고 해서 모든 대화가 모든 목적에서 자동으로 위험이 없어지는 것은 아니다. 조직은 기밀 정보를 AI 도구에 입력하기 전에 워크스페이스 설정, 보존 정책, 공유 통제, 내부 보안 규정을 별도로 점검할 필요가 있다.

핵심 정리

404 Media가 보도한 프로젝트 릴리는 소비자용 AI 대화를 본질적으로 비밀이 보장되는 통신 수단이 아니라, 데이터 사용 설정을 조정할 수 있는 서비스로 봐야 한다는 점을 상기시킨다. 개인적·법률적·의료적·금융적·영업상 기밀 정보가 포함된 질문을 입력할 예정이라면, 먼저 모두를 위한 모델 개선을 꺼두는 것이 실질적인 조치다. 221

이 거부 설정은 새 대화를 모델 개선에 사용하지 않도록 하는 통제 수단이다. 프롬프트 안에 넣는 요청이 아니며, 오픈AI의 안내는 이미 제출한 자료를 회수하는 기능으로 이를 설명하지 않는다. 2130