AI ‘모델 붕괴’란 무엇인가: AI가 AI 데이터를 학습할 때 생기는 문제

• 출력 다양성 감소
• 드문 사례에 대한 이해 부족
• 현실 데이터 분포와 점점 다른 결과 생성

이 현상은 특정 모델만의 문제가 아니라 여러 생성 모델에서 확인됐다.

연구에서 분석된 모델 유형은 다음과 같다.

• 대형 언어 모델(LLMs)
• 변분 오토인코더(VAE)
• 가우시안 혼합 모델(GMM)

여러 모델에서 동일한 현상이 나타났다는 점은, 모델 붕괴가 특정 아키텍처의 문제가 아니라 합성 데이터 기반 학습의 일반적인 위험일 가능성을 시사한다.

왜 재귀 학습은 희귀 패턴을 지워버릴까

이 현상의 핵심 원인은 통계적 샘플링 방식에 있다.

AI 모델이 데이터를 생성할 때는 확률이 높은 패턴이 훨씬 더 자주 등장한다. 반대로 드문 사례들은 데이터 분포의 꼬리 부분에 있기 때문에 원래도 적게 등장한다.

이 상태에서 다음 세대 모델이 그 데이터를 학습하면 다음 과정이 반복된다.

• 희귀 사례가 이전보다 더 적게 나타남
• 모델이 약간 왜곡된 분포를 학습
• 다음 세대 모델에서 왜곡이 더 커짐

결과적으로 각 세대마다 편향이 누적된다.

마지막 단계에서는 드문 패턴이 완전히 사라지게 되고, 이후 모델은 그 패턴이 존재했다는 사실 자체를 복원할 수 없게 된다.

실제 데이터 한 점이 붕괴를 막을 수 있는 이유

흥미롭게도 일부 분석 연구는 아주 작은 양의 실제 데이터만으로도 붕괴를 막을 수 있을 가능성을 제시한다.

연구자들은 ‘지수 가족(Exponential Families)’이라는 통계 모델을 분석해 단 하나의 실제 데이터 포인트만 있어도 학습이 잘못된 분포로 수렴하는 것을 막을 수 있다는 결과를 제시했다.

이 데이터는 일종의 앵커(anchor) 역할을 한다.

즉,

• 실제 데이터는 원래 분포의 존재를 증명하는 신호가 되고
• 모델이 완전히 왜곡된 방향으로 수렴하는 것을 막는다

또 다른 방법은 **사전 지식(prior)**을 모델에 넣는 것이다.

예를 들어 모델이 학습할 수 있는 분포를 일정 범위로 제한하면, 합성 데이터에서 발생한 편향이 모델을 완전히 다른 분포로 끌고 가는 것을 방지할 수 있다.

흥미로운 점은 합성 데이터가 훨씬 더 많아도 이런 앵커가 안정성을 유지할 수 있다는 것이다.

왜 이 문제가 점점 중요해지는가

이 문제는 특히 대형 언어 모델(LLM) 시대에 더욱 중요해지고 있다.

현재 많은 LLM은 인터넷에서 수집한 방대한 텍스트로 학습된다. 문제는 시간이 갈수록 인터넷 콘텐츠의 상당 부분이 AI가 생성한 텍스트가 되고 있다는 점이다.

만약 미래 모델들이 이런 데이터에 의존해 학습한다면 다음과 같은 문제가 생길 수 있다.

• 생성 결과의 다양성 감소
• 드문 상황에 대한 대응 능력 약화
• 현실 세계 지식의 표현 범위 축소

연구자들은 이를 막기 위해 신뢰할 수 있는 인간 생성 데이터(human‑generated data)를 유지하거나, 원래 데이터 분포를 보존하는 학습 전략이 필요하다고 강조한다.

아직 남아 있는 한계

다만 모든 결론이 실제 대규모 LLM 학습 환경에서 완전히 검증된 것은 아니다.

예를 들어 **‘실제 데이터 한 점이면 충분하다’**는 결과는 주로 이론적 분석과 단순화된 통계 모델에서 나온 것이다.

따라서 실제 AI 시스템에서는 필요한 실제 데이터의 양이 다음 요소에 따라 달라질 수 있다.

• 모델 구조
• 데이터셋 구성
• 학습 방식

그럼에도 연구들이 공통적으로 보여주는 메시지는 분명하다.

AI가 오직 AI가 만든 데이터만 학습하기 시작하면, 시간이 지날수록 현실의 일부가 모델에서 사라질 위험이 있다는 것이다.

앞으로 AI 시스템의 품질을 유지하려면 현실 세계 데이터와의 연결을 계속 유지하는 전략이 필수적인 과제가 될 가능성이 크다.