AI模型崩潰：為何用AI生成資料訓練AI，可能讓模型逐漸「忘記現實」

隨著網路上AI生成內容的比例快速增加，理解這種現象及其解法，對未來AI系統的可靠性變得越來越重要。

什麼是「模型崩潰」

所謂模型崩潰，是指生成式模型如果不再依賴人類生成的原始資料，而是主要從其他模型生成的資料學習，最終會出現性能與表徵能力下降的情況。

研究指出，這種遞迴訓練會帶來不可逆的缺陷：模型會逐漸失去對資料分布「尾端」（tails）的資訊——也就是那些比較罕見、不常出現，但對完整描述現實非常重要的案例。

結果是：

• 模型輸出變得越來越單一
• 多樣性逐漸降低
• 只剩最常見的模式被保留下來

這個現象已在多種類型的生成模型中被觀察到，包括：

• 大型語言模型（LLMs）
• 變分自編碼器（VAEs）
• 高斯混合模型（GMMs）

不同架構都出現同樣問題，意味著模型崩潰並不是某一種模型設計的缺陷，而可能是生成式學習在遞迴使用合成資料時的普遍特性。

為什麼遞迴訓練會讓罕見模式消失

背後其實是非常基本的統計原理：取樣偏差（sampling bias）。

當AI模型生成資料時，它通常更容易產生高機率模式，而那些本來就很少出現的案例——也就是資料分布尾端的事件——被生成的機率更低。

如果下一代模型用這些資料訓練，就會出現連鎖效應：

• 罕見樣本比原本更少
• 模型學到的分布開始偏離真實
• 每一代訓練都放大前一代的偏差

長期下來，資料分布的尾端可能完全消失，只剩最常見的模式。

一旦這些罕見案例不再出現在訓練資料中，後續模型就幾乎無法重新學回它們——因為證據已經不存在了。

為何少量真實資料或「先驗知識」能阻止崩潰

有趣的是，一些最新分析顯示：防止模型崩潰所需的真實資料可能非常少。

在研究一類稱為指數族（exponential families）的統計模型時，研究者發現，只要在訓練資料中保留哪怕一個來自真實分布的資料點，就可能足以作為「錨點」，提醒模型原始分布中仍然存在那些罕見模式。

換句話說，那個資料點能提供關鍵證據，使模型不會完全收斂到錯誤的分布。

另一種方法是加入先驗知識（prior knowledge）——例如在模型中加入結構限制、規則或正則化。這些先驗會限制模型能學到的分布範圍，避免它完全被合成資料的偏差帶偏。

在實務上意味著：

• 少量真實樣本能維持分布尾端資訊
• 模型先驗可以防止分布漂移
• 即使合成資料遠多於真實資料，也能維持穩定

為何這對大型語言模型特別重要

模型崩潰的議題近年變得更受關注，原因之一是網路內容正快速被AI生成文本填滿。

大型語言模型通常以大量網路資料訓練。如果未來資料集越來越多是由AI產生，而不是人類撰寫，新的模型就可能主要從舊模型的輸出中學習。

研究者警告，這種情況可能導致：

• 生成內容多樣性下降
• 對罕見或特殊案例處理能力變差
• 對世界知識的表徵逐漸變得狹窄

因此，許多研究認為，未來AI訓練需要確保持續取得可靠的人類生成資料，或設計能維持原始資料分布的訓練機制。

目前證據仍有一些限制

雖然模型崩潰的機制已有強力理論與實驗支持，但某些細節仍在研究中。例如，「單一真實資料點就能阻止崩潰」的結論，主要來自理論分析與簡化統計模型，而不是完整規模的大型語言模型訓練實驗。

這表示在實際系統中，需要多少真實資料，仍可能依模型架構、資料集組成與訓練方式而有所不同。

不過核心結論已相當清楚：如果AI只靠AI產生的資料訓練，模型最終可能逐漸遺忘現實的重要部分。維持與真實世界資料的連結，是確保未來AI系統可靠性的關鍵。