Le risque de « model collapse » : quand l’IA se dégrade en apprenant de ses propres données

Avec le temps, les sorties du modèle deviennent plus étroites et moins diverses, reflétant surtout les motifs les plus fréquents présents dans les données d’entraînement.

Le phénomène a été observé dans plusieurs familles de modèles génératifs, notamment :

• les grands modèles de langage (LLM)
• les variational autoencoders (VAE)
• les modèles de mélanges gaussiens (GMM)

Le fait que ces architectures différentes montrent le même effet suggère que le model collapse est une propriété générale de l’apprentissage génératif lorsqu’il repose sur des données synthétiques récursives, et non un problème propre à un type de modèle particulier.

Pourquoi l’entraînement récursif fait disparaître les motifs rares

La cause principale est statistique.

Lorsqu’un modèle génère des données synthétiques, il a tendance à produire les motifs les plus probables beaucoup plus souvent que les événements rares. Or ces événements rares se trouvent déjà dans les extrémités de la distribution des données et sont donc peu représentés lors de l’échantillonnage.

Quand une nouvelle génération de modèles est entraînée sur ces données synthétiques :

• les exemples rares apparaissent encore moins souvent ;
• la distribution apprise devient légèrement biaisée ;
• les générations suivantes amplifient ce biais.

Chaque cycle d’entraînement renforce donc la distorsion introduite par les modèles précédents. À terme, les queues de la distribution disparaissent complètement et il ne reste plus que les motifs dominants.

Une fois ces exemples rares absents du corpus d’entraînement, les modèles ultérieurs ne peuvent plus les reconstruire, car aucune donnée ne prouve qu’ils existaient initialement.

Comment des données réelles ou des connaissances préalables peuvent éviter l’effondrement

Une observation surprenante de travaux récents est que très peu d’informations réelles peuvent suffire à stabiliser l’apprentissage.

Des chercheurs qui ont analysé des modèles statistiques appelés familles exponentielles ont montré que l’ajout d’un seul point de données provenant de la distribution réelle peut servir d’« ancre ». Ce point conserve une preuve de l’existence des motifs rares et empêche l’entraînement récursif de converger vers une distribution erronée.

Un effet similaire peut être obtenu avec des connaissances préalables (priors) intégrées au modèle. Ces contraintes limitent les distributions que le modèle peut apprendre, évitant qu’il dérive entièrement vers les biais présents dans les données synthétiques.

En pratique :

• des échantillons réels permettent de préserver les motifs rares mais valides ;
• des priors structurent l’apprentissage pour empêcher la dérive statistique.

Même si les données synthétiques sont beaucoup plus nombreuses que les données réelles, ces « points d’ancrage » peuvent suffire à maintenir la stabilité du modèle.

Pourquoi ce problème devient crucial pour les grands modèles de langage

Le model collapse inquiète particulièrement les chercheurs parce que la proportion de contenu généré par l’IA sur le web augmente rapidement.

Les grands modèles de langage sont souvent entraînés sur d’immenses ensembles de données collectés sur Internet. Si ces corpus contiennent de plus en plus de texte généré par des IA, les modèles futurs pourraient être formés principalement à partir de données déjà synthétiques.

Le risque est que les modèles s’éloignent progressivement de la richesse et de la diversité du langage humain et des connaissances réelles.

Les conséquences possibles incluent :

• une diversité plus faible dans les réponses générées ;
• une moins bonne gestion des cas rares ou inhabituels ;
• une représentation plus étroite du monde réel.

Pour éviter ce scénario, les chercheurs soulignent l’importance de préserver l’accès à des données humaines fiables ou d’intégrer des mécanismes capables de maintenir la distribution originale des données pendant l’entraînement.

Ce que l’on ne sait pas encore

Même si le mécanisme du model collapse est bien étayé, certains détails restent incertains. Par exemple, l’idée qu’un seul point de donnée réel puisse empêcher l’effondrement provient d’analyses théoriques et de modèles statistiques simplifiés, plutôt que d’expériences à grande échelle sur des LLM industriels.

Dans la pratique, la quantité exacte de données réelles nécessaire pourrait donc dépendre de nombreux facteurs : architecture du modèle, composition du dataset ou méthode d’entraînement.

Malgré ces incertitudes, la conclusion générale est claire : un entraînement d’IA reposant uniquement sur du contenu généré par l’IA risque d’effacer progressivement certaines parties de la réalité, ce qui rend crucial le maintien d’un lien avec des données du monde réel.