Model Collapse

L'Article

Shumailov et al. (Nature, 2024) ont entraîné des générations successives de modèles de langage, chacune sur les sorties de la génération précédente mélangées avec des proportions décroissantes de données humaines originales. Le résultat était sans ambiguïté : les queues disparaissent tôt et de manière irréversible. L'estimation par le modèle de la distribution des données se déplace vers le mode - la sortie la plus commune, la plus moyenne, la plus attendue. Les événements à faible probabilité sont d'abord sous-pondérés, puis inapprenables, puis improduisibles.

Pourquoi Cela Se Compose

Chaque génération de modèle produit des sorties biaisées vers le centre de la distribution de la génération précédente. Lorsque cette sortie devient des données d'entraînement pour la génération suivante, le biais s'amplifie. Il n'y a pas de mécanisme d'auto-correction. Le processus est unidirectionnel. Vous ne pouvez pas récupérer la diversité de queue en entraînant sur plus de sortie IA. Vous ne pouvez la récupérer qu'en réintroduisant des données générées par l'humain - des données qui n'ont pas été filtrées à travers un modèle qui a déjà perdu les queues.

Le Problème d'Internet

Le web se remplit de contenu généré par IA à grande échelle. Les ensembles d'entraînement pour les modèles de nouvelle génération contiendront une proportion croissante de texte, d'images et de code générés par IA - produits par des modèles qui présentent déjà un certain degré d'effondrement. Le filtrage est imparfait et de plus en plus difficile à mesure que la qualité de génération s'améliore. Ce n'est pas un état futur hypothétique. C'est l'état actuel du pipeline de données.

Ce Qui Se Passe

Les outils de contenu IA entraînés sur des données de corpus produisent des copies marketing, des articles de blog et des narratifs de marque qui se regroupent autour des modèles les plus courants dans leur ensemble d'entraînement. La sortie est compétente, lisible et indistinguable des concurrents utilisant le même outil. La voix modale remplace la voix spécifique. À la Gen 1, la différence est subtile. À la Gen 3, chaque marque de la catégorie sonne comme une entité moyennée unique.

Les Dynamiques Concurrentielles

• Les concurrents utilisant le même modèle sur des entrées de brief similaires convergent vers des sorties similaires.
• Éditer la sortie IA vers une voix de marque est possible mais nécessite le jugement humain que l'IA était censée remplacer - éliminant le gain d'efficacité.
• Le contenu le plus distinctif et le plus performant tend à être la sortie qui dévie le plus de la production modale du modèle. Ce contenu nécessite la queue humaine que le modèle a perdue.

Ce Qui Se Passe

Les outils d'aide à la décision IA - souscription, notation de crédit, filtrage d'investissement, détection de fraude - entraînés sur des données historiques qui incluent des caractéristiques générées par IA ou des résultats étiquetés par IA présenteront un effondrement dans leurs distributions de risque. La valeur aberrante qui ne ressemble pas aux valeurs aberrantes passées est exactement celle qui ne sera pas signalée. Le modèle a perdu la capacité de reconnaître ce qu'il n'a jamais vu en proportion adéquate.

Le Problème du Risque de Queue

• Le risque financier de queue - les événements qui arrivent rarement mais de manière catastrophique - vit aux queues des distributions. Un modèle effondré sous-estime systématiquement le risque de queue.
• Les nouveaux modèles de fraude, les nouveaux vecteurs d'attaque, les structures de marché sans précédent et les concurrents créateurs de catégorie apparaissent tous aux queues. Un modèle qui a perdu ses queues ne peut pas les reconnaître.
• La confiance du modèle ne diminue pas quand il rencontre des événements de queue. Il produit une réponse de cas moyen avec une confiance de cas moyen. Le signal qu'il se passe quelque chose d'inhabituel est absent.

Ce Qui Se Passe

Quand les candidats utilisent l'IA pour écrire des candidatures et des CV, et quand les organisations utilisent l'IA pour les filtrer, les deux côtés du marché passent par des modèles entraînés sur le même corpus de communication professionnelle "efficace". Le résultat est une optimisation mutuelle vers un profil de candidat modal unique. Les candidatures qui obtiennent de bons scores sur les filtres IA sont des candidatures qui ressemblent à d'autres candidatures qui ont obtenu de bons scores - qui sont des candidatures que l'IA a aidé à écrire.

Les Implications Talent

• Les candidats non-traditionnels - reconvertis, autodidactes, personnes d'industries qui communiquent différemment - sont pénalisés pour ne pas se conformer à la voix professionnelle modale.
• Les organisations qui s'appuient sur le filtrage IA recrutent dans un bassin de talents effectif plus étroit qu'elles ne le croient. Le filtrage est efficace. La sélection est dégradée.
• Si les concurrents utilisent les mêmes modèles de filtrage, ils recrutent le même profil modal. La différenciation de la main-d'œuvre - l'avantage du capital humain - s'effondre en parallèle du modèle.

Ce Qui Se Passe

Les outils IA utilisés dans les processus d'innovation - idéation, développement de concept, recherche de marché, analyse concurrentielle - produisent des sorties biaisées vers le centre de leur distribution d'entraînement. Ce centre est le record accumulé de ce qui a été fait auparavant. Les idées genuinement nouvelles ne sont, par définition, pas bien représentées dans les données historiques. Un modèle qui a perdu ses queues ne peut pas les générer, et ne peut pas les reconnaître quand un humain en propose une.

La Dynamique d'Innovation

• La R&D assistée par IA, l'idéation de produit et le développement de stratégie produisent des idées qui obtiennent de bons scores sur les métriques de faisabilité parce qu'elles ressemblent à des idées qui étaient faisables avant.
• Les idées radicales - celles qui brisent les hypothèses de catégorie, créent de nouveaux marchés ou éliminent les titulaires - obtiennent de mauvais scores sur les métriques de faisabilité parce qu'elles ne ressemblent à rien qui existe.
• Les organisations qui filtrent l'innovation à travers la notation IA ne sont pas seulement moins susceptibles de découvrir des idées radicales - elles sélectionnent activement contre elles à grande échelle.
• Les concurrents utilisant les mêmes modèles convergent sur la même feuille de route d'innovation. L'avantage du premier arrivé disparaît quand l'IA de tout le monde pointe vers le même prochain mouvement.