Le Piège de Vérification

La plupart des grands modèles de langage s'entraînent sur des corpus web similaires. Les mêmes mythes, les mêmes biais, les mêmes perspectives sur-représentées. Quand ils sont d'accord, ils le sont souvent sur les mêmes erreurs.

Les architectures transformer partagent des schémas fondamentaux. Les mécanismes d'attention ont des angles morts similaires. L'accord peut refléter des limitations architecturales partagées, pas une vérité convergente.

Des modèles entraînés principalement sur du texte anglais, des perspectives occidentales, les dernières décennies. Ils partagent des hypothèses culturelles. Le consensus peut simplement signifier "c'est ce que l'internet anglophone croit".

Un modèle dit quelque chose avec confiance. Vous êtes sceptique. Vous vérifiez avec un deuxième modèle — même réponse. Un troisième — pareil. Votre scepticisme s'estompe. Mais les trois peuvent avoir appris la même erreur confiante.

Vous avez construit un pipeline multi-modèles pour la sécurité. Le Modèle A génère, le Modèle B vérifie, le Modèle C valide. Cela semble robuste. Mais s'ils partagent les mêmes angles morts, la vérification est du théâtre.

Et si un modèle dissentait ? Vous êtes entraîné à faire confiance à la majorité. Mais le modèle dissident pourrait être le seul à avoir échappé à l'erreur partagée. Le consensus réduit le signal au silence.

Plusieurs modèles répètent avec confiance le même mythe sanitaire parce qu'il apparaissait dans de nombreuses sources d'entraînement. Le consensus rend le mythe plus difficile à remettre en question. L'entrée Wikipedia était fausse, et tout le monde a appris d'elle.

Les modèles citent les mêmes affaires inexistantes parce qu'ils ont appris des hallucinations mutuelles dans le contenu web. La vérification croisée trouve les mêmes fausses citations.

Les modèles partagent des vues consensuelles sur les marchés qui reflètent des biais communs. Quand ils s'accordent qu'une chose est sûre, ils peuvent tous avoir tort dans la même direction. Les modèles de risque de 2008 s'accordaient aussi.

Si vous devez utiliser plusieurs modèles, choisissez-en avec des données d'entraînement vraiment différentes. Un modèle entraîné principalement sur des articles académiques versus un entraîné sur du code versus un sur le web non anglophone. La diversité réduit la corrélation.

Des architectures différentes ont des angles morts différents. Un modèle à récupération augmentée versus un transformer pur versus un système symbolique. L'accord à travers la diversité structurelle signifie davantage.

Les humains font des erreurs différentes de celles des modèles. Un vérificateur humain ajoute une perspective non corrélée. Ne remplacez pas le jugement humain par le consensus multi-modèles — c'est échanger une corrélation contre une autre.

zkML et les systèmes de preuve vous permettent de vérifier le calcul sans faire confiance au jugement. Prouvez que les mathématiques sont correctes plutôt que de demander à plusieurs modèles si la réponse semble juste. Vérification par preuve, pas par sondage.

Connectez-vous à la réalité externe. Pouvez-vous vérifier par rapport à des sources primaires, des mesures physiques ou des preuves formelles ? La vérité terrain ne partage pas les biais des modèles.

Demandez-vous : "Mes modèles de vérification partagent-ils des données d'entraînement, une architecture ou un contexte culturel ?" Si oui, leur accord prouve moins que vous ne le pensez.

Quand un modèle est en désaccord, enquêtez-vous ou passez outre ? Si vous faites constamment confiance à la majorité, vous optimisez pour le consensus, pas pour la vérité.

Quand votre système de vérification a-t-il attrapé quelque chose de surprenant pour la dernière fois ? S'il ne fait que confirmer, il ne vérifie pas — il ratifie.