Le mécanisme étonnamment simple qu’utilisent les LLM pour retrouver les connaissances qu’ils ont stockées

Des chercheurs du MIT démontrent la technique d’exploration des connaissances des grands modèles de langage

• Ils ont découvert que les grands modèles de langage utilisent un mécanisme simple pour retrouver les connaissances stockées lorsqu’ils répondent aux prompts des utilisateurs.
• Les chercheurs montrent qu’en exploitant ce mécanisme simple, il est possible d’identifier ce que le modèle sait sur divers sujets et de corriger des informations mal stockées.

La complexité des grands modèles de langage

• Les grands modèles de langage sont utilisés dans de nombreux domaines, comme le support client, la génération de code et la traduction automatique, mais leur mode de fonctionnement n’est pas encore entièrement compris.
• Des chercheurs du MIT et d’autres institutions ont étudié le mécanisme par lequel ces énormes modèles de machine learning retrouvent les connaissances qu’ils ont stockées.

Un mécanisme simple de récupération des connaissances

• Les résultats montrent que les grands modèles de langage utilisent souvent une simple fonction linéaire pour récupérer et décoder les faits stockés.
• Le modèle utilise la même fonction de décodage pour des faits de type similaire.
• Une fonction linéaire est une équation qui représente une relation en ligne droite entre deux variables.

Explorer ce que le modèle sait

• En identifiant les fonctions linéaires associées à différents faits, les chercheurs explorent ce que le modèle sait sur de nouveaux sujets et vérifient où ces connaissances sont stockées dans le modèle.
• Grâce à la technique développée et aux fonctions simples ainsi estimées, ils ont constaté que même lorsque le modèle donne une mauvaise réponse, il stocke souvent malgré tout la bonne information.

Visualiser les connaissances du modèle

• Les chercheurs utilisent ces fonctions pour déterminer ce que le modèle considère réellement comme vrai sur différents sujets.
• Par exemple, en partant du prompt "Bill Bradley was a" et en utilisant les fonctions de décodage pour "plays sports" et "attended university", ils vérifient si le modèle sait que M. Bradley était basketteur et diplômé de Princeton University.
• À l’aide de cette technique d’exploration, ils ont créé une grille appelée « lentille d’attributs » afin de visualiser où l’information sur une relation donnée est stockée dans les différentes couches du transformer.

L’avis de GN⁺

• Cette étude fait progresser d’un cran la compréhension de la manière dont les grands modèles de langage stockent et retrouvent les connaissances factuelles.
• Elle laisse entrevoir la possibilité d’exploiter ces résultats pour corriger les connaissances et éviter les erreurs des chatbots IA, afin de réduire leur tendance à fournir de mauvaises informations.
• Si cette technique est appliquée, elle pourrait contribuer à améliorer la fiabilité de l’IA et aider à offrir une meilleure expérience utilisateur.
• Cependant, comme tous les faits ne sont pas encodés de manière linéaire, des recherches supplémentaires sont nécessaires pour savoir si cette technique peut s’appliquer à tous les types de récupération de connaissances.
• Parmi les projets open source offrant des capacités similaires figurent BERT de Google et la série GPT d’OpenAI, qui contribuent eux aussi à mieux comprendre le fonctionnement des grands modèles de langage.
• Lors de l’introduction de nouvelles techniques, il faut tenir compte de l’équilibre entre la complexité du modèle et son interprétabilité, et l’un des bénéfices attendus ici serait une amélioration de la précision et de la fiabilité du modèle.

[GN⁺]

Commentaire Hacker News

• Ce travail remarquable met en lumière certains des plus gros problèmes actuels de l'IA

  • Nous n'essayons pas vraiment de travailler avec des neurones ou des ensembles de règles fondamentalement différents du perceptron
  • Il n'est pas surprenant que la structure du perceptron, simple fonction d'addition, se répète dans le modèle
  • Cela soulève la question de savoir si une topologie feedforward et une étape à neurone unique sont vraiment les meilleures options, simplement parce qu'elles sont les plus faciles à entraîner et à exécuter sur des cartes graphiques
  • Il existe des méthodes d'entraînement et des schémas d'encodage originaux qui ne sont pas utilisés parce qu'ils ne sont pas pris en charge par les grandes bibliothèques
  • Tant que nous ne commencerons pas à voir de véritables changements dans l'ensemble de règles de base des réseaux de neurones, nous nous battrons toujours contre des variantes du perceptron

• La structure du langage rend Word2Vec possible

  • L'entraînement sur des téraoctets de texte humain encodés avec Word2Vec + encodage positionnel permet de prédire l'encodage suivant à un niveau surhumain
  • Le bag-of-words (méthode d'entrée/sortie) et la fenêtre de contexte limitée nécessaire au fonctionnement de l'encodage positionnel créent un fort décalage avec la structure cognitive interne
  • En injectant beaucoup plus de puissance de calcul dans GPT-4 et consorts, il est possible que de nouvelles formes de représentation évoluent et doivent être découvertes par les humains
  • MemGPT pourrait finir par devenir une AGI grâce à une mémoire à long terme illimitée, mais il est plus probable qu'il ressemble au protagoniste de Memento

• Aide à comprendre ce que signifie le fait que les faits soient stockés sous forme de fonction linéaire

  • Les LLM encodent les faits dans un « espace des faits » à N dimensions, intègrent les faits comme des points/hypersphères/variétés de Voronoï dans cet espace, et le rappel des faits consiste pour le réseau de neurones à calculer/mémoriser une clé puis à effectuer une recherche clé-valeur dans cet espace
  • Question sur la manière d'intégrer ce type de KV-store dans un modèle graphique de propagation sur les arêtes, et sur l'existence éventuelle de techniques manuelles bien connues aujourd'hui
  • Lien amusant avec la technique mnémotechnique du « palais de mémoire », où le cerveau humain intégrerait les faits dans des fonctions linéaires pour les rendre facilement récupérables

• Curiosité sur les types de fonctions utilisés pour encoder les connaissances en programmation

  • Réflexion sur la possibilité de téléverser directement des bibliothèques standard ou d'autres bibliothèques dans le cerveau d'un LLM, sans entraînement coûteux ni fine-tuning dégradant les performances
  • C'est encore une capacité de science-fiction, mais elle semble se rapprocher de plus en plus

• Ressemble à ce que font les vecteurs de relation dans Word2Vec

  • Ajouter le vecteur « de X » permet souvent d'obtenir la bonne réponse
  • Il est possible que les transformers mappent mieux les entités dans l'espace d'embedding

• Les LLM semblent être un bon mécanisme de compression

  • Il est étonnant de se dire qu'avoir une copie locale de Llama sur son PC donne pratiquement accès à la quasi-totalité d'Internet

• Cela rappelle l'exemple d'embedding « King - Man + Woman = Queen »

  • Cela explique pourquoi une simple fonction linéaire fonctionne efficacement, puisque les embeddings contiennent des propriétés sémantiques

• Il est difficile de comprendre comment un « fichier CSV / une base de données / un modèle » avec 7 milliards de « paramètres » peut fournir un LLM/GPT interactif et bien informé sur presque tous les sujets

  • 4 bits est une « méthode de compression », et le modèle finit par voir du f32
  • La quantification est le processus qui consiste à mapper les poids du réseau de neurones, des nombres flottants 32 bits, vers une représentation beaucoup plus petite, comme des valeurs sur 4 bits
  • La déquantification a lieu lors de l'utilisation du modèle, en convertissant les poids quantifiés sur 4 bits en nombres flottants sur lesquels les calculs du modèle sont réellement effectués
  • Question sur la relation entre les « paramètres » et le « nombre de tokens uniques (taille du vocabulaire) » que le modèle connaît
  • LLaMA a une taille de vocabulaire de 32 000 et 65B paramètres, comparé à GPT-3
  • 6,5 milliards de paramètres fonctionnent comme un système de mapping complexe qui détermine comment réagir à une entrée donnée à partir des relations apprises entre les tokens des données d'entraînement

• J'aime beaucoup cet article et le fait qu'il ait mené des expériences pour valider ces idées

  • Cela soulève des doutes sur la nouveauté de l'idée elle-même, étant donné que les LLM apprennent naturellement de simples tendances statistiques entre les mots
  • Il est encore plus intéressant d'avoir clairement montré que tous les comportements des LLM ne peuvent pas être expliqués de manière aussi simple

• Possibilité de séparer la partie raisonnement de la partie information

  • Si c'est vrai, ce serait une découverte très surprenante