Une approche déconcertante de simplicité pour récupérer des connaissances oubliées pour les LLM

• Les LLM oublient-ils vraiment ?

  • Les grands modèles de langage (LLM) sont entraînés sur d’immenses volumes de données textuelles et affichent d’excellentes capacités de génération de texte
  • Cependant, en raison de la nature sensible des données d’entraînement, ils peuvent apprendre des comportements indésirables
  • Le « machine unlearning » est une méthode visant à résoudre ce problème, avec pour objectif de supprimer des connaissances spécifiques tout en préservant au maximum l’utilité du modèle

• Problème et contenu de la recherche

  • Il existe encore peu de travaux sur la question de savoir si les méthodes actuelles d’« oubli » font réellement oublier des connaissances ou si elles ne font que les masquer
  • Cette étude montre que l’application de la quantification peut permettre de récupérer des informations « oubliées »
  • Des expériences ont été menées à plusieurs niveaux de précision à l’aide de diverses techniques de quantification

• Résultats expérimentaux

  • Pour les méthodes d’« oubli » assorties de contraintes d’utilité, le modèle conserve en moyenne 21 % des connaissances censées être oubliées en pleine précision
  • Après une quantification en 4 bits, ce taux augmente à 83 %

• Stratégie proposée

  • L’étude fournit une explication théorique de ce phénomène
  • Elle propose une stratégie d’« oubli » robuste à la quantification afin d’atténuer ce problème complexe

• Importance de la recherche

  • Ce travail constitue une contribution importante à l’évaluation et à l’amélioration de l’efficacité des méthodes d’« oubli » pour les LLM
  • Il aide à comprendre l’impact de la quantification sur l’« oubli »

[GN⁺]

Commentaires Hacker News

• Une étude montre que la quantification des modèles annule les méthodes d’"oubli". Les méthodes d’"oubli" consistent à mettre à jour les poids du modèle pour lui faire oublier certains faits. Ces méthodes sont principalement utilisées pour traiter des questions de droit d’auteur.
  • Le fait que la quantification annule l’"oubli" signifie, du point de vue de la théorie de l’information, que la connaissance reste toujours présente dans les poids du modèle.
  • Comparaison de la vague actuelle autour de l’IA avec l’engouement pour les imprimantes 3D il y a 10 à 15 ans, avec l’idée que l’IA connaîtra un destin similaire.
  • Le fait que la connaissance disparaisse dans un modèle 32 bits mais réapparaisse après compression en 4 bits est, du point de vue de la théorie de l’information, inattendu.
  • Pour l’"oubli", il est courant d’utiliser un faible taux d’apprentissage et une régularisation afin de ne pas nuire à l’utilité du modèle. Cela fait que les poids du LLM cible et du LLM "oublié" restent très proches.
  • Il faudrait soit empêcher les apprentissages indésirables lors de l’entraînement de base, soit faire en sorte que l’"oubli" du modèle de base soit sensible à la quantification.
  • Même en utilisant un LLM quantifié, rien n’a permis de constater que le modèle était moins censuré.
  • Pour renforcer un comportement "oublié", la technique d’abliteration est plus puissante.
  • En réalité, l’"oubli" consiste à réduire la probabilité d’échantillonnage dans un potentiel "espace d’apprentissage", et la quantification diminue l’effet de cet échantillonnage.
  • L’"oubli" correspond au fait que le LLM apprend à supprimer des connaissances indésirables, et la quantification brise cette suppression.
  • Découverte récente de la notion d’"oubli" des modèles, avec l’espoir d’obtenir une réponse sur la manière dont l’apprentissage fédéré pourrait empêcher cet "oubli".