« Les capacités “émergentes” des LLMs se développent en réalité de manière progressive et prévisible, selon une étude »

À quelle vitesse les grands modèles de langage apprennent-ils des compétences inattendues ?

• Une nouvelle étude sur les capacités des grands modèles de langage (Large Language Models, LLMs) suggère que les prétendues capacités « émergentes » se développent en réalité de manière progressive et prévisible.
• Les chercheurs ont décrit ces capacités comme un comportement « émergent », en les comparant à une transition de phase en physique, similaire au passage de l’eau liquide à la glace.
• Cependant, une équipe de l’université Stanford affirme que l’apparition soudaine de ces capacités n’est qu’une conséquence de la manière dont les chercheurs mesurent les performances des LLM.

Mesurer les performances des grands modèles de langage

• Les grands modèles de langage analysent d’immenses jeux de données textuels afin d’identifier les liens entre des mots qui apparaissent fréquemment ensemble.
• La taille d’un modèle se mesure par le nombre de paramètres, et plus il y en a, plus le LLM peut découvrir de connexions.
• GPT-2 disposait de 1,5 milliard de paramètres, GPT-3.5 de 350 milliards, et GPT-4 utilise 1,75 billion de paramètres.

Un développement progressif des capacités inattendues

• Les chercheurs de Stanford soutiennent que les capacités des LLM n’apparaissent pas soudainement et de façon imprévisible, mais qu’elles progressent de manière graduelle et prévisible.
• Par exemple, pour l’addition de nombres à trois chiffres, GPT-3 et LaMDA échouaient à effectuer des calculs exacts lorsqu’ils avaient moins de paramètres, mais devenaient soudain capables d’additionner à mesure que ce nombre augmentait.
• Au lieu d’évaluer les LLM uniquement sur la précision finale, les chercheurs ont utilisé une méthode de mesure accordant des points partiels, et ont constaté que les LLM apprenaient progressivement à prédire le bon ordre des chiffres.

Le point de vue d’autres scientifiques

• D’autres scientifiques soulignent que cette étude ne dissipe pas complètement la notion d’« émergence ».
• On ne sait toujours pas clairement quels critères de mesure utiliser, ni comment prédire à quel moment les performances des LLM vont s’améliorer brusquement.
• Certains chercheurs estiment que les précédents signalements de capacités « émergentes » étaient exacts et insistent sur le fait que, pour des compétences comme l’arithmétique, seule la bonne réponse compte.

L’avis de GN⁺

• Cette étude pourrait avoir des implications importantes pour le débat sur la sécurité de l’IA et ses risques potentiels. Si les capacités des LLM évoluent de manière prévisible, cela pourrait constituer un indicateur important pour le développement et la gestion sûrs de l’IA.
• Si ces résultats sont appliqués au développement réel de l’IA, les développeurs devront reconnaître l’importance des méthodes de mesure des performances et concevoir des approches d’évaluation plus sophistiquées.
• Cet article peut aider à comprendre les changements et avancées qui se produisent à la pointe de la recherche en IA, en particulier en apportant une nouvelle perspective sur la manière d’évaluer les performances des modèles d’IA.
• D’un point de vue critique, il faut reconnaître que ces résultats n’expliquent pas toutes les améliorations de performances des LLM et que, dans des modèles plus grands et plus complexes, des phénomènes d’« émergence » peuvent encore se produire.
• Dans ce domaine, la série GPT d’OpenAI est déjà largement utilisée sur le marché, et cette étude pourrait inspirer le développement d’autres LLMs similaires à GPT.

[GN⁺]

Avis Hacker News

• Quelques problèmes liés à l’étude

  • La méthode d’évaluation utilisée dans l’étude pourrait ne pas refléter correctement les capacités techniques.
  • Malgré les critères de mesure des auteurs, certaines capacités potentielles apparaissent quand même.
  • Il est facile de prédire les résultats à partir de données passées, mais le phénomène important est que des résultats inattendus sont apparus en pratique.
  • Cet article a de la valeur, mais il ne faut pas étendre excessivement ses conclusions.

• La difficulté de prévoir l’avenir

  • Prédire l’avenir ne devient facile qu’une fois qu’il s’est déjà produit.
  • Les capacités de haut niveau dépendent de nombreuses sous-capacités et sont difficiles à prévoir.
  • Pour faire des prédictions, il faut identifier à l’avance les éléments de base nécessaires et simuler le niveau qu’ils doivent atteindre.
  • Le type et la qualité des données comptent aussi, et il peut y avoir des changements brusques entre les versions d’un modèle.

• L’évolution des résultats quand on change les critères de mesure

  • En utilisant d’autres critères de mesure, le phénomène observé peut disparaître.
  • Si l’on observe les molécules d’eau individuellement, on peut voir une formation progressive de la structure cristalline au lieu d’un bloc de glace apparaissant soudainement.

• Titre de l’article : "Are Emergent Abilities of Large Language Models a Mirage?"

  • Lien vers l’article : arXiv:2304.15004

• Observations sur les changements brusques de capacité

  • D’autres études ont également constaté des bonds soudains dans les capacités.
  • Le modèle devient peut-être progressivement plus intelligent, et ces progrès peuvent être manqués à cause d’une méthode de mesure qui n’accorde pas de points aux réponses partielles.

• L’approche par score partiel et l’entraînement des modèles

  • Accorder des points partiels est une bonne chose, mais l’entraînement pour obtenir la bonne réponse reste important.
  • Plus la taille du modèle est grande, plus il est facile d’atteindre la convergence.
  • À mesure que la taille du modèle augmente, on peut avoir l’impression que des capacités apparaissent soudainement.

• L’apparition progressive des capacités

  • L’émergence des capacités n’a pas besoin de bonds brusques ni d’imprévisibilité.
  • De nouvelles capacités peuvent apparaître progressivement.

• Les limites des grands modèles de langage (Large Language Models, LLMs)

  • Les LLMs sont des moteurs d’évaluation des probabilités.
  • Le simple fait d’augmenter l’échelle des LLMs ne permettra pas, à lui seul, de créer une intelligence artificielle générale (Artificial General Intelligence, AGI).

• Confusion autour des critères de mesure

  • Une méthode de mesure utilisant l’edit distance pourrait ne pas être appropriée.
  • Cela semble être une manière étrange de tester si le modèle comprend l’arithmétique.
  • Il vaudrait peut-être mieux prendre en compte l’écart entre la valeur réelle et la valeur attendue.
  • Lien vers l’article : arXiv:2206.07682