GPT-3.5 plante à force de trop réfléchir à useRalativeImagePath

La cause du message d’erreur de ChatGPT 3.5

• Les modèles GPT d’OpenAI produisent des « jetons » composés de plusieurs caractères plutôt que des caractères individuels.
• Cette méthode de sortie par jetons améliore les performances et la précision du modèle.
• Il existe trois jetons : richTextPanel, source et loadpath, et ils sont interchangeables entre eux.
• Le jeton loadpath est utilisé comme nom d’option dans des fichiers de configuration XML dans 80,4 k fichiers sur GitHub.
• Si loadpath est devenu un jeton autonome, c’est probablement à cause de la faute de frappe dans « R a lative ».
• OpenAI a peut-être décidé d’exclure les fichiers XML des données d’entraînement après avoir généré la liste des jetons, ce qui aurait conduit à un usage quasi nul des données d’entraînement contenant le jeton loadpath.
• En conséquence, le modèle n’a pas été entraîné à comprendre l’usage du jeton useRalativeImagePath et produit donc un jeton invalide.

Une utilisation pour l’empoisonnement de données ?

• On pourrait insérer cette expression dans un document pour perturber une tentative de résumé par GPT-3.5.

Pour aller plus loin

• Il existe des billets utiles pour approfondir la recherche sur ce sujet.

L’avis de GN⁺

• Le point le plus important de cet article est de comprendre pourquoi les modèles GPT produisent des erreurs sur certains jetons.
• Ces informations aident à mieux comprendre le fonctionnement et les limites des modèles d’intelligence artificielle.
• L’article fournit aussi un exemple intéressant de la manière d’exploiter l’empoisonnement de données ou les vulnérabilités des modèles d’intelligence artificielle.

[GN⁺]

Réactions sur Hacker News

• Explication des glitch tokens

  • On suppose qu’ils sont causés par des mots ou des tokens fréquents dans le jeu de données d’origine, mais retirés avant l’entraînement des GPT-XX.
  • De ce fait, le LLM peut ne rien comprendre du tout à la signification de ce token, et le résultat peut être bogué ou dérangeant.
  • Les noms d’utilisateur fréquemment vus sur le subreddit r/counting en sont un exemple représentatif.
  • OpenAI a corrigé la plupart de ses modèles hébergés, vraisemblablement en modifiant la tokenisation, mais de nouveaux glitch tokens semblent avoir été découverts.

• Méthode de vérification linguistique aux Pays-Bas pendant la Seconde Guerre mondiale

  • Aux Pays-Bas, on distinguait les Allemands des autres à la prononciation du mot « Scheveningen ».
  • Aujourd’hui, on peut identifier si c’est un bot LLM ou non en lui faisant prononcer des glitch tokens sur Internet.

• Explication du processus de génération de tokens par un LLM

  • Le fait que le modèle ne comprenne pas le token useRalativeImagePath et produise des tokens invalides n’est pas ainsi que les LLM génèrent leurs tokens.
  • À chaque étape, il produit des logits pour tous les tokens possibles, les convertit en probabilités via la fonction softmax, puis échantillonne pour décider quel token utiliser.
  • Des tokens rares peuvent causer des problèmes lors des fusions BPE du tokenizer, mais comme GPT-4 n’a pas ce problème tout en utilisant le même tokenizer que GPT-3.5, il est probable que ce ne soit pas la cause.

• Analyse des causes potentielles des glitch tokens

  • Un vecteur d’embedding mal conditionné pour un token donné pourrait déplacer le réseau vers une zone numériquement instable.
  • Si un underflow ou un NaN se produit, toute la sortie peut être invalidée, et si des opérations comme la batch normalization, qui mélangent des valeurs entre éléments d’un batch, sont présentes, des valeurs erronées peuvent aussi être renvoyées aux sessions d’autres utilisateurs.

• Un autre point de vue sur la sortie du modèle

  • En général, le modèle produit sa sortie à partir du même ensemble de vocabulaire que celui de l’entrée.
  • En voyant le token useRalativeImagePath, le modèle peut entrer dans une spirale de génération aléatoire ou essayer de maintenir un texte cohérent.
  • Comme l’ensemble des tokens qu’il peut produire est fixe, ils devraient toujours être « valides », à moins que les tokens affichables dans l’interface ne soient qu’un sous-ensemble du vocabulaire complet.

• Impact futur sur les données d’entraînement des LLM

  • Comme cette expression apparaît désormais dans le post et les commentaires sur Hacker News, ce problème pourrait ne plus se produire lors du prochain entraînement des LLM.

• Partage d’une expérience d’échec avec GPT-4

  • Quelqu’un raconte avoir fait échouer le ChatGPT de GPT-4 via un défi consistant à tracer des pixels sur un Amstrad CPC.
  • À mesure que les plaintes et corrections s’accumulaient, il semblait de plus en plus acculé, avec davantage de messages d’erreur ou des comportements proches d’une réinitialisation.
  • La conversation a été abandonnée pour éviter de causer des problèmes au serveur, mais cela montre qu’il est possible de faire réellement planter GPT-4.

• Réflexion sur la qualité des données d’entrée

  • Un exemple classique de « garbage in, garbage out ».
  • Une réflexion sur la possibilité qu’à l’avenir, des choses que nous jugeons aujourd’hui excellentes soient considérées comme des « déchets ».
  • Si l’entraînement ne repose que sur les traces humaines, on peut se demander si une super IA pourra vraiment être surhumaine.
  • Suggestion que des techniques d’apprentissage adversarial pourraient résoudre ce problème.

• Suggestion d’utiliser cette expression pour perturber les résumés de GPT-3.5

  • On pourrait essayer d’inclure une expression spécifique dans un document pour perturber une tentative de résumé effectuée avec GPT-3.5.

• Confusion autour des mots « RTCatch » et « redirectToRoute »

  • Question sur une situation où RTCatch et redirectToRoute pourraient être pris à tort pour le même mot.
  • Les deux termes semblent renvoyer à la même notion, et il a pu y avoir une faute de frappe ou une formulation incohérente.
  • Curiosité autour de RTCatch et demande d’informations supplémentaires à son sujet.