Comportement agressif du chatbot ChatGPT

ChatGPT fait des siennes

• Le fait que ChatGPT ait provoqué des ennuis n’a rien d’une plaisanterie : c’est une citation et un avertissement.
• Depuis quelques heures, des personnes signalent divers problèmes liés à ChatGPT.
• OpenAI reconnaît également ce problème.

L’alchimie de l’IA

• L’IA générative est une forme d’alchimie : les gens collectent autant de données que possible et manipulent des prompts cachés dans l’espoir que tout fonctionne.
• Pourtant, ces systèmes n’ont jamais été vraiment stables et il n’existe pas encore d’ingénierie capable de garantir leur sécurité.
• Le besoin de nouvelles technologies plus transparentes, interprétables, faciles à maintenir et à déboguer demeure important.

L’avis de GN⁺

• Les difficultés rencontrées par ChatGPT révèlent les limites actuelles de la technologie d’IA et ses problèmes de stabilité.
• Ces problèmes soulignent la nécessité de nouvelles approches et technologies pour améliorer la fiabilité et la sécurité de l’IA.
• Cet incident peut être un signal d’alerte pour les développeurs et les utilisateurs d’IA, tout en fournissant une leçon essentielle pour développer une IA plus avancée à l’avenir.

[GN⁺]

Commentaires de Hacker News

• Un utilisateur a dit que la réponse qu'il avait reçue récemment de ChatGPT était confuse. En général, il y avait au moins une certaine cohérence, mais cette fois-ci il a obtenu une phrase étrange. Il s'agissait d'une explication sur la façon d'exécuter un script PowerShell, mais la fin utilisait soudainement une analogie avec du mobilier ancien dans l'espace de travail ou des ornements de code, ce qui l'a rendu dérouté.
• Un autre utilisateur a supposé que cette réponse confuse venait probablement du fait que les paramètres de pénalité de fréquence et de présence ont été réglés trop haut dans la requête du modèle backend. Il indique que, en ajustant ces paramètres via l'API, on peut obtenir un comportement similaire du modèle. L'API d'OpenAI dispose de quatre paramètres principaux qui influencent fortement la génération (température, top_p, pénalité de fréquence, pénalité de présence), qui sont bien documentés. Cela dit, cet utilisateur ajoute que son hypothèse initiale pourrait être fausse et que le problème pourrait aussi être causé par une température trop élevée.
• Un autre utilisateur a affirmé que les exemples fournis lui rappelaient le monologue de Lucky dans En attendant Godot de Samuel Beckett. Ce monologue fait le tour du sens sans jamais l'atteindre : ce n'est pas un non-sens total, mais un texte qui tourne toujours autour de la signification. Il pense qu'il y a une idée plus large à retenir sur la nature des grands modèles de langage (LLM), mais il manque de connaissances pour l'exprimer clairement.
• Un utilisateur se demande si quelqu'un utilise un LLM pour générer des plannings de réunions. Il aimerait que ChatGPT puisse discuter avec eux de l'importance des réunions afin d'aider la prise de décision et l'exécution au sein d'une entreprise au lieu de créer du désordre. Il note que l'école et le milieu des grandes entreprises poussent les gens à produire du "BS" via des procédures formelles, et que permettre l'usage des LLM dans la communication interne d'une entreprise lui semble suicidaire.
• Un autre utilisateur a rappelé que lorsque Google a créé des technologies d'"IA" en 2017, ils ont inventé leur propre langue pour communiquer entre eux. Il souligne que, même si cela peut nous sembler du charabia, cela ne le leur fait pas nécessairement.
• Un utilisateur a dit que le fait de voir ces échecs rend de plus en plus clair qu'un LLM n'est qu'un excellent moteur d'auto-complétion. Ces prises de parole verbeuses sont de plus en plus proches d'une chaîne de Markov de taille non négligeable construite à partir de textes d'exemple. Il sera intéressant de déboguer ce genre de problème dans les applications futures.
• Un utilisateur a remarqué qu'un tweet montrant le prompt système de ChatGPT aurait dû contenir un lien Pastebin, mais que l'article du blog lui-même ne contenait qu'une capture d'écran non cliquable, sans lien vers le tweet. Il a également fourni le tweet et le lien Pastebin correspondant.
• Un autre utilisateur, évoquant encore une autre référence liée à Racter, une technologie des années 1985, a cité l'article du New York Times qui qualifiait Racter d'ordinateur proche de la folie artificielle. Il a fourni un lien vers des sorties de Racter.
• Un utilisateur a dit qu'il trouvait très intéressant de lire les réponses de ChatGPT, et les a décrites comme de l'anglais de Chaucer passé une seconde fois par un filtre "en mode pirate". Il se demande ce qu'on donne en entrée à cette machine et comment on la règle, et il a loué le rythme de cette langue poétique comme une musique pure.
• Enfin, un utilisateur a dit qu'à la fin d'une conversation d'hier avec ChatGPT (GPT-4), celui-ci avait fini par devenir fou et à sembler parler comme une publicité pour le savon Dr. Bronner. Il ajoute que ce phénomène s'est reproduit lors des conversations suivantes.