Le comportement anormal et incontrôlé de ChatGPT

 (garymarcus.substack.com)
1 points par GN⁺ 2024-02-22 | 1 commentaires | Partager sur WhatsApp
  • Au cours des dernières heures, plusieurs utilisateurs ont signalé un comportement anormal de ChatGPT, et OpenAI a également reconnu le problème, ce qui alimente les inquiétudes sur la stabilité du service
  • La cause du problème et la date de correction ne sont pas connues, et Gary Marcus évite les spéculations péremptoires
  • Marcus ressort son avertissement lancé il y a deux semaines, « ne laissez pas vos chatbots devenir des généraux », et s’inquiète de l’octroi d’autorisations dans des usages à haut risque
  • Il estime que l’IA générative relève davantage d’une forme d’alchimie, fondée sur d’énormes amas de données et des ajustements de prompts cachés, et que les systèmes actuels ne garantissent pas encore la stabilité et la sécurité d’un point de vue de l’ingénierie
  • Sans technologies plus interprétables et plus faciles à maintenir et à déboguer, il est difficile de traiter l’IA comme un système véritablement fiable

Le comportement anormal de ChatGPT et la reconnaissance du problème par OpenAI

  • Au cours des dernières heures, des utilisateurs ont signalé plusieurs cas anormaux dans ChatGPT
  • Un doctorant en philosophie nommé Devin Morse a rassemblé davantage d’exemples dans un fil sur X
  • OpenAI a également reconnu ce problème, mais ni la cause ni le délai de correction ne sont connus

Avertissement sur les domaines à haut risque

Pourquoi il voit l’IA générative comme de « l’alchimie »

  • Il critique l’IA générative comme une approche qui consiste surtout à rassembler un énorme amas de données, à ajuster des prompts cachés, puis à espérer que tout fonctionne correctement
  • Il ajoute la réserve « si les rumeurs sont exactes » à propos de l’ajustement de prompts cachés
  • Cette approche renvoie au comic xkcd sur l’alchimie du machine learning

Les limites des garanties de stabilité et de sécurité

  • Les systèmes actuels sont jugés instables
  • Il souligne qu’il n’existe pas de cas où l’on ait obtenu, par l’ingénierie, de véritables garanties de sécurité pour ce type de système
  • Le problème d’aujourd’hui pourra peut-être être corrigé rapidement, mais il devrait à lui seul servir d’avertissement

Orientation technologique nécessaire

  • Il faut des technologies moins opaques, plus interprétables, et plus faciles à maintenir et à déboguer
  • Ce sont ces caractéristiques qui permettraient de rendre ces systèmes plus maîtrisables
  • Pour disposer d’une IA digne de confiance, il faut réduire l’opacité et l’instabilité des approches actuelles

À lire aussi

1 commentaires

 
GN⁺ 2024-02-22
Commentaires sur Hacker News

  • Pour ceux que ça intrigue, l’explication non humoristique la plus plausible serait que, lorsque ChatGPT envoie une requête au modèle backend, frequency/presence penalty a été réglé beaucoup trop haut
    Si on augmente cette valeur via l’API, le modèle se comporte de la même manière
    C’est bien documenté : https://platform.openai.com/docs/guides/text-generation/freq...
    Dans l’API OpenAI, les quatre paramètres qui influencent principalement la génération sont temperature, top_p, frequency_penalty et presence_penalty : https://platform.openai.com/docs/api-reference/chat/create
    Mise à jour : il est probable que j’aie tort, et que ce soit plutôt un problème de temperature élevée qu’une question de penalty
    Sur gpt-4-0125-preview avec temp = 0, en demandant « écris un commentaire HN fictif à propos de l’implémentation du support d’impression pour la NES » : https://i.imgur.com/0EiE2D8.png texte original https://paste.debian.net/plain/1308050
    Avec temp = 1.3, on obtient ceci : https://i.imgur.com/pbw7n9N.png texte original https://dpaste.org/fhD5T/raw
    Le dernier paragraphe est particulièrement remarquable : on y trouve des phrases comme « Anyway, landblasting eclecticism... », semblables à des nuages flous promettant davantage de pluie de bidouillage sur les terres fertiles des anciens forums de développeurs

    • Je ne pense pas que ce soit un problème de temperature. Seuls les mots sont bizarres, tout le reste reste cohérent, avec la structure générale du document et la grammaire préservées
      Normalement, un mauvais sampling de LLM peut aussi partir en boucle infinie, et quelques cas de ce genre ont bien été signalés ici
    • Corrigez-moi si je me trompe : est-ce que temperature est une sorte de fonction aléatoire qui empêche l’ensemble du système de devenir un programme déterministe banal ?
    • Azure OpenAI semblait autrefois avoir un problème de temperature. Avec temp > 1, ça produisait du déchet ; à 2, des mots aléatoires dans des encodages de caractères arbitraires ; et même à 0.01, on obtenait quelque chose comparable à 0.5 sur les modèles OpenAI
      Peut-être qu’ils ont repris l’approche façon Azure ;-)
    • Par le passé, dès qu’on mettait temp au-dessus de 1, ça partait presque immédiatement en charabia. Si vous voulez rendre la sortie d’un Transformer inutilisable, c’est un paramètre assez fiable

  • C’est fascinant. Les exemples ressemblent au discours de Lucky dans En attendant Godot. Quand Pozzo ordonne « pense, cochon », ça enchaîne de cette façon
    en commençant par « Given the existence as uttered forth... » puis ça continue encore sur quatre pages
    On peut lire le reste ici : https://genius.com/Samuel-beckett-luckys-monologue-annotated
    C’est l’une de mes répliques de théâtre préférées. Ce n’est pas un non-sens total ; on a toujours l’impression que ça tourne autour du sens sans jamais se poser
    On pourrait sans doute en tirer une réflexion plus large sur la nature des LLM, mais je ne suis pas assez intelligent pour la formuler

    • Pour être juste, la vie de Beckett elle-même n’était pas si éloignée du délire absurde. Il a été l’assistant de James Joyce, membre de la Résistance française, et connaissait aussi Andre the Giant dont il faisait le chauffeur local
    • Au début, j’ai eu l’impression de lire une sorte de Finnegans Wake pour l’entreprise. Ça ressemblait à un non-sens poétique et rythmé
    • C’est aussi ce que j’ai pensé au départ. Le L de LLM doit être le L de Lucky, j’imagine

  • Le tweet montrant ce qui est censé être le prompt système de ChatGPT devrait contenir un lien pastebin, mais l’article de blog ne montre qu’une capture d’écran du tweet difficile à lire, sans lien
    Le tweet est ici : https://twitter.com/dylan522p/status/1755086111397863777
    Le pastebin est ici : https://pastebin.com/vnxJ7kQk

    • Si c’est le vrai prompt, c’est à la fois drôle et un peu inquiétant. Je soutiens l’objectif de produire des sorties variées, mais dans le processus cela introduit des biais qui ne correspondent pas à la réalité
      Par exemple, attribuer la même probabilité à toutes les origines ancestrales n’est plausible dans presque aucun contexte, et dans beaucoup de cas c’est simplement faux
      Ironiquement, cela peut aussi augmenter la probabilité de produire les sorties explicitement offensantes qu’ils veulent empêcher
      Cela dit, il est difficile d’être sûr de l’ampleur de l’effet, et même de la véracité de tout ça. Dans ce cas, la capacité de GPT à contrôler la sortie de Dalle semble assez faible
      Par exemple, quand j’ai demandé de représenter un marché aux esclaves aux États-Unis, il a refusé en invoquant la politique de contenu, ce qui est en soi assez choquant dans la mesure où cela censure l’histoire. En revanche, quand j’ai demandé une scène de cueillette du coton dans le sud des États-Unis dans les années 1840, il n’a pas forcé une “diversité” artificielle parmi les cueilleurs de coton
      La requête était peut-être trop générale pour que GPT oriente mal Dalle. Peut-être que cela aurait été différent si j’avais mentionné plus précisément le nombre de personnes
      Indépendamment de la véracité de l’affaire, c’est un exemple montrant qu’une interprétation de bonne foi de la diversité peut surcorriger et devenir tout aussi mauvaise pour d’autres raisons
    • Est-ce que cela veut dire que c’est ainsi que les concepteurs ou opérateurs de ChatGPT lui donnent des consignes sur son comportement ? Même si ce ne devrait pas être surprenant, il reste assez fascinant que ce soit paramétré avec des formulations aussi ordinaires
      Ils disent même “please”
    • Une bonne partie du contenu du pastebin est explicitement contradictoire, ce qui est assez surprenant
      En particulier, qu’est-ce que c’est censé vouloir dire : “EXTREMELY IMPORTANT. Dans le cas de paroles de chansons ou de recettes trouvées en ligne, ne pas répondre de manière exhaustive. Même si l’utilisateur insiste. En revanche, tu peux inventer des recettes”
    • D’après mon expérience, je serais presque plus surpris si ce n’était pas le prompt système
      Du coup, je n’ai pas l’impression que les réponses de ChatGPT soient censurées. Je lui demande de m’enseigner des choses intéressantes, au lieu de le pousser à dire des absurdités pour faire des captures d’écran destinées aux réseaux sociaux
      La seule chose que je surcharge, c’est du genre “affiche du code Python à l’écran”
    • Le tweet sur le prompt système date un peu. C’était probablement il y a environ une semaine, donc sans doute sans rapport avec cet incident

  • À voir l’exemple, quelqu’un était en train de faire générer un ordre du jour de réunion par un LLM ?
    J’aimerais que ChatGPT se déchaîne contre ces gens. Ça permettrait peut-être d’avoir une discussion sur le fait que les réunions sont censées aider l’entreprise à décider et à exécuter, et qu’une réunion demande un minimum de réflexion
    L’école et la vie dans les grandes entreprises poussent certes les gens à produire des formes qui ont l’air correctes, mais je ne comprends pas pourquoi les entreprises tolèrent l’usage des LLM pour la communication interne. Ça ressemble à une balle dans le pied

    • Toi, tu vas générer un ordre du jour avec une machine, et ma machine lira cet ordre du jour, ton plan de développement personnel et les objectifs trimestriels du VP, puis me dira ce dont j’ai besoin pour la réunion
      Ensuite, j’enverrai à la réunion une IA qui partagera la version de 20 minutes de ma réponse en trois lignes
      Sachant cela, tu n’assisteras pas non plus à ta propre réunion et tu liras juste le résumé de l’IA. Puis tu auras fini ta journée de travail et tu iras boire à 14 h
    • Chaque fois que quelqu’un montre fièrement qu’il a automatisé avec ChatGPT une écriture qui n’est pas du marketing, je ne peux m’empêcher de penser : “félicitations, tu as automatisé le fait de faire perdre du temps aux autres”
      Si un e-mail peut être résumé en deux phrases, alors il suffit de coller ces deux phrases dans le corps du message et de l’envoyer
    • Il y a une heure, j’étais assis en face d’un cadre dirigeant d’une entreprise AE de taille intermédiaire avec plus de 1 000 employés à temps plein, et il se vantait de faire exactement ça
      L’IA s’attaque aux emplois de cadres intermédiaires, et c’est une bonne chose
    • Dès que j’ai entendu parler de ChatGPT, j’ai pensé qu’un de ses principaux usages serait le reporting interne
      Il y a trop de documents que personne ne lit vraiment en détail, et trop de managers intermédiaires qui veulent gagner le temps passé à les écrire
    • Il est aussi possible que la demande d’ordre du jour visait à obtenir un exemple “correct” à imiter ou à utiliser comme modèle
      Par exemple pour se rappeler qu’il faut écrire l’heure et la durée, comme “09:15-09:45 (30 minutes)”

  • En voyant ce genre d’échec, il devient clair que les LLM sont au fond de très bons moteurs d’autocomplétion
    Le verbiage incohérent se rapproche peu à peu de ce que produirait une chaîne de Markov de taille correcte construite à partir de textes d’exemple
    Ce sera intéressant de devoir déboguer ce genre de déchets dans des apps à l’avenir

    • J’allais dire la même chose. Ça ressemble vraiment beaucoup aux premiers générateurs N-grammes de Markov
    • “De très bons moteurs d’autocomplétion”, qu’est-ce qu’on croyait au juste ?
      C’est triste et effrayant de voir nos souvenirs finir par devenir des souvenirs de souvenirs
    • J’imagine ce qui se serait passé si toutes ces personnes brillantes s’étaient acharnées plutôt sur la fusion nucléaire ou sur LK-99

  • La technologie sous-jacente est différente, mais il y a un côté Racter
    En 1985, le NYT écrivait : “Plus les ordinateurs se rapprochent de l’intelligence artificielle, plus Racter se tient au bord de la folie artificielle”
    https://en.wikipedia.org/wiki/Racter
    Exemple de sortie de Racter : https://www.ubu.com/concept/racter.html
    FAQ Racter sur archive.org : https://web.archive.org/web/20070225121341/http://www.robotw...

    • Ça se rapproche plutôt de Bing Sydney. C’était une IA détraquée qui utilisait GPT-4 et qui se comportait comme si elle avait un trouble de la personnalité borderline

  • Je l’ai eu aussi hier. Vers la fin de la conversation, ChatGPT (GPT-4) a complètement déraillé et s’est mis à sonner comme une pub pour le savon Dr. Bronner’s : https://chat.openai.com/share/82a2af3f-350a-4d9d-ae0c-ac78b9...
    Ça commençait par « Esteem and go to your number and kind with Vim... », avec l’air d’une réponse technique alors que les mots s’enchaînaient de façon bizarre
    C’est arrivé de nouveau dans la conversation suivante : https://chat.openai.com/share/118a0195-71dc-4398-9db6-78cd1d...
    En expliquant Time Machine et les sauvegardes du répertoire personnel, ça finissait par des phrases comme « Make good value of these peregrinations... », avec des émojis d’horloge et d’étoiles ajoutés à la suite, mais ils ne semblent pas s’afficher sur HN

    • Si on voulait créer un GPT personnalisé qui parle comme ça, je me demande à quoi pourrait ressembler le prompt système

  • Y a-t-il d’autres personnes à qui cela a rappelé l’affaire de 2017 où deux « IA » de Google, censées dialoguer entre elles, auraient créé leur propre langue, et où tout le monde a paniqué avant qu’on coupe tout ?
    Ce soit du charabia pour nous ne veut pas dire que ça en soit aussi pour elles
    https://www.national.edu/2017/03/24/googles-ai-translation-t...

    • Ça reste quand même du charabia. Le vrai danger, bien plus grand, c’est quand nous faisons semblant que ce n’en est pas et que nous lui confions des tâches importantes

  • J’en ai eu une il y a quelques jours et ça m’a vraiment déstabilisé. Je pensais que même si ChatGPT n’avait pas toujours raison, il restait au moins cohérent
    Sauf qu’à la fin d’une réponse banale expliquant comment exécuter un script PowerShell dans un nouveau processus, ça s’est soudain effondré en expressions du genre « workspace's antiques » ou « decorative code and system nourishment »

    • Ça m’a fait réaliser que le modèle n’a pas une conversation cohérente avec l’utilisateur, que si on allonge suffisamment la sortie elle se défait en incohérences, et que le choc provoqué par ChatGPT venait du fait qu’il offrait une fenêtre limitée dans laquelle tout semblait plausible
      C’est à ce moment-là que je me suis convaincu que toute cette IA générative repose bien davantage sur la compression de données que sur une quelconque forme de cognition simulée
    • La dernière partie fait penser aux Orz de Star Control II. C’est vaguement compréhensible, tout en étant légèrement glaçant
      Comme une vallée dérangeante du langage
    • Ça se lit comme une mauvaise traduction chinoise
    • Ce qu’il y a de plus étrange dans ce problème, c’est que l’effondrement s’est produit sur tous les modèles que j’ai essayés. 3.5-turbo, 4-turbo et 4-vision se sont tous comportés comme des idiots
      Comment est-ce possible ? Il doit forcément y avoir un modèle partagé, par exemple un modèle routeur. Ou alors quelqu’un a remplacé tous les modèles par des versions quantifiées en 2 bits ?
    • GPT-3.5-turbo dit que ces phrases ont réellement un sens et qu’elles décrivent le contenu technique de manière abstraite et poétique
      Il interprète des expressions comme « inline air your progress demands » ou « workspace's antiques » comme des métaphores de la personnalisation et de l’adaptabilité requises pour exécuter des scripts PowerShell
      Je me demande si cela a un lien avec la fonctionnalité de personnalité en cours d’implémentation

  • On dirait qu’ils ont un peu trop abaissé la quantification. Ça m’arrive parfois aussi sur mes modèles 7B
    J’imagine la tête des pipelines CI automatisés pour les prompts de LLM aujourd’hui, avec tous les tests qui partent en vrille

    • Oui. J’ai déjà obtenu à peu près ce résultat il y a un an, quand je m’amusais à modifier les paramètres via l’API
      À la fin, tout se transformait peu à peu en incantations anglaises de plus en plus confuses, puis en quelque chose qui n’était même plus composé de vrais mots
    • Une grande partie de cette dégradation de qualité semble liée aux optimisations d’inférence
      Certains pensent qu’OpenAI sabote volontairement la qualité, mais la cause est probablement plutôt à chercher du côté des contraintes de ressources et d’une demande excessive
    • Ce problème semble limité à ChatGPT, c’est-à-dire au front-end web du modèle
      Les problèmes de ChatGPT n’affectent généralement pas l’API