Ils ont ajouté une fonctionnalité que ChatGPT croyait à tort existante

• ChatGPT a présenté une fonctionnalité inexistante, ce qui a conduit de nombreux utilisateurs à téléverser des tablatures ASCII sur Soundslice
• Le service de Soundslice ne prenait en charge à l’origine que la numérisation de partitions à partir d’images, mais les indications de ChatGPT ont fait exploser les demandes de prise en charge des tablatures ASCII
• Pour réduire les malentendus autour du produit, l’entreprise a fini par ajouter réellement une fonction d’import de tablatures ASCII
• Ce cas peut être considéré comme le premier où une IA a diffusé une information erronée au point d’influencer la direction réelle d’un produit
• L’ajout de la fonctionnalité est utile pour les utilisateurs, mais la réalité d’un développement produit influencé par une « mauvaise information » lui a laissé un sentiment mitigé

---

Contexte et nature du problème

• Le Sheet Music scanner de Soundslice numérise des partitions à partir de photos afin d’aider les utilisateurs à les écouter, les éditer et s’entraîner
• Pour améliorer le système, l’entreprise surveille les journaux d’erreurs et a récemment constaté de nombreux téléversements de captures d’écran de tablatures ASCII issues d’écrans de chat ChatGPT, au lieu de photos de partitions traditionnelles
  • Les tablatures ASCII sont un mode de notation simplifié pour la guitare et d’autres instruments à cordes
• À l’origine, le format ASCII Tab n’était pas pris en charge par le service Soundslice

Identification de la cause

• En cherchant à comprendre pourquoi autant de captures d’écran de tablatures ASCII provenant de diverses sources étaient téléversées, l’équipe a posé la question directement à ChatGPT pour faire un test
• Elle a alors confirmé que ChatGPT indiquait à tort aux utilisateurs qu’ils pouvaient importer des tablatures ASCII sur le site Soundslice pour écouter le rendu audio

Fonctionnalité absente et malentendu

• Soundslice ne proposait en réalité aucune fonction d’import direct de tablatures ASCII
• Bien que cette fonctionnalité n’existât pas, de nombreux utilisateurs se sont inscrits et ont tenté des téléversements en se fiant uniquement aux indications de ChatGPT
• Les réponses erronées de ChatGPT ont ainsi façonné de mauvaises attentes concernant le service de l’entreprise
• Cela a entraîné un flux continu de plaintes et de demandes au sujet d’une fonctionnalité qui n’existait pas

Décision et réponse

• Face à cette situation, l’entreprise s’est demandé comment réagir
• Une option consistait à afficher un avis indiquant que « la réponse de ChatGPT était incorrecte », mais elle a estimé que la demande réelle des utilisateurs était forte et a donc développé une fonction d’import de tablatures ASCII
• Cette fonctionnalité figurait plutôt en bas de la liste des développements prévus pour 2025, mais elle a été introduite rapidement pour répondre à la demande
• Le texte de l’interface du produit a également été modifié pour mettre activement en avant cette nouvelle fonctionnalité

Impact sur l’orientation du produit/service

• L’auteur estime qu’il s’agit du premier cas où ChatGPT, en fournissant de manière répétée une information erronée, a conduit à ajouter à la feuille de route d’un produit une fonctionnalité qui n’existait pas réellement
• C’est positif dans la mesure où cela fournit un outil utile aux utilisateurs, mais il éprouve aussi des sentiments complexes face au fait que la direction du développement produit ait été ébranlée par une information erronée

Impression et réflexion

• Cela donne le sentiment que nous sommes entrés dans une époque où de fausses informations diffusées par l’IA influencent les décisions réelles des entreprises et des produits
• La question demeure de savoir jusqu’à quel point une entreprise doit réagir non pas à une demande utilisateur, mais à des attentes erronées générées par l’IA

[kandk]

Un service choisi par l’IA, quelle chance, haha.

[jjw951215]

On dirait que ChatGPT était le service marketing.

[GN⁺]

Avis Hacker News

• En utilisant GPT-4 pour programmer, j’ai constaté qu’une des méthodes les plus utiles consiste, au lieu d’<i>expliquer</i> comment utiliser une API, à simplement fournir du code d’exemple et des demandes de fonctionnalités supplémentaires, puis à laisser l’IA deviner. Il en sort souvent de meilleures approches auxquelles je n’avais pas pensé. Dans ce cas, je modifie carrément l’API pour que le code de l’IA fonctionne. À l’inverse, quand je lui montre du code existant et que je lui demande ce qu’il fait, si l’IA se trompe, j’y vois un signal que mon API a été conçue de façon confuse. Cela permet d’exploiter la vraie force des réseaux neuronaux, non pas la précision mais la capacité à produire des « hallucinations » plausibles, autrement dit de la créativité. C’est appréciable de ne pas avoir à passer du temps à traquer moi-même les bugs subtilement cachés par GPT-4. On peut au moins améliorer les interfaces peu intuitives. En revanche, l’IA ne peut rien faire pour ce qui est fondamentalement inefficace, peu fiable ou peu composable. Mais le simple fait de rendre une API plus facile à deviner et à comprendre a déjà beaucoup de valeur. Cela dit, cette méthode fonctionne moins bien avec des API déjà populaires
  • Il arrive que l’IA propose une meilleure approche que prévu. J’ai édité le manuscrit de mon livre plus de 30 fois et l’ai même fait relire par un correcteur professionnel, mais à la toute fin Grammarly m’a tout de même suggéré des corrections utiles dans environ un tiers des cas. Si j’avais tout accepté, le texte aurait été moins bon. Grammarly est très fort pour repérer les mots inutiles ou la voix passive. En revanche, il ne comprend pas l’humour, le contexte ou la répétition volontaire. Le problème, c’est que les dirigeants veulent éliminer complètement l’humain, et là ça finit presque toujours mal
  • Petite anecdote. La plupart des bibliothèques Python de traitement d’image ont généralement une fonction imread(), mais je ne le savais pas quand j’ai créé une bibliothèque interne dans l’entreprise, alors j’ai choisi un nom atypique comme image_get(). Quand je demande à ChatGPT d’écrire un petit script avec cette bibliothèque interne, si je ne donne pas beaucoup de contexte, il devine presque toujours mylib.imread() et génère le code ainsi
  • Cette méthode ressemble à l’ancienne technique de design HCI (interaction humain-machine) appelée Wizard of Oz. C’est une expérience où un humain fait semblant d’être l’application réelle, et c’est efficace pour découvrir de nouvelles fonctionnalités explication sur Wikipédia
  • J’ai utilisé cette méthode avec succès ce matin. J’ai demandé à l’IA de générer du code de test unitaire, et le résultat était catastrophique. Mais ce processus d’échec m’a justement permis de découvrir qu’un bug se cachait dans le code que je voulais tester
  • HDD, blague sur le Hallucination-Driven Development
• Dans un texte que j’ai écrit récemment, je disais : « les hallucinations peuvent parfois fonctionner comme du test-driven development (TDD). Si un grand modèle de langage hallucine une méthode qui n’existe pas, c’est peut-être parce que cette méthode est logiquement nécessaire, et qu’il est alors pertinent de l’implémenter soi-même » voir le texte original. Cela vaut aussi pour les fonctionnalités produit
  • Beaucoup d’entre nous semblent avoir vécu cela directement. Les appels d’API halluciné des vibe coders sont peut-être eux aussi des suggestions qui auraient dû exister en premier lieu. Le développement guidé par les hallucinations, c’est maintenant la tendance tweet lié
• J’ai l’impression que beaucoup de gens tirent la mauvaise leçon de cet exemple. Le vrai point important, ce n’est pas qu’il y avait une demande, mais qu’une fonctionnalité a été ajoutée parce que la technologie a halluciné une capacité inexistante. Le point central, c’est que l’IA générative a fait croire à l’existence d’une fonctionnalité qui n’existait pas réellement. Cela pourrait provoquer des problèmes plus graves à l’avenir, donc j’espère que l’équipe de ChatGPT veillera à éviter que ce genre de chose se reproduise
• Le marché des outils de notation musicale est fragmenté de plusieurs façons. Notamment entre la notation traditionnelle et la tablature (pour guitare et instruments apparentés). Les utilisateurs, les systèmes de notation et même les informations exploitées sont complètement différents. Il y a eu des tentatives de standardisation, comme MusicXML, mais les barrières entre ces camps restent élevées. Ce qu’a fait ChatGPT, c’est supposer que les utilisateurs de tablature utiliseraient aussi Soundslice, ce qui n’est probablement pas le cas aujourd’hui. Mais cela pourrait changer à l’avenir si Soundslice ajoutait des fonctionnalités apportant une valeur spécifique aux utilisateurs de tablature
  • Je ne sais pas si tu as bien compris mon propos, mais Soundslice prend parfaitement en charge la tablature depuis 10 ans déjà, notamment avec un éditeur et des importeurs pour divers formats. Ce qui a été ajouté cette fois, c’est la prise en charge de l’<i>ASCII tab</i>
• J’ai récemment essayé d’écrire du code avec un LLM. C’est utile pour mettre en place du boilerplate. La reconnaissance de motifs est aussi un point fort. En revanche, il pousse souvent à retoucher le code en boucle dans tous les sens. Il m’a même déjà généré une application iOS complète : l’UI a été bien adaptée à ce que je voulais, et il a rempli l’application avec des données d’exemple variées. Mais l’organisation du code était vraiment catastrophique. Quand il fallait gérer les durées de lecture de fichiers audio sous forme de liste, il essayait d’associer les ID de fichiers à leur durée dans un dictionnaire (pour les développeurs débutants : en général, ce genre d’information devrait être attaché à un objet AudioFile). Le LLM a tendance à continuer de se référer à d’anciennes versions du code. Il insiste aussi souvent sur des modifications sans rapport avec la tâche en cours. J’ai de plus en plus l’impression de passer trop de temps à « former » le LLM. Tant qu’on ne dépend pas trop de lui au-delà de ses limites, cela peut quand même être assez productif. J’aimerais au minimum qu’il prenne en compte mes modifications, au lieu de continuer à recommander des solutions basées sur un brouillon de code d’il y a 5 jours. (Sur une tâche d’exemple où il fallait transformer un long fichier texte plat en valeurs d’enum, j’ai modifié moi-même les deux premières lignes, puis il a rapidement compris le motif et proposé correctement des dizaines de lignes)
  • Travailler avec un LLM, c’est vraiment comme avoir plusieurs stagiaires très productifs, avec des limites assez similaires
• On appelle ça le product-channel fit. Le point important, c’est d’avoir capté immédiatement la demande venue d’un nouveau canal d’acquisition
  • Ce que ChatGPT a réellement fait, c’est la version automatisée de ce que faisait toujours l’équipe commerciale dans une entreprise où j’ai travaillé. Dire avec assurance au client que ce qu’il veut « existe déjà » ou « sera disponible le trimestre prochain », puis transmettre aux ingénieurs qu’il faut le construire rapidement
  • C’est lié au solutions engineering. Je me demande si cela correspond bien à ce domaine, c’est-à-dire au fait de se concentrer sur le support de solutions sur mesure, comme la personnalisation par grand client, les adaptateurs ou le traitement des données
  • C’est une manière originale de découvrir un besoin de marché ou une opportunité entièrement nouvelle. Cela rejoint la capacité des LLM, entraînés sur de grandes masses de données, à « halluciner » des motifs que les humains n’ont pas encore perçus. Dans ce cas précis, la preuve que ce motif existait réellement est apparue parce que les gens ont cru l’information erronée de ChatGPT et ont agi en conséquence. Autrement dit : hallucination → action → validation d’une demande réelle → ajout de la fonctionnalité par le fournisseur. Si le coût d’implémentation n’est pas très élevé, c’est une réponse tout à fait raisonnable pour une entreprise
• Cet exemple m’a immédiatement fait penser à l’« AI SEO ». Beaucoup de gens doivent sûrement chercher comment faire en sorte que des chatbots IA, comme les LLM type ChatGPT, envoient du trafic vers leur site. Je pense que des dizaines de milliards de dollars vont affluer vers ce marché. Je n’y connais rien, mais beaucoup de gens doivent déjà travailler dessus, et je me demande si l’on verra apparaître des services où l’on paie OpenAI pour que ChatGPT recommande davantage son produit
  • Pour gagner dans ce jeu, il faut amener le site web à être souvent mentionné de manière naturelle dans les données d’entraînement des LLM. L’AI SEO n’est pas si différent du SEO classique
• C’est un exemple intéressant d’IA qui modifie réellement le monde. Certains redoutent des armées de robots AGI conquérant la planète, mais je pense qu’en pratique les forces du marché seront un moyen bien plus direct pour que l’IA agisse sur le monde
• Quiconque a déjà travaillé dans une startup B2B où « une fonctionnalité notée par l’équipe commerciale n’existe pas réellement, mais le backlog pivote soudainement pour la prioriser » ne sera pas du tout surpris qu’une hallucination d’IA ait déclenché ce type de changement
  • Blague disant qu’il faudrait peut-être écrire rogue correctement, avec mention de la différence entre « produits de beauté rouge » et « rogue en infraction », lien à l’appui
  • Dans le B2B, c’est une pratique standard que les commerciaux se promènent seulement avec un PowerPoint, puis bricolent la fonctionnalité voire le produit complet en coulisses si la réaction est bonne. Ce n’est pas propre aux startups. Les grandes entreprises font aussi souvent comme ça
  • B2B (Business-to-Business) désigne les activités commerciales destinées aux entreprises
• Dans notre entreprise aussi, on a un problème similaire. Ce n’est pas ChatGPT, mais notre propre chatbot IA qui fait du RAG sur la base de la documentation et qui hallucine sans cesse des options (flags) inexistantes. On l’examine donc comme un retour produit. Ce n’est pas forcément exactement cette option-là qu’il nous faut, mais on se dit qu’il manque sans doute une fonctionnalité intuitive, que le LLM a donc imaginée de façon plausible

[kallare]

Développement guidé par les hallucinations... on peut appeler ça comme ça ? ;;

[opminsu]

MDRRRR

[ryj0902]

Recommandé... c'est recommandé !

[unsure4000]

Disque dur mdrrrrrrrrrrrrr

[ilillliiliil]

C’est bien ça, haha

[dongjinahn]

MDRRRR « qu'il y ait une fonctionnalité »

[bungker]

MDRRRR