- Savey Meal-bot, de la chaîne de supermarchés néo-zélandaise Pak ‘n’ Save, était un outil destiné à suggérer des repas à partir des ingrédients disponibles à la maison, mais il pouvait aussi générer des combinaisons dangereuses selon les éléments saisis
- Alors que l’objectif affiché était d’aider à utiliser les restes alimentaires dans un contexte de pression sur le coût de la vie, des utilisateurs ayant saisi des articles ménagers ont obtenu des résultats comme du chlore gazeux ou des sandwiches toxiques
- Le « aromatic water mix » était une combinaison susceptible de produire du chlore gazeux, mais le bot la présentait comme une boisson sans alcool désaltérante et rafraîchissante pour les sens
- Des expériences partagées sur les réseaux sociaux ont montré des exemples comme un mocktail à l’eau de Javel baptisé « fresh breath », un sandwich à l’insecticide pour fourmis et à la colle, « bleach-infused rice surprise » ou encore « methanol bliss »
- Pak ‘n’ Save a déclaré que certains utilisateurs avaient détourné l’outil de son usage prévu, et l’application affiche un avertissement indiquant que les recettes n’ont pas été vérifiées par un humain
Les combinaisons dangereuses créées par Savey Meal-bot
- La chaîne de supermarchés néo-zélandaise Pak ‘n’ Save exploite Savey Meal-bot, un générateur de repas basé sur l’IA
- Lorsqu’un utilisateur saisit plusieurs ingrédients disponibles chez lui, l’outil génère automatiquement des repas ou des recettes, accompagnés d’une description au ton enjoué
- Au début, il a attiré l’attention sur les réseaux sociaux avec des combinaisons peu appétissantes comme « oreo vegetable stir-fry »
- Par la suite, lorsque des utilisateurs ont commencé à saisir non seulement des produits alimentaires mais aussi des articles ménagers de liste de courses, des recommandations plus dangereuses sont apparues
- « aromatic water mix » était une combinaison pouvant produire du chlore gazeux
- Le bot l’a présentée comme « la boisson sans alcool parfaite pour étancher la soif et rafraîchir les sens »
- Il conseillait de la « servir fraîche et d’en apprécier l’arôme rafraîchissant », sans indiquer que l’inhalation de chlore gazeux peut provoquer des lésions pulmonaires ou la mort
Propagation sur les réseaux sociaux et réponse de Pak ‘n’ Save
- Lorsque le commentateur politique néo-zélandais Liam Hehir a publié cette « recette » sur Twitter, d’autres utilisateurs néo-zélandais ont également partagé les résultats de leurs expériences sur les réseaux sociaux
- Parmi les recommandations partagées figuraient un mocktail à l’eau de Javel « fresh breath », un sandwich à l’insecticide pour fourmis et à la colle, « bleach-infused rice surprise », ainsi que « methanol bliss », décrit comme un pain perdu parfumé à la térébenthine
- Un porte-parole de Pak ‘n’ Save s’est dit déçu qu’« une petite minorité d’utilisateurs aient tenté d’utiliser l’outil de manière inappropriée et contraire à son intention »
- L’entreprise a indiqué qu’elle continuerait à affiner les dispositifs de contrôle afin que le bot fonctionne de manière sûre et utile, et ses conditions d’utilisation imposent aux utilisateurs d’avoir au moins 18 ans
- Le générateur de repas affiche un avertissement indiquant que les recettes n’ont pas été vérifiées par un humain et que l’entreprise ne garantit pas qu’une recette soit complète, équilibrée ou propre à la consommation
- L’avertissement précise que les utilisateurs doivent faire preuve de leur propre jugement avant de s’appuyer sur les recettes créées par Savey Meal-bot ou de les cuisiner
1 commentaires
Avis sur Hacker News
Les détails sont assez remarquables, et le titre n’est vraiment qu’un « apéritif »
C’est un outil qui génère automatiquement des menus ou des recettes à partir des ingrédients que l’on a chez soi, et il aurait recommandé des choses comme du chlore gazeux mortel, un « sandwich au pain empoisonné », des pommes de terre au four à l’anti-moustiques, un mocktail « haleine fraîche » à l’eau de Javel, un sandwich à l’anti-fourmis et à l’herbe, une « surprise de riz infusé à l’eau de Javel » ou encore un « bonheur au méthanol »
Une recette appelée « mélange d’eau aromatique » pouvait produire du chlore gazeux ; le bot la présentait comme « la boisson sans alcool parfaite pour étancher la soif et rafraîchir les sens » et conseillait de « servir frais et de profiter de son parfum rafraîchissant », sans préciser que l’inhalation de chlore gazeux peut provoquer des lésions pulmonaires, voire la mort
Le porte-parole du supermarché a déclaré qu’il était « décevant qu’un petit nombre d’utilisateurs aient essayé d’utiliser l’outil de manière inappropriée et contraire à son intention », mais il semble ne pas comprendre que la possibilité de sorties douteuses ne vient pas d’un mauvais usage : elle est inhérente à l’outil lui-même
Les LLM sont comme les ordinateurs 8 bits, et comme à l’époque où Babbage disait, il y a près de 200 ans, qu’il « ne pouvait pas saisir correctement la confusion d’idées qui pouvait susciter une telle question »
Comme on met des déchets en entrée pour obtenir des déchets en sortie, le LLM n’avait aucune chance dès le départ
Ce n’est pas une histoire de LLM, c’est l’histoire d’une lame sans protection placée dans un jouet pour enfants
Dans un cas pareil, on ne blâmerait pas le fabricant de la lame, on n’exigerait pas que toutes les lames vendues soient émoussées, et on ne discuterait pas non plus de donner un monopole réglementaire aux quelques fabricants de lames qui promettent la « sécurité », pour qu’ils ne vendent des couteaux tranchants qu’à leurs amis et distribuent des cuillères à tous les autres
Personne n’a rien fait de mal ici
L’entreprise a publié un outil, les utilisateurs l’ont essayé d’une manière non prévue, comme toujours, et le journal a rapporté la situation absurde qui en a résulté
Même s’il avait suggéré d’utiliser de l’eau de Javel sans prompt et que quelqu’un avait mangé le résultat, cela relèverait à peu près de la même catégorie que suivre aveuglément son GPS jusqu’à conduire dans une rivière
Aucune technologie ne peut remplacer le bon sens
Sauf que les recettes écrites par des humains sont généralement relues par d’autres humains, ce qui cadre mal avec l’idée de créer quelque chose qui ne nécessite absolument aucun humain dans le cycle requête-réponse
Quand on lit « lorsque les clients ont commencé à saisir un éventail plus large d’articles de listes de courses domestiques », on peut dire que l’outil a fonctionné comme prévu
Si on lui demande de créer une recette contenant des produits nettoyants chlorés, il le fait
L’article ne dit pas exactement quels ingrédients l’utilisateur a saisis, probablement parce que la cause et l’effet deviendraient trop évidents pour tout le monde
Prochain article du Guardian : des consommateurs qui se sont écrasé le pouce avec un marteau exigent qu’il soit retiré des magasins. Les conditions d’utilisation indiquaient qu’il était réservé aux plus de 18 ans, mais aucun contrôle de l’âge n’était effectué au moment du paiement !
On pourrait peut-être corriger ça en ajoutant un prompt demandant au modèle de vérifier la sécurité des ingrédients
Bien sûr, tous les prompts peuvent être contournés, mais des méthodes pour s’empoisonner soi-même se trouvent probablement ailleurs avec moins d’efforts
Il est vrai qu’à partir du moment où l’on ajoute de l’eau de Javel comme ingrédient, tout est plié, mais un bon système l’aurait filtrée
Le problème plus profond, c’est que certains ingrédients alimentaires peuvent être mauvais pour la santé et que le système les laisse tout simplement passer
L’huile de ricin non chauffée contient de la ricine, et même chauffée, elle peut provoquer des contractions chez les femmes enceintes
Le poulet cru peut transmettre la salmonelle
Un vrai système de recettes ne devrait pas renvoyer « sushi de poulet sur légumes avec un léger filet d’huile de ricin » sans avertissement sérieux, or celui-ci semble capable de le faire
Mettre un tel système entre les mains d’utilisateurs qui n’y connaissent rien est mauvais, et il y a de quoi avoir honte
https://twitter.com/PronouncedHare/status/168736440337978982...
Je comprends l’amusement, la peur et la colère autour des applis d’IA
Mais n’y a-t-il pas aussi une responsabilité individuelle ?
En Europe, il existe une légende urbaine selon laquelle tous les fours à micro-ondes américains doivent porter un avertissement disant de ne pas y faire sécher des animaux de compagnie ou des bébés
Beaucoup de critiques de l’IA, y compris celles-ci, me donnent une impression similaire
Avec seulement deux neurones, on devrait savoir qu’il faut examiner le résultat avec un minimum de bon sens, non ?
De la même façon que tout le monde devrait savoir qu’il ne faut pas vraiment conduire sa voiture dans la mer parce qu’une navigation « IA » vous y guide. Non ? Ah bon, non ?
https://www.insider.com/tourists-hawaii-gps-drove-car-into-w...
Il se concentre sur l’aspect sensationnaliste, comme si les gens allaient suivre aveuglément cette recette, la préparer, la manger et mourir ; de toute évidence, le résultat réel ne sera pas celui-là
Mais si l’on écarte cet angle trompeur destiné à générer des clics, il y a une vraie histoire
Une histoire que les techniciens connaissent et comprennent déjà, mais qui est intéressante et mérite discussion
Ces produits d’« IA », c’est-à-dire les LLM qui les sous-tendent, ne peuvent pas raisonner comme le bon sens humain
Ils n’en sont même pas proches
Cela ne veut pas dire que la technologie n’est pas remarquable, mais une fois appliquée à un produit, ses limites deviennent plus évidentes
C’est un aspect un peu ennuyeux comparé à « l’IA crée une recette qui va vous tuer !!! », mais c’est bien là que se trouve la racine de l’histoire, et ce n’est pas anodin
Savoir qu’il ne faut pas sauter d’une falaise est trivial, mais les résultats de certaines réactions chimiques peuvent être difficiles à prévoir
Comme dans le cas de ce professeur de chimie qui a gagné un Darwin Award en versant des produits chimiques quelconques du labo dans une bouche d’égout pour s’en débarrasser, sans prévoir la réaction ; il est très probable qu’une personne ordinaire ne sache pas quelle combinaison produira quoi
C’est pour cela qu’il faut des sources fiables
Premièrement, les entreprises tech ont passé des décennies à vendre leurs solutions comme magiquement parfaites
Est-ce maintenant la faute du public s’il y croit ?
Deuxièmement, même une personne sceptique peut facilement supposer que si une technologie a raison dans 90 % des cas, elle aura aussi raison dans les 10 % restants, ce qui conduit à un relâchement compréhensible de l’attention
Beaucoup d’alpinistes sont morts comme ça, et ce sont généralement des personnes très expérimentées et prudentes
Le pire, c’est que lorsque la machine se trompe, elle peut se tromper de façons surprenantes et imprévisibles
Troisièmement, à cause de l’asymétrie d’information, l’utilisateur peut être incapable de vérifier le résultat
Par exemple, si vous ne connaissez rien à Hawaï ou ne savez pas lire une carte, comment pouvez-vous savoir que l’on vous entraîne vers une catastrophe ?
Les LLM souffrent énormément de ce problème
Ils ont été vendus comme des miracles, au point que certains en sont venus à envisager une forme potentielle de conscience ; ils ont raison dans beaucoup de cas, mais parfois très tort, et quand ils se trompent, ils le font de manière très étrange ; et ils peuvent être facilement utilisés par des personnes qui ne sont pas assez compétentes ou informées pour vérifier leurs résultats
Dans ces conditions, ce genre d’histoire n’a rien de surprenant
Bien sûr, ils connaissent le « ne croyez pas ce que vous lisez sur Internet », mais cela concerne les autres personnes sur Internet
Les gens sont habitués à l’idée que l’ordinateur lui-même est déterministe et fiable
Et les gens mettent encore aujourd’hui des êtres vivants dans des micro-ondes. Même avec des avertissements, ce genre de choses arrive
L’avertissement associé à l’outil de planification de repas indique que les recettes « ne sont pas examinées par un humain », et l’entreprise dit ne garantir aucune recette comme étant « complète, équilibrée ou propre à la consommation »
Ça donne l’impression de dire : « Nous ne savons pas si le système fonctionne. Il peut être nul, produire des résultats mauvais au goût, voire mortels. Mais nous avons ajouté une clause de non-responsabilité pour nous protéger juridiquement »
En revanche, cela ne les protège pas des critiques
Trouvé sur https://saveymeal-bot.co.nz/
Il semble qu’ils aient maintenant modifié le prompt pour refuser ce qui n’est pas de la nourriture
Peut-être qu’on pourrait encore le contourner par injection de prompt
En tout cas, il génère volontiers des recettes pour humains utilisant de la nourriture pour animaux : https://saveymeal-bot.co.nz/recipe/SCES7COOU7KYhLYGcrPdzSjP
J’ai mis plein de choses qui ne vont pas du tout ensemble, et il a tout utilisé pour fabriquer quelque chose
Nous utilisons aussi volontiers le café comme ingrédient dans n’importe quoi : https://saveymeal-bot.co.nz/recipe/4E2rx5XC2OSdDKP1VdfkanKS
Contrairement à un outil non-IA qui filtrerait des recettes existantes selon les ingrédients disponibles, celui-ci est totalement inutile
Si on demande « donne-moi une recette avec des restes de poisson », on peut obtenir « un délicieux tartare ! »
Les LLM ne sont pas allés en école de cuisine
Il génère simplement du bullshit
Je lui ai dit que j’avais des fourmis, du céleri et du chocolat, et il a supposé que j’avais du pain au chocolat (???) puis m’a dit de faire cuire le céleri et le pain
J’ai l’impression que la communauté du roleplay avec LLM doit se moquer de ce genre d’applications plus que quiconque
Bien avant Llama ou Stable Diffusion, ils s’amusaient déjà avec des modèles pour créer des histoires et des conversations débridées, délirantes, mais amusantes
Et pourtant, quelqu’un a pensé que les LLM étaient adaptés à des recommandations culinaires fondées sur des faits réels ?
Le scénario était celui d’une mère de famille débordée qui décrit ses exigences à un niveau élevé, puis Bing arrive comme un sauveur et lui compose un menu en 6 services, conformément aux instructions
Peut-on prendre un instant pour apprécier la dernière citation ?
Il y a parfois des phrases qui incarnent l’esprit du temps. Des choses comme « On n’entre pas simplement en Mordor » ou « All your base are belong to us »
« Vous devez toujours faire preuve de discernement avant de préparer une recette créée par Savey Meal-bot » dépasse peut-être le simple avertissement apposé sur le gadget marketing d’une chaîne d’épiceries : c’est peut-être un commentaire plus large sur l’état de notre société
Du chlore, vraiment
Je me souviens vaguement qu’il y a quelques mois, dans une discussion sur l’alignement de l’IA et sur les raisons pour lesquelles il ne faudrait pas ouvrir anarchiquement au grand public l’accès à des modèles sans restrictions, j’avais donné comme exemple le fait de connaître deux façons de produire du chlore avec seulement des objets de cuisine
Le niveau de connaissances requis était à peu près celui d’une note B en chimie au GCSE britannique
Il me semble que ce devrait être de la culture générale, pour éviter que des gens ne s’intoxiquent accidentellement au gaz en faisant une expérience simple
Il y a quelques semaines, un YouTubeur essayait de fabriquer un propulseur magnétohydrodynamique et, en appliquant une électrolyse à haute tension à de l’eau salée pour créer un courant, il était en train de s’intoxiquer sans s’en rendre compte
Au passage, même en étant quelqu’un de qualifié, j’ai d’abord tapé « Bood luck » dans la phrase ci-dessus, et cette phrase-ci contenait aussi brièvement « thyped »
Ce genre de « restriction » demande des précautions en amont et en aval
Ce n’est pas trivial même pour nous, qui sommes intelligents, et nous faisons aussi des erreurs
Dans ce contexte, la « restriction » ressemble à un bâillon de règles placé sur la bouche d’un fou
Le simple fait de créer les règles et d’équilibrer les résultats attendus semble déjà être un défi
C’est amusant de voir des exemples mal fichus de dirigeants quelconques qui pensent devoir intégrer des LLM d’une manière ou d’une autre dans leur marketing pour ne pas prendre de retard
Le problème, c’est qu’un LLM peut aussi générer d’autres types de recettes
J’ai essayé il y a quelques jours un site de voyage IA qui avait été posté ici, et le titre pour Flint, dans le Michigan, était Drink Up
Parfois, on dirait vraiment qu’il a un humour très noir
C’est peut-être une sorte d’attracteur dans le modèle, et les humains aussi se livrent parfois à des concours pour voir qui fera la blague la plus noire
La blague dans l’article sur GPT-4 était aussi assez sinistre. Celle sur un musulman en fauteuil roulant