Une famille hospitalisée après avoir été intoxiquée par des champignons vénéneux en se fiant à un « livre d’identification des champignons » réalisé avec de l’IA générative

• Toute la famille a été hospitalisée la semaine dernière après avoir accidentellement consommé des champignons vénéneux
• L’épouse avait acheté pour son anniversaire, chez un grand détaillant en ligne, un livre au titre similaire à "Mushrooms UK: A Guide to Harvesting Safe and Edible Mushrooms"
• Le livre contenait des photos de champignons censées aider à identifier chaque espèce
• Malheureusement, le livre en question n’était pas fiable. Après examen plus approfondi, ils ont découvert que les images de champignons avaient été générées par l’IA, et ont relevé deux cas de texte se terminant par une « question aléatoire » ou une « phrase brisant le quatrième mur »
• Par exemple :
  • "En conclusion, la morille est un délicieux champignon que l’on peut manger d’août jusqu’à la fin de l’été. Faites-moi savoir si je peux vous aider davantage."
• Le détaillant en ligne a répondu qu’un remboursement serait accordé si le livre était renvoyé
• Ce livre n’est plus vendu par le détaillant en ligne, mais il semble qu’il existe encore des dizaines d’ouvrages au style similaire
• Pour être clair : « Au moment de l’achat, nous ne savions pas qu’il avait été généré par intelligence artificielle ! Ce n’était pas indiqué sur le site ! »

[GN⁺]

Avis sur Hacker News

• Souligne la nécessité d’une régulation de l’édition par IA

  • Fait remarquer que la « University of East Ontario » n’existe pas et considère cela comme une négligence criminelle

• Affirme que l’IA générative ne fonctionne pas dans les situations exigeant des résultats concrets

  • L’IA actuelle n’est rien de plus qu’un simple outil d’autocomplétion et ne comprend pas le contexte dans lequel elle est utilisée
  • Cela peut convenir pour des images de stock ou le texte de pages produit, mais c’est extrêmement dangereux dans des situations critiques

• Met en doute la crédibilité du fil « LegalAdvice » sur Reddit

  • Fait remarquer que ce n’est actuellement pas la saison des morilles au Royaume-Uni

• Partage un article jugé plus fiable

  • Souligne la faible précision de l’identification de champignons à l’aide de l’IA
  • Apple, Google, OpenAI et Microsoft n’ont fait aucun commentaire à ce sujet

• Mentionne des cas où des influenceurs sur Tiktok et Facebook partagent des informations erronées sur les plantes

  • Ils font souvent la promotion à tort de plantes dangereuses pour l’alimentation ou les soins de la peau

• Affirme que la plupart des publications « advice » sur Reddit sont des textes inventés

  • Dit qu’il suspendra son indignation jusqu’à ce que de vraies preuves apparaissent

• Souligne les limites de l’IA générative et les questions de responsabilité qui en découlent

  • Les entreprises d’IA devraient ajouter des clauses de non-responsabilité et des avertissements
  • Elles devraient préciser que le contenu généré par les LLM peut être erroné

• Exprime des doutes à propos de l’e-mail du détaillant en ligne

  • L’interdiction de photographier le produit et la demande de retour immédiat paraissent suspectes
  • Affirme que cette histoire, qui inclut une menace de clôture de compte, est fausse

• Mentionne que le National Audubon Society Field Guide présente lui aussi un risque d’intoxication en cas de mauvaise utilisation

  • Ce n’est donc pas uniquement un problème lié à l’IA

• Dit en riant qu’il s’attend à voir apparaître ensuite des plaintes concernant des conseils juridiques générés par IA