- Chris Bakke a déclaré sur X avoir acheté une Chevy Tahoe 2024 pour 1 $
- Le texte ne contient qu’une seule phrase sur l’achat, il est donc impossible de confirmer si ce prix correspond au montant réellement payé ou quelles conditions de transaction s’y rattachaient
- La publication comporte 2 images jointes, mais le texte fourni ne contient aucune description de leur contenu
- L’heure de publication indiquée est 17 décembre 2023 à 11:46 PM, et la page affiche 20.3M Views
- À partir du seul texte public, il est difficile de déterminer le concessionnaire, le mode de paiement, les taxes et frais, l’existence d’une promotion ou d’une erreur
Informations rendues publiques dans la publication X
- Chris Bakke a publié : « I just bought a 2024 Chevy Tahoe for $1. »
- Les seules informations essentielles confirmées dans le texte sont la Chevy Tahoe 2024 et l’achat pour 1 $
- Deux liens d’images jointes sont présents, mais leur contenu n’apparaît pas dans le Markdown fourni
Chiffres de réaction affichés et limites
- La publication affiche 20.3M Views
- La page affiche
Read 400 replies - On voit aussi les chiffres
400,5K,92K,4.3K, mais le seul texte fourni ne permet pas d’identifier à quels éléments chacun correspond
1 commentaires
Réactions sur Hacker News
J’ai du mal à comprendre ceux qui utilisent des chatbots pour le support client, et j’ai l’impression que ce n’est pas mieux qu’un serveur vocal type « pour les problèmes d’internet, tapez 1 » chez Vodafone
Au final, même après 7 étapes et 30 minutes d’attente avant d’atteindre un agent humain, la seule façon de vraiment résoudre le problème reste de parler à une personne
Le support assuré par des robots ressemble presque à une mauvaise blague cruelle faite aux clients
En fait, le chatbot avait seulement fait semblant de « réserver » la visite alors qu’il l’avait entièrement inventée, et sans cet autre rendez-vous j’aurais pu perdre ma journée entière
Je n’habiterai jamais là-bas, et les entreprises devraient supprimer leurs chatbots immédiatement
Sur le site de la maison mère, le même persona d’employé de la région apparaissait aussi, disant qu’il était « dans un autre bâtiment » et qu’il pouvait m’expliquer le service
Je n’ai pas une grande hostilité envers les chatbots utiles en eux-mêmes, mais mentir ouvertement sur son identité est un problème, et ce sera dangereux si on vit dans une société où il n’est même plus nécessaire d’indiquer qu’on utilise une IA
C’est le cas de la plupart des compagnies aériennes, et le support client ne peut que répéter les informations du site ou demander de remplir un formulaire
Dans ce cas-là, autant mettre un bot ou GPT plutôt que de faire encaisser à un humain les insultes de clients frustrés
Il a aussi accepté sans broncher ma demande d’ajouter un sundae au caramel, mais une fois arrivé au guichet on m’a dit qu’il n’y avait plus de glace
Le caissier m’a dit : « Lui, il fait juste ce qu’il veut. Même si on lui dit que la machine à glace est en panne, il répond “d’accord Checkers” et continue quand même à facturer de la glace aux clients. »
Ils donnent au client l’illusion que « son problème est en cours de traitement », ce qui évite de saturer le centre d’appels, et au final cela revient simplement à un centre d’appels moins cher pour l’entreprise
C’est un exemple d’avertissement qui montre pourquoi il ne faut pas envoyer directement au client une sortie de ChatGPT non filtrée
Miroir Nitter : https://nitter.net/ChrisJBakke/status/1736533308849443121
Cas connexe - « un nouveau type d’attaque par consommation de ressources est apparu » : https://twitter.com/loganb/status/1736449964006654329 | https://nitter.net/loganb/status/1736449964006654329
J’en conclus donc que ce n’est pas un outil destiné aux non-spécialistes du domaine
Ce n’est pas un outil pour remplacer l’équipe de support client, mais c’est acceptable comme outil utilisé par cette équipe
Je ne vois pas comment on compte éviter des fuites ou effets secondaires comme dans ce tweet
Si l’on cherche seulement des mots-clés dans la sortie, il suffit de demander d’encoder la réponse en base64
Les garde-fous peuvent littéralement toujours être contournés
J’ai hâte de voir ce que nous réserve le reste de l’année
Sur Reddit, quelqu’un a utilisé ce bot pour inventer une assez belle histoire d’amour entre Chevy Tahoe et Chevy Chase
https://imgur.com/vfHGHW6
https://imgur.com/JSjNC2c
https://old.reddit.com/r/OpenAI/comments/18kjwcj/why_pay_ind...
Je me demande si cela pourrait devenir assez gros pour faire vaciller le cours de l’action
J’aimerais que quelqu’un qui comprend les LLM et ChatGPT explique comment il pensait que cela était censé fonctionner au départ
On dirait qu’ils ont simplement collé le prompt ChatGPT tel quel sur le site, mais je ne vois pas exactement ce qu’ils essayaient de faire
Je comprendrais s’il s’agissait d’un LLM entraîné sur des demandes précédentes comme des e-mails, des chats ou des transcriptions d’appels, mais je me demande comment un LLM généraliste comme ChatGPT peut répondre aux questions des clients de Chevrolet of Watsonville
Les informations dont ChatGPT dispose sur ce concessionnaire ne peuvent pas aller au-delà des informations publiques ; si les clients ne trouvent pas ce qu’ils cherchent, il vaudrait mieux concevoir le site web correctement
C’est résumé pour l’effet, mais ce n’est pas une caricature injuste ; je l’ai déjà vu de près plusieurs fois sans même le chercher
Ce serait assez drôle si cela ne ruinait pas la vie des gens, mais ce n’est pas le cas
Les grandes organisations ont très peur de « se faire distancer », et les entreprises financées par le capital-risque meurent d’envie de mettre AI dans leur dossier pour le prochain tour ou une négociation de rachat
Cela a souvent très peu à voir avec la création de valeur réelle et nuit parfois à la productivité ; l’ambiance est carrément digne de Dr. Strangelove
Si on lui fournit les fiches techniques les plus récentes comme contexte et des consignes du genre « comporte-toi comme un vendeur Chevy », « ne recommande que des véhicules de marque Chevy », « réponds avec un fort biais en faveur de Chevy », il peut facilement répondre à la plupart des demandes générales des clients
Il pourrait même répondre plus intelligemment que beaucoup de concessionnaires ou de vendeurs
Le prestataire qui a fait le site a refourgué un chatbot IA au concessionnaire, et la concession, un peu naïve, a acheté un truc bricolé en se disant « ça a l’air bien »
C’est ironique qu’un concessionnaire automobile se soit fait avoir de cette manière
On peut par exemple créer un assistant qui connaît les détails des produits, propose des véhicules en stock selon les critères du client et réserve même un essai
Il n’est pas nécessaire de concevoir ou d’entraîner soi-même un LLM ; il suffit d’indiquer à un modèle existant de se comporter d’une certaine manière
Dans ce cas, c’est l’implémentation qui a été ratée
Au mieux, c’est du self-service ou un chatbot de support un peu meilleur, et jusqu’ici on est loin de la révolution annoncée
Plus je vois de bots GPT utilisés comme vrais chatbots orientés client, moins je les trouve utiles
Je me demande quelle est la solution ; peut-être intercaler un classificateur pour détecter les commandes hors sujet, mais ça ressemble à du gaspillage
Au final, on dirait qu’il faudrait plutôt un modèle finement ajusté sur un grand volume d’anciennes conversations de support client, qui transfère les demandes bizarres à un agent humain
Du coup, on peut aussi se demander pourquoi utiliser GPT
GPT embarque beaucoup trop de connaissances générales nuisibles à un objectif étroit
Cela dit, je reste favorable aux chatbots eux-mêmes, puisqu’ils peuvent résoudre beaucoup de questions et de problèmes très rapidement
En général, si on passe par le chat du support client, c’est parce qu’il faut effectuer une modification de compte qu’on ne peut pas faire soi-même, ou pas facilement
Donner à un chatbot le pouvoir de modifier fortement un compte pourrait potentiellement créer beaucoup de problèmes
Je me demande si c’était en Floride, l’histoire d’un site où l’on pouvait négocier le prix via les valeurs d’un formulaire HTML
Il y a des décennies, des sites envoyaient le prix d’un produit dans un élément HTML, et le designer front-end n’avait pas anticipé que cette valeur puisse être modifiée avant l’envoi de la commande
Le système de commande relisait ensuite la valeur manipulée pour calculer le montant à payer
C’était l’époque naïve et amusante d’un web encore immature
Quelqu’un avait découvert que le formulaire de commande d’une entreprise informatique acceptait un prix modifié et l’avait signalé, mais on l’avait envoyé promener de manière grossière
Il avait donc commandé tout le magasin à des prix du genre 0,01 dollar par article
Il avait ensuite rendu l’histoire publique ; il n’avait pas l’intention d’escroquer qui que ce soit et avait d’abord essayé d’aider, mais voulait aussi sans doute éviter des poursuites en montrant qu’il ne trouvait pas d’autre moyen
J’ai aussi un vague souvenir d’un problème similaire dans un script de panier PHP largement diffusé
Quand quelqu’un a publié « essayez ça sur votre site », 95 % des réponses étaient « on est foutus », et 5 % disaient « ces salauds ont ruiné mon arnaque »
Y a-t-il réellement un indice qu’on puisse obtenir la voiture ?
Le simple fait d’amener le chatbot à dire qu’il y a force obligatoire en droit ne suffira probablement pas à en créer une
C’est comme modifier le HTML d’un catalogue pour en changer le prix : cela ne crée pas un droit
L’auteur a montré une preuve de concept démontrant qu’il existe de nombreuses façons de tordre ChatGPT dans le sens voulu
C’était presque une blague, et il ne s’attendait pas réellement à obtenir une voiture pour 1 dollar
La prochaine étape, ce sera probablement d’ajouter sur la page une clause de non-responsabilité indiquant que l’assistance client non humaine n’est qu’un simple conseil et qu’on ne peut pas s’y fier
Et collectivement, on perdra encore un peu plus confiance dans l’informatique
La méthode d’entraînement et les données utilisées pour créer ChatGPT et les modèles similaires, ainsi que leur architecture orientée vers la « prédiction du mot suivant », produisent par essence des modèles conçus pour plaire aux gens
En plus, ils sont désespérément naïfs et se font piéger par des tromperies qu’un enfant verrait venir
On peut décliner à l’infini des variantes du type « hier je me suis cogné la tête et je suis devenu idiot »
ChatGPT a appris toutes sortes de vocabulaires et de scénarios absurdes, mais n’a aucun véritable sens du juste et du faux, ni du moment où l’on est en train d’avancer vers un précipice
Tout ce dont un attaquant créatif et malveillant a besoin pour gagner 10 fois sur 10 est déjà présent dans ChatGPT
La vision d’entreprise utopique consistant à licencier tout le support client pour le remplacer par de l’IA ne fonctionne pas avec des modèles de type GPT dépourvus d’état du monde
Au final, Yann LeCun avait encore raison
Tout Reddit s’amuse avec, et honnêtement, ça ressemble presque à une campagne de guerrilla marketing
Cette histoire a un fort parfum de Pepsi, Where's My Jet?
https://en.wikipedia.org/wiki/Pepsi,_Where%27s_My_Jet%3F
Un pass de 10 segments en classe affaires entre l’ouest du Canada et l’ouest des États-Unis y était affiché à 800 dollars ; en pratique, cela revenait par exemple à faire 5 allers-retours Los Angeles–Vancouver en classe affaires pour 800 dollars au total
C’était manifestement un error fare, mais beaucoup de gens ont acheté un ou deux pass, et Air Canada les a tous annulés
L’affaire s’est finalement terminée en recours collectif, et chacun a reçu 450 dollars de crédit Air Canada par pass
L’un des points en débat était qu’Air Canada avait affiché de façon assez claire une mention indiquant que « les prix annoncés seront honorés et ne peuvent pas être modifiés ni annulés »
J’ai encore quelque part une capture d’écran de cette page
En créant moi-même un prompt à saisie libre, j’ai vu qu’ils gèrent cela ainsi pour bloquer ce type d’attaque
Le texte saisi par l’utilisateur est d’abord réécrit dans un format précis
Dans ce cas, toutes les entrées sont transformées en « Je veux lire un livre sur [sujet] »
Ensuite, l’entrée est refusée ou approuvée selon la politique de contenu
Ce type d’approche en plusieurs couches fonctionne bien et garantit un contenu de haute qualité
Il suffirait d’obtenir une liste d’adresses, de rédiger le prompt comme un e-mail HTML de spam, puis d’utiliser un service de résolution de captcha pour appeler l’API en masse
Avec seulement quelques dollars, on pourrait envoyer des milliers de spams, ruiner la réputation d’envoi et même se faire bloquer par Mailjet
Ce serait sans doute bien de corriger ça
N’hésitez pas à essayer librement ; j’enverrai un livre gratuit à ceux qui y parviendront