- Alors que les entreprises déploient des chatbots basés sur des LLM pour automatiser le support client, l’accès à un conseiller humain se restreint et les réponses mensongères et erreurs deviennent monnaie courante
- Ces systèmes fonctionnent de manière discriminatoire selon la classe économique : les clients premium obtiennent encore une aide humaine, tandis que les clients ordinaires restent piégés dans des réponses automatisées
- Les LLM s’étendent à des domaines de jugement ambigus comme l’examen des assurances ou la tarification, poussant les gens à passer davantage de temps à argumenter et persuader des machines
- Le flou sur la responsabilité et les biais sociaux des systèmes de ML provoque des préjudices réels, comme des détentions injustifiées ou des erreurs d’identification, et leur complexité rend difficile toute mise en cause
- Si le commerce agentique qui automatise paiements et achats via les LLM se généralise, il pourrait aggraver manipulation, fraude et transfert des coûts, et figer une « inégalité de l’exaspération »
Les désagréments de l’automatisation du service client
- Les entreprises redirigent les demandes vers des chatbots fondés sur des LLM afin de réduire les coûts du support client, et il devient de plus en plus difficile d’être mis en relation avec un agent humain
- Les progrès des modèles vocaux laissent aussi entrevoir une automatisation du support téléphonique
- Les LLM offrent des réponses polies et patientes, mais répètent des mensonges et des erreurs, retardant la résolution des problèmes
- Ces systèmes fonctionnent de manière discriminatoire selon la classe économique
- Les clients à forte valeur conservent un accès à des agents humains, tandis que les clients ordinaires restent coincés à parler à un LLM
- Les LLM sont vulnérables à l’imprévisibilité et aux attaques par injection (injection attack), ce qui limite les autorisations qu’on peut leur accorder hors du système
- Utiles pour des problèmes simples, ils provoquent en revanche davantage de frustration face à des erreurs administratives complexes ou à des problèmes systémiques
Argumenter avec le modèle
- Les LLM dépassent le support client et s’étendent à des zones de travail ambiguës comme l’examen des assurances, la tarification ou les décisions juridiques
- L’efficacité en termes de coûts prime sur l’exactitude : tant que la rentabilité globale du système se maintient, même des jugements erronés peuvent être conservés
- Cet environnement engendre une nouvelle forme de gaspillage du travail
- La tarification algorithmique, où le prix d’un billet d’avion varie selon le navigateur, l’appareil ou le compte, en est un exemple typique
- Les médecins doivent apprendre certaines formulations pour persuader le LLM d’un assureur, et les consommateurs peuvent se retrouver à ajuster leur apparence pour correspondre à une reconnaissance par caméra
- Les individus passent davantage de temps à argumenter avec des machines
- Le LLM ressemble à une « chambre chinoise » qui génère des réponses sans comprendre, dépourvue de compréhension humaine
- À l’avenir, des contenus du type « 8 légumes pour faire baisser votre prime d’assurance » pourraient proliférer comme guides pour gérer les machines
- Les gens utilisent aussi les LLM comme outil pour résister à la bureaucratie
- Des LLM personnels apparaissent pour automatiser les contestations de refus d’indemnisation, les résiliations d’abonnement ou les négociations tarifaires
- Mais l’asymétrie entre entreprises et particuliers demeure, et les individus doivent assumer le risque financier lié aux dysfonctionnements des LLM
La diffusion de la responsabilité
- La consigne interne d’IBM de 1979 est citée : « Un ordinateur ne peut pas être tenu responsable ; il ne doit donc pas prendre de décisions de gestion »
- Les systèmes de ML produisent des cas où des innocents subissent un préjudice
- Angela Lipps a été injustement détenue pendant quatre mois à cause d’une erreur de reconnaissance faciale
- Dans un autre cas, une caméra de surveillance a pris le sachet de snacks de Taki Allen pour une arme à feu, entraînant l’intervention de policiers armés
- Ces affaires sont analysées non comme de simples échecs techniques, mais comme des échecs de systèmes sociotechniques
- Absence de jugement humain, erreurs de procédure et ruptures entre organisations se combinent
- Les modèles de ML habillent des biais sociaux d’une objectivité statistique
- Sous-évaluation de la solvabilité d’emprunteurs noirs, réduction de services médicaux pour les femmes, erreurs d’identification de visages noirs, etc.
- L’opacité des modèles et leurs explications contradictoires faussent le jugement des examinateurs
- Les modèles à grande échelle sont produits par une multitude de personnes et d’organisations cloisonnées, ce qui brouille l’attribution des responsabilités
- Hôpitaux, assureurs, fournisseurs de modèles, fournisseurs de données, sous-traitants : la structure est multicouche
- En conséquence, la perception d’une responsabilité au niveau individuel et la possibilité de correction s’affaiblissent
- Le nombre de victimes de décisions automatisées devrait augmenter, qu’il s’agisse d’accidents de véhicules autonomes ou de licenciements liés à des évaluations RH basées sur Copilot
- Les entreprises réagissent par des amendes ou des ajustements contractuels, mais il reste difficile de mettre en cause des responsabilités à l’échelle individuelle
- Il s’agit d’un problème structurel de l’ingénierie moderne : plus un système est complexe, plus il devient difficile d’identifier la cause d’un accident
- Un niveau de complexité qui exigeait autrefois de vastes enquêtes, comme dans l’aviation, s’étend désormais à des décisions du quotidien
Mécanismes de marché et « Agentic commerce »
- Le commerce agentique désigne l’idée que des LLM gèrent le moyen de paiement de l’utilisateur et effectuent automatiquement des achats
- Les LLM automatisent la comparaison des prix, le renouvellement d’assurance ou d’abonnement, en supprimant des étapes intermédiaires de distribution
- McKinsey anticipe un recul de la publicité centrée sur l’humain et propose l’insertion de publicité dans les chatbots ainsi que des structures de négociation entre LLM
- Mais cela crée de fortes incitations à manipuler le comportement des LLM
- Les publicités destinées aux LLM et la concurrence de manipulation SEO pourraient évoluer vers une nouvelle forme de guerre algorithmique
- Réactions des LLM orientées par certains pixels, polices ou couleurs, ou tentatives de stimuler les ventes via une contamination des données d’entraînement
- Des plateformes comme OpenAI se structurent comme intermédiaires entre producteurs et consommateurs, tirant des revenus des deux côtés
- La négociation automatique entre LLM risque de se transformer en guerre d’attaques réciproques de “dark patterns”
- Faux signaux, attaques par injection, journaux de transaction excessifs : autant de facteurs pouvant produire des interactions chaotiques
- Certains organismes de recherche prévoient un basculement vers des paiements fondés sur les cryptomonnaies, mais cela pourrait aggraver les erreurs, fraudes et problèmes de remboursement
- Si un LLM effectue un achat erroné, l’identification du responsable devient floue
- Des structures de litige complexes pourraient émerger entre prestataires de paiement, banques et LLM
- Cette incertitude pourrait se traduire par une hausse des frais de paiement et des coûts de prévention de la fraude
- Au final, ce sont les consommateurs ordinaires qui partageraient le coût du risque
- Les consommateurs pourraient devoir utiliser de faux profils ou des outils automatisés pour tromper ou négocier avec les LLM
- Cela engendre fatigue et inefficacité, mais si l’ensemble du marché adopte les LLM, cette structure pourrait devenir impossible à éviter
- Seules les classes les plus aisées conserveraient des services centrés sur l’humain, accentuant ainsi l’« inégalité de l’exaspération »
1 commentaires
Réactions sur Hacker News
Je n’ai pas besoin d’effectuer 1�00 transactions par jour
Je ne pense pas que devoir approuver chaque achat serait un inconvénient rédhibitoire
Je n’ai absolument aucune intention de confier ma carte bancaire à un LLM, à cause de problèmes structurels comme les vulnérabilités par injection
J’ai du mal à faire confiance, pour les mêmes raisons, aux futures architectures d’IA
Cela dit, des choses comme l’automatisation du support client semblent inévitables au bout du compte
J’essaie déjà d’échapper à l’enfer des serveurs vocaux en appuyant sur 0 chaque fois que j’appelle la pharmacie de Costco
Au final, les seuls qui profitent vraiment de ces systèmes, ce sont les actionnaires et les dirigeants
J’ai l’impression que le monde actuel tourne de plus en plus autour de la manipulation et de l’absence de vérité
Les LLM sont une prouesse technique impressionnante, mais le problème, c’est qu’ils sont utilisés de manière à creuser les écarts de classe
À l’avenir, ni les grandes entreprises, ni les États, ni les LLM ne seront dignes de confiance
Il faut se réorganiser autour de groupes et de communautés auxquels on peut faire confiance
Le problème n’était pas l’institution elle-même, mais la pollution de l’environnement. L’économie de l’attention des réseaux sociaux a détruit la confiance
La pollution informationnelle touche tout le monde, et on se dirige au final vers un écosystème informationnel dominé par les bots
Même si humains et bots y participent ensemble, les interactions fondées sur des règles vont devenir essentielles
Mais la valeur actionnariale ne veut pas de ça. Il faudra donc évoluer au milieu de la contradiction entre hausse des coûts et rejet de la technologie
Mon père a remplacé la pile de sa clé de voiture avec l’aide d’une IA et il en a été très satisfait
Il a aussi demandé à l’IA des infos sur les règles de son assurance, et il a obtenu de meilleurs résultats qu’en cherchant lui-même
Moi aussi, pour les questions simples, j’ai désormais tendance à demander à une IA plutôt qu’à Google
Dans la plupart des cas, l’IA est largement « assez bonne », et souvent meilleure
Les gens se moquent de savoir si ce n’est qu’un simple prédicteur de tokens. Si le résultat est bon, ça leur va
On dirait un système où les entreprises créent le problème puis vendent la solution
D’après mon expérience de travail avec des équipes de support client, l’objectif des améliorations techniques a toujours été de réduire le nombre de tickets et les coûts
On mesure aussi la satisfaction, mais le cœur du sujet, c’est le volume de tickets
Même avant les LLM, les chatbots étaient utilisés pour cette raison
Mais le support client sert aussi de système d’alerte précoce pour l’entreprise, donc réduire les points de contact humains rend plus difficile l’identification de la souffrance des utilisateurs
Cela me rappelle la formule d’une formation interne d’IBM en 1979�a0: “A COMPUTER CAN NEVER BE HELD ACCOUNTABLE”
C’est exactement pour cela qu’on entend sans cesse aujourd’hui�a0: « l’ordinateur dit que ce n’est pas possible »
Si un manager veut éviter toute responsabilité, il lui suffit de laisser l’ordinateur décider
Au final, l’IA renforce l’automatisation de l’évitement des responsabilités
Ce qui m’inquiète le plus, c’est la dispersion et la dilution de la responsabilité
Beaucoup d’organisations de taille intermédiaire fonctionnent déjà comme ça, et les LLM risquent d’aggraver encore les choses
J’ai envoyé à des amis la série d’articles d’Aphyr, et la réponse que j’ai reçue a été�a0: « résume-moi ça »
Des amis avec qui j’avais autrefois des discussions approfondies n’envoient plus maintenant que des résumés IA, et les échanges sont devenus superficiels
On sent nettement une baisse de l’attention
J’ai l’impression que beaucoup de gens se contentaient d’imiter le savoir en citant des « vidéos YouTube intelligentes »
Le fait de s’envoyer de longs textes et d’avoir des échanges approfondis était bien plus rafraîchissant et plus riche de sens
L’IA en est encore à ses débuts, et il sort de nouvelles recherches et de nouveaux modèles chaque semaine. L’avenir n’est pas encore écrit
Partage d’un lien archive.is
L’idée d’un « boycott par modèle personnel » consistant à faire gaspiller des tokens au modèle de Burger King est intéressante
Alors j’ai décidé d’accepter simplement les « seigneurs aux trillions de paramètres »
Les textes d’Aphyr sont intéressants, mais ils sonnent comme un discours typiquement américain
C’est le schéma « c’est mauvais → les entreprises vont en abuser sans régulation → nous sommes fichus »
Mais dès qu’il s’agit de proposer une régulation (law), tout le monde recule
Les États-Unis ont toujours fonctionné ainsi. Sans régulation, les entreprises exploitent
Même si l’on gagne moins d’argent à court terme, une société régulée est plus vivable sur le long terme
Il faudrait une révision constitutionnelle, mais c’est quasiment impossible dans la structure politique actuelle
Il y a toujours eu plein d’escrocs et de vendeurs d’huile de serpent
Au fond, la confiance ne naît que dans des relations répétées. En ligne, c’est impossible
À l’avenir, la confiance dans les marques risque de devenir encore plus importante
Et cela conduit parfois à se faire distancer par d’autres pays