- Alors que les entreprises déploient des chatbots basés sur des LLM pour automatiser le support client, l’accès à un conseiller humain se restreint et les réponses mensongères et erreurs deviennent monnaie courante
- Ces systèmes fonctionnent de manière discriminatoire selon la classe économique : les clients premium obtiennent encore une aide humaine, tandis que les clients ordinaires restent piégés dans des réponses automatisées
- Les LLM s’étendent à des domaines de jugement ambigus comme l’examen des assurances ou la tarification, poussant les gens à passer davantage de temps à argumenter et persuader des machines
- Le flou sur la responsabilité et les biais sociaux des systèmes de ML provoque des préjudices réels, comme des détentions injustifiées ou des erreurs d’identification, et leur complexité rend difficile toute mise en cause
- Si le commerce agentique qui automatise paiements et achats via les LLM se généralise, il pourrait aggraver manipulation, fraude et transfert des coûts, et figer une « inégalité de l’exaspération »
Les désagréments de l’automatisation du service client
- Les entreprises redirigent les demandes vers des chatbots fondés sur des LLM afin de réduire les coûts du support client, et il devient de plus en plus difficile d’être mis en relation avec un agent humain
- Les progrès des modèles vocaux laissent aussi entrevoir une automatisation du support téléphonique
- Les LLM offrent des réponses polies et patientes, mais répètent des mensonges et des erreurs, retardant la résolution des problèmes
- Ces systèmes fonctionnent de manière discriminatoire selon la classe économique
- Les clients à forte valeur conservent un accès à des agents humains, tandis que les clients ordinaires restent coincés à parler à un LLM
- Les LLM sont vulnérables à l’imprévisibilité et aux attaques par injection (injection attack), ce qui limite les autorisations qu’on peut leur accorder hors du système
- Utiles pour des problèmes simples, ils provoquent en revanche davantage de frustration face à des erreurs administratives complexes ou à des problèmes systémiques
Argumenter avec le modèle
- Les LLM dépassent le support client et s’étendent à des zones de travail ambiguës comme l’examen des assurances, la tarification ou les décisions juridiques
- L’efficacité en termes de coûts prime sur l’exactitude : tant que la rentabilité globale du système se maintient, même des jugements erronés peuvent être conservés
- Cet environnement engendre une nouvelle forme de gaspillage du travail
- La tarification algorithmique, où le prix d’un billet d’avion varie selon le navigateur, l’appareil ou le compte, en est un exemple typique
- Les médecins doivent apprendre certaines formulations pour persuader le LLM d’un assureur, et les consommateurs peuvent se retrouver à ajuster leur apparence pour correspondre à une reconnaissance par caméra
- Les individus passent davantage de temps à argumenter avec des machines
- Le LLM ressemble à une « chambre chinoise » qui génère des réponses sans comprendre, dépourvue de compréhension humaine
- À l’avenir, des contenus du type « 8 légumes pour faire baisser votre prime d’assurance » pourraient proliférer comme guides pour gérer les machines
- Les gens utilisent aussi les LLM comme outil pour résister à la bureaucratie
- Des LLM personnels apparaissent pour automatiser les contestations de refus d’indemnisation, les résiliations d’abonnement ou les négociations tarifaires
- Mais l’asymétrie entre entreprises et particuliers demeure, et les individus doivent assumer le risque financier lié aux dysfonctionnements des LLM
La diffusion de la responsabilité
- La consigne interne d’IBM de 1979 est citée : « Un ordinateur ne peut pas être tenu responsable ; il ne doit donc pas prendre de décisions de gestion »
- Les systèmes de ML produisent des cas où des innocents subissent un préjudice
- Angela Lipps a été injustement détenue pendant quatre mois à cause d’une erreur de reconnaissance faciale
- Dans un autre cas, une caméra de surveillance a pris le sachet de snacks de Taki Allen pour une arme à feu, entraînant l’intervention de policiers armés
- Ces affaires sont analysées non comme de simples échecs techniques, mais comme des échecs de systèmes sociotechniques
- Absence de jugement humain, erreurs de procédure et ruptures entre organisations se combinent
- Les modèles de ML habillent des biais sociaux d’une objectivité statistique
- Sous-évaluation de la solvabilité d’emprunteurs noirs, réduction de services médicaux pour les femmes, erreurs d’identification de visages noirs, etc.
- L’opacité des modèles et leurs explications contradictoires faussent le jugement des examinateurs
- Les modèles à grande échelle sont produits par une multitude de personnes et d’organisations cloisonnées, ce qui brouille l’attribution des responsabilités
- Hôpitaux, assureurs, fournisseurs de modèles, fournisseurs de données, sous-traitants : la structure est multicouche
- En conséquence, la perception d’une responsabilité au niveau individuel et la possibilité de correction s’affaiblissent
- Le nombre de victimes de décisions automatisées devrait augmenter, qu’il s’agisse d’accidents de véhicules autonomes ou de licenciements liés à des évaluations RH basées sur Copilot
- Les entreprises réagissent par des amendes ou des ajustements contractuels, mais il reste difficile de mettre en cause des responsabilités à l’échelle individuelle
- Il s’agit d’un problème structurel de l’ingénierie moderne : plus un système est complexe, plus il devient difficile d’identifier la cause d’un accident
- Un niveau de complexité qui exigeait autrefois de vastes enquêtes, comme dans l’aviation, s’étend désormais à des décisions du quotidien
Mécanismes de marché et « Agentic commerce »
- Le commerce agentique désigne l’idée que des LLM gèrent le moyen de paiement de l’utilisateur et effectuent automatiquement des achats
- Les LLM automatisent la comparaison des prix, le renouvellement d’assurance ou d’abonnement, en supprimant des étapes intermédiaires de distribution
- McKinsey anticipe un recul de la publicité centrée sur l’humain et propose l’insertion de publicité dans les chatbots ainsi que des structures de négociation entre LLM
- Mais cela crée de fortes incitations à manipuler le comportement des LLM
- Les publicités destinées aux LLM et la concurrence de manipulation SEO pourraient évoluer vers une nouvelle forme de guerre algorithmique
- Réactions des LLM orientées par certains pixels, polices ou couleurs, ou tentatives de stimuler les ventes via une contamination des données d’entraînement
- Des plateformes comme OpenAI se structurent comme intermédiaires entre producteurs et consommateurs, tirant des revenus des deux côtés
- La négociation automatique entre LLM risque de se transformer en guerre d’attaques réciproques de “dark patterns”
- Faux signaux, attaques par injection, journaux de transaction excessifs : autant de facteurs pouvant produire des interactions chaotiques
- Certains organismes de recherche prévoient un basculement vers des paiements fondés sur les cryptomonnaies, mais cela pourrait aggraver les erreurs, fraudes et problèmes de remboursement
- Si un LLM effectue un achat erroné, l’identification du responsable devient floue
- Des structures de litige complexes pourraient émerger entre prestataires de paiement, banques et LLM
- Cette incertitude pourrait se traduire par une hausse des frais de paiement et des coûts de prévention de la fraude
- Au final, ce sont les consommateurs ordinaires qui partageraient le coût du risque
- Les consommateurs pourraient devoir utiliser de faux profils ou des outils automatisés pour tromper ou négocier avec les LLM
- Cela engendre fatigue et inefficacité, mais si l’ensemble du marché adopte les LLM, cette structure pourrait devenir impossible à éviter
- Seules les classes les plus aisées conserveraient des services centrés sur l’humain, accentuant ainsi l’« inégalité de l’exaspération »
Aucun commentaire pour le moment.