- Des applications majeures comme Hinge et Uber s’appuient sur des algorithmes sophistiqués et des techniques psychologiques pour maximiser les profits tirés des utilisateurs
- Dans chaque interaction ordinaire de la société, des intermédiaires pilotés par l’IA interviennent pour créer des mécanismes d’extraction de valeur supplémentaire
- Les entreprises ajustent rapidement leurs algorithmes en fonction des réactions des utilisateurs afin de maximiser la Lifetime Customer Value
- Comme il faut suivre cette tendance pour ne pas être distancé par la concurrence, on peut y voir un problème collectif
- La manipulation à grande échelle mobilisant données, machine learning et techniques psychologiques est devenue banale, au point qu’il sera difficile d’améliorer la situation sans changement fondamental
Mise en problème : banalisation des algorithmes et des techniques psychologiques
- Des services majeurs comme Hinge et Uber reposent sur une structure conçue pour extraire un maximum de profit des utilisateurs par divers moyens, comme les boosts, les écrans de pourboire et les algorithmes commerciaux
- Dans presque tous les domaines de la vie quotidienne, des IA intermédiaires s’interposent, et une logique consistant à soutirer "un peu plus" grâce à des algorithmes d’IA avancés se diffuse dans l’ensemble de la société
- Acheter un café, avoir un rendez-vous, envoyer de l’argent à un ami : dans ces activités ordinaires, des intermédiaires malveillants sont automatisés pour rechercher du profit
Possibilité d’autorégulation du marché et adaptation des algorithmes
- On pourrait penser que beaucoup de gens finiront par se lasser de ces manipulations et les éviter d’eux-mêmes, mais les entreprises l’ont déjà anticipé et réagissent immédiatement via des dashboards de données
- L’IA fonctionne de manière à prévenir le départ des utilisateurs avant même qu’ils ne ressentent un malaise, en régulant les émotions et en accordant des récompenses supplémentaires
Concurrence et problème d’action collective
- Même si l’on cherche à sortir de ce système, la concurrence renforce le phénomène selon lequel chaque acteur est désavantagé si tous ne participent pas
- Tous les indicateurs (metrics) deviennent des objets de compétition et, comme dans la « Red Queen’s Race », on finit par sacrifier son capital social et ses valeurs simplement pour ne pas décrocher
Structure sociale réelle et difficulté du changement
- Toute la société étant engluée dans cette structure, il existe un problème d’action collective qui rend un changement fondamental difficile à obtenir par le simple retrait individuel
- Dans une démocratie pilotée par les algorithmes, le choix (le vote) lui-même est déconnecté d’un changement réel, ce qui suggère que, dans la structure actuelle, non pas une réforme mais un changement fondamental (révolution) constitue la seule solution effective
Conclusion et nature du problème
- Publicité, discrimination tarifaire et manipulation à grande échelle fondée sur les données : rien de tout cela n’est fondamentalement juste
- Le capitalisme contemporain pousse les comportements humains à l’extrême, à la manière du phénomène de "wireheading", et souligne que le problème a désormais atteint un niveau inédit par son échelle et sa manipulation indiscriminée
1 commentaires
Avis sur Hacker News
Explication d’une situation où, pour certaines personnes, payer un supplément afin de passer devant la file était précisément l’objectif, mais remarque que lorsque tout le monde commence à payer ce supplément, la file reste finalement la même ; ce phénomène est particulièrement visible dans l’aviation commerciale australienne, où le travail en fly-in fly-out a rendu le statut club courant, et où la priorité à l’embarquement comme les billets-primes sont devenus rares ; en somme, la tarification discriminatoire et la quête de statut deviennent des schémas socialement nuisibles lorsqu’ils visent les consommateurs ; évocation d’une expérience personnelle expliquant pourquoi Uber était détesté, ainsi que de la dégradation du service de taxi ; critique du modèle économique d’Uber, qui a toléré une entrée illégale sur le marché ; mais reconnaissance qu’Uber est désormais si habituel que même la flambée des tarifs ne dérange plus vraiment ; expression du malaise face à l’introduction de la culture du pourboire en Australie ; position selon laquelle, puisque le salaire minimum et les majorations légales existent, il faut désactiver la fonction de pourboire ; mention de la controverse sur l’obligation d’inclure les bagages dans les vols européens, et description jusqu’à cette ambiance européenne particulière où l’on se moque de quelqu’un parce qu’il porte des sous-vêtements propres comme si c’était un signe de faiblesse
Position selon laquelle les non-Américains devraient refuser fermement la culture du pourboire ; avertissement que dès qu’on commence à accepter des pourboires, les salaires baissent encore davantage et la situation empire ; affirmation qu’il ne faut tout simplement pas accepter de pourboire du tout
Uber et Lyft sont chers, certes, mais insistance sur le fait que, comparé aux anciens services de taxi, la situation actuelle est bien meilleure ; en dehors des grandes métropoles comme New York, il fallait autrefois chercher un nom dans l’annuaire et réserver auprès d’une société douteuse, et il était difficile de trouver une voiture ; aujourd’hui, on peut appeler une voiture immédiatement depuis n’importe où via une app, et c’est beaucoup plus rapide ; les pratiques déloyales envers les chauffeurs comme envers les passagers sont évidemment un problème, mais il n’y a absolument aucune envie de revenir à l’ancien système
Expérience du fait que, surtout chez les compagnies aériennes low cost européennes, presque tout le monde achète désormais l’embarquement prioritaire ; autrefois, payer un supplément pour passer avant les autres avait un sens, mais aujourd’hui la file prioritaire est parfois plus longue, ce qui est ironique ; pendant les périodes de surge pricing d’Uber, méthode consistant à surveiller un moment les variations de prix dans l’app puis à commander lorsque c’est moins cher ; les taxis coûtent deux à trois fois plus qu’Uber, ne sont pas plus aimables, et comme il n’y a pas de système de notation, il y a une réticence à les utiliser ; partage d’un cas réel où un taxi a finalement été pris pour aller à l’aéroport à un tarif inférieur à Uber : le chauffeur a accepté d’emmener le passager pour le prix affiché par Uber en paiement direct, puis a facturé cinq fois ce montant à un autre client ; conclusion selon laquelle refuser d’utiliser Uber ne fait que rendre la vie plus difficile ; ajout qu’en Europe, dès qu’on est deux ou plus, Uber revient souvent moins cher que le train
Si tout le monde paie le premium et qu’une nouvelle file d’attente se reforme, alors, d’un point de vue libéral, le vrai prix finit simplement par être le prix réel incluant ce premium ; point de vue selon lequel il faudrait que le coût de l’attente augmente davantage pour résoudre le problème
Vision selon laquelle on peut au contraire apprécier le confort de ne pas se soucier de la file et d’entrer tout à la fin ; attitude personnelle consistant à ne pas payer le premium, à attendre tranquillement dans le hall, puis à entrer quand la file est presque entièrement passée
Thèse selon laquelle la réponse humaine intemporelle au progrès technologique et à la manipulation est le désengagement, et que ce n’est pas une théorie mais un phénomène déjà en cours ; mention d’exemples réels comme la détox numérique, le retour des dumb phones chez les jeunes, les DM privés à la place des fils publics, ou encore la génération « ne pas déranger » ; diagnostic selon lequel les gens ressentent la manipulation et se retirent peu à peu, un choix après l’autre
Mon niveau de désengagement consiste désormais à ne plus faire la queue gratuitement ; avis favorable à une stratégie consistant à se désengager volontairement de façon aléatoire afin qu’aucun camp ne puisse prédire ce qui sera efficace ; remarque que même la mode des dumb phones ou de la détox numérique est déjà devenue un simple marché du lifestyle ; constat acide selon lequel même la prise de conscience de la manipulation est devenue une nouvelle matière première pour le business ; question expérimentale sur jusqu’où il est possible de hacker l’algorithme et de le pousser à profiler quelqu’un autrement que selon ce qu’il est réellement
Expérience personnelle d’avoir totalement coupé, depuis 2012, avec les apps, les réseaux sociaux et les services qui transforment la vie en produit ou en source de revenus
Perspective amère selon laquelle les entreprises chercheront désormais à tirer profit du « revenu du désengagement » ; partage de références comme YouTube watch?v=9h9wStdPkQY (lien mentionné seulement)
Avis selon lequel un désengagement complet vis-à-vis du capitalisme est impossible ; reconnaissance du fait que les divers comportements de retrait évoqués (détox numérique, dumb phones, etc.) ne permettent au fond que de moins se faire avoir, sans libérer réellement de l’exploitation
Inquiétude face à l’idée que le désengagement n’est pas la même chose que la nonchalance et qu’il ne constitue pas forcément une bonne réponse humaine ; la nonchalance relève d’une attitude individuelle, tandis que le désengagement vise un effet collectif, mais, dans la plupart des cas, cela ne débouche pas sur un changement positif ; crainte qu’au contraire cela entraîne une dégradation communautaire et un abaissement des standards, le tout au nom de l’égalité et de l’inclusion alors même que la polarisation s’aggrave ; explication du contexte dans lequel, après « Occupy Wall Street » et le « Printemps arabe », l’indifférence sous forme d’hyper-individualisme est devenue à la mode, au point que même les responsables politiques et les dirigeants ont perdu le sens de leurs responsabilités pour se concentrer davantage sur leur propre carrière ; à titre de référence, Broken Windows Theory Wikipédia, The Subtle Art of Not Giving a F*ck
Signalement d’un problème avec le produit créé par l’auteur (openpilot) : s’il n’est pas connecté à Internet tous les 14 jours, il cesse de fonctionner ; partage d’un lien vers le code concerné
En général, on évite les textes non techniques de George, mais celui-ci est jugé significatif ; d’ordinaire, ils manquent d’introspection et de remise en question, mais cette fois cela peut servir d’occasion pour déclencher une réflexion sur soi ; impression que l’on ressent aussi récemment une atmosphère similaire dans la communauté HN, avec un sentiment partagé d’urgence face à la nécessité de changer
En voyant le titre « Are we the baddies? », on s’attendait à une réflexion sur son propre rôle, mais ce n’est pas vraiment ce qui est venu, d’où une certaine déception
Interrogation sur le fait que certaines personnes ne feraient peut-être que suivre la mode ; mention de la tonalité d’un texte qui semble imiter superficiellement sans réelle réflexion en profondeur
Réaction un peu moqueuse évoquant le fait que geohot s’est hissé en haut du classement de l’Advent of Code en utilisant des LLM
À titre de référence, partage de ce lien vers le tweet concerné
En citant l’idée selon laquelle « si le gouvernement ouvrait à tout le monde un compte S&P 500 commençant à 1000 $, la Sécurité sociale serait résolue », remarque que cela revient essentiellement à garantir un flux continu de fonds publics vers les grandes entreprises (ou leurs affiliés) ; explication selon laquelle l’UBI (revenu universel) constitue aussi fondamentalement un symptôme d’une économie sans dynamisme, avec le problème structurel d’un système où l’État renonce à fournir de l’emploi et rémunère simplement le fait d’exister
Désaccord avec une interprétation de l’UBI comme quelque chose qui « rend simplement la vie confortable du seul fait d’exister » ; insistance sur le fait que l’UBI garantit un minimum vital, au-delà duquel chacun peut encore gagner plus par lui-même ; les pays scandinaves sont cités comme exemple d’une structure d’économie de marché qui rend l’UBI nécessaire
Explication selon laquelle, même si l’on achète des actions d’entreprises du S&P 500, cela ne se traduit pas en réalité par un afflux de capitaux pour ces entreprises
Les ETF peuvent, lors des mises à jour et rééquilibrages, entraîner une forte baisse du cours d’une entreprise lorsqu’elle sort d’un indice ; exemple donné avec Pltr, qui aurait récemment fortement chuté après avoir été retirée du Russell 2000
Partage d’une expérience de construction de navigateurs Internet, d’infrastructures modernes et de cloud hyperscale ; au départ, il y avait la fierté de construire quelque chose de meilleur, mais depuis l’apparition du rôle de Product Manager, tout est devenu regrettable
Révélation que le titre vient à l’origine d’un sketch de l’émission britannique « That Mitchell and Webb Look », avec partage du lien YouTube
Mention de la capacité de satire très fine de cette émission ; l’épisode Dr Death est lui aussi jugé particulièrement adapté pour tourner en dérision la technologie moderne, avec un lien vidéo connexe
Recommandation d’un autre épisode à la fois triste et drôle, avec ce lien
Mention d’une scène classique, avec ce lien
Blague disant qu’on est désormais officiellement vieux
Avis selon lequel l’humanité n’a jamais vraiment compris à quel point la coopération humaine est essentielle, ni à quel point elle est fragile ; proposition d’expérience de pensée : que se passerait-il dans une colonie de fourmis si l’on supprimait les signaux de phéromones, ou si l’on concentrait les « gains » sur certaines fourmis ; imagination d’un résultat encore différent si l’on répétait l’expérience avec des fourmis dotées de conscience de soi ; conseil selon lequel la compréhension des systèmes adaptatifs complexes s’acquiert aussi en les construisant soi-même, avec recommandation de "Hidden Order" de John Holland
Réaction disant qu’on éprouve de la sympathie pour la tentative de George de s’attaquer au monopole de NVidia en essayant AMD ; évaluation positive de cette volonté de desserrer une domination de marché
Cependant, remarque qu’il semble avoir abandonné en cours de route parce que des bugs sur les puces AMD empêchaient un fonctionnement stable sur de longues périodes
Expression d’une forme de compassion en voyant que même quelqu’un d’aussi brillant et passionné que George Hotz suit un parcours de débutant sur le plan sentimental ; si même lui galère, quelqu’un de moins exceptionnel souffrira forcément encore davantage
Point de vue consistant à lire ce genre de post comme une heatmap démographique ; analyse selon laquelle cela signifie que même des figures un peu plus marginales, auparavant surtout attirées par l’aspect excitant des choses (comme le hacking par geohot), ont désormais pris conscience de la gravité du problème et commencent à s’exprimer publiquement ; sous-entendu que geohot se trouve en plein cœur du phénomène
Citation de la question : « Un jour, les gens devront réaliser que nous vivons en société ; qu’est-ce qui déclenchera cette prise de conscience ? » ; appréciation de l’environnement des podcasts et des réseaux sociaux, qui permet une critique diffuse des problèmes sociaux ; insistance sur le fait que ce dont nous avons réellement besoin, c’est d’une forme moderne de communauté de village, et sur l’importance de restaurer des relations attentives aux besoins et aux situations d’autrui, en sortant de l’individualisme excessif et des décisions autocentrées
On n’aurait jamais pensé entendre chez George Hotz un message proche d’un anticapitalisme fondamental ; applaudissements pour le courage d’exprimer ce sentiment avec autant de franchise