Sommes-nous les méchants ?

 (geohot.github.io)
1 points par GN⁺ 2025-07-07 | 1 commentaires | Partager sur WhatsApp
  • À partir de l’expérience des boosts de Hinge, critique d’une structure où les services du quotidien extraient davantage de valeur à chaque interaction grâce à des techniques psychologiques et des algorithmes
  • Écrans de pourboire, algorithme d’Uber, achat de café, rencontres, VTC, paiements entre amis : des intermédiaires s’insèrent partout et accentuent progressivement la pression sur l’utilisateur
  • Contrairement à l’espoir que le marché protège les utilisateurs fatigués par la manipulation, les entreprises optimisent de façon toujours plus sophistiquée la valeur vie client à l’aide de tableaux de bord et de l’IA
  • Une Red Queen’s race s’installe : ne pas maximiser l’engagement, c’est perdre face à la concurrence, et même le capital social ainsi que la valeur sont consumés par Moloch
  • La manipulation à grande échelle via la publicité, la discrimination tarifaire, le big data, le machine learning et la psychologie est difficile à justifier, et le capitalisme contemporain se rapprocherait du wireheading

Comment les services du quotidien extraient de la valeur

  • Les boosts découverts après l’inscription sur Hinge sont le point de départ du problème
  • Les écrans de pourboire, l’algorithme d’Uber et diverses interactions à somme nulle montrent comment des techniques psychologiques servent à extraire un peu plus de valeur de chaque instant de la vie sociale
  • Même des activités sociales ordinaires comme acheter un café, faire des rencontres, appeler un VTC ou envoyer de l’argent à des amis se retrouvent avec un intermédiaire
    • Cet intermédiaire utilise les algorithmes d’IA les plus récents pour pressurer davantage l’utilisateur
  • L’idée que le marché corrigera la situation si les utilisateurs se sentent manipulés paraît peu convaincante
    • Les entreprises repèrent d’abord ce type de réaction via des tableaux de bord
    • Elles peuvent ajuster l’IA pour que les gens aient le sentiment d’être moins manipulés
    • L’objectif n’est pas seulement l’extraction à court terme, mais la maximisation de la valeur vie client

Scepticisme sur la concurrence et la possibilité d’une réforme

  • Il est aussi difficile d’échapper à la concurrence
    • Pour exploiter une activité concurrentielle, il faut maximiser les métriques d’engagement
    • Toutes les métriques deviennent des objectifs, et ne pas maximiser l’engagement mène à une Red Queen’s race où l’on perd justement cet engagement
    • Cela conduit à sacrifier jusqu’au capital social et à la valeur au profit de Moloch
  • Il est difficile de résoudre cela par le seul refus individuel ; cela ressemble davantage à un problème d’action collective
  • L’auteur se montre aussi sceptique quant à la possibilité d’une réforme démocratique
    • Il pose la question de savoir si les algorithmes laisseraient passer un vote visant à les faire disparaître
    • La séparation entre le vote et l’action est comparée à la structure où Uber dissocie ce qui est versé au conducteur et ce qui est facturé au passager
    • Il va jusqu’à employer la formule radicale selon laquelle il n’y a pas de réforme, seulement la révolution
  • Il demande si, même après des événements extrêmes comme un effondrement financier, une Troisième Guerre mondiale ou une famine de masse, on pourrait encore juger acceptable la manipulation à grande échelle
  • Il affirme que la publicité, la discrimination tarifaire et la manipulation de masse fondée sur le big data, le machine learning et la psychologie ne sont pas acceptables
  • Selon lui, le capitalisme contemporain relève du wireheading, et nous n’apprendrons cette leçon qu’après avoir sacrifié une grande partie des clients à Moloch

À lire aussi

1 commentaires

 
GN⁺ 2025-07-07
Avis sur Hacker News

  • Pour certaines personnes, payer plus cher pour passer devant tout le monde dans la file est le but en soi. Mais elles n’avaient pas prévu que, si tout le monde paie le supplément, la file se reforme juste devant elles.
    Les utilisateurs de miles aériens en Australie sont globalement dans cette situation : autrefois, la barrière à l’entrée était élevée et il y avait de vrais avantages, mais avec la banalisation des statuts club par le travail en FIFO, les bénéfices à l’embarquement ont presque disparu, et les billets prime sont devenus rarissimes.
    C’est pourquoi je pense que, lorsque la quête de statut et la tarification différenciée sont retournées contre les consommateurs, on tombe bien dans un schéma antisocial. Je n’aimais pas Uber parce que l’entreprise est entrée sur le marché en allant jusqu’à garantir ceux qui acceptaient d’enfreindre la loi, tout en continuant à faire sortir ses profits à l’étranger, mais comme les services de taxi se sont tellement dégradés, nous nous sommes désormais habitués à Uber et aux tarifs majorés.
    En Australie, l’arrivée de fonctions de pourboire dans PayWave et les services de restauration met aussi tout le monde mal à l’aise. Ce n’est pas australien. Avec un salaire minimum légal et des majorations, cette fonction devrait être désactivée.
    En Europe, les initiatives visant à rendre obligatoire l’inclusion des bagages dans les billets d’avion suscitent aussi pas mal de moqueries ; il reste encore de vrais croyants pour voir le fait d’avoir besoin de sous-vêtements propres comme une faiblesse.

    • Je pense que les non-Américains devraient résister à la propagation de la culture du pourboire. Il faut refuser tous les pourboires.
      Je sais que les employés sont mal payés, mais dès qu’on commence à laisser des pourboires, les salaires baissent encore et tout le monde finit perdant : c’est une pente glissante.
    • Uber et Lyft sont chers, mais si l’on se souvient vraiment de l’âge d’or des taxis, il est difficile de dire qu’ils sont pires que ce qu’ils ont remplacé. Dans les grandes villes comme NYC, on pouvait héler un taxi facilement, mais ailleurs il fallait s’en remettre à une entreprise douteuse trouvée dans l’annuaire, sans aucune garantie qu’une voiture arrive.
      Aujourd’hui, on peut appeler une voiture relativement vite depuis à peu près n’importe où. Les pratiques commerciales prédatrices envers les chauffeurs comme les passagers sont graves et nécessitent une réglementation plus stricte, mais je n’ai aucune envie de revenir à l’ancien système.
    • Sur les compagnies low cost de l’UE, surtout Ryanair ou EasyJet, presque tout le monde se met désormais dans la file d’embarquement prioritaire, et il arrive que je sois seul dans la file normale. Avant, payer plus cher permettait d’embarquer en premier ; maintenant, même dans la file normale, on entre souvent avant les deux tiers de la file prioritaire, ce qui est étrange.
      Les tarifs majorés d’Uber varient aussi énormément ici en quelques minutes, du genre 40 → 50 → 38 euros, donc il suffit de garder l’appli ouverte un moment et de prendre le bon prix. Les taxis coûtent presque toujours le double, jusqu’au triple à l’aéroport, sont souvent désagréables, et on ne peut pas les noter, donc je les prends rarement.
      La dernière fois que j’ai pris un taxi, Uber affichait 15 euros pour 10 minutes jusqu’à l’aéroport, et le vrai chauffeur de taxi m’a simplement proposé de payer 15 euros, donc je suis monté ; au passager suivant, dans la même voiture, il a facturé 72 euros. En gros, il a gagné près de 90 euros pour 10 minutes de trajet.
      Refuser Uber parce qu’on le déteste rend la vie beaucoup trop compliquée par rapport à ce qu’on y gagne. Le secteur du taxi avait besoin d’un électrochoc, et il ne semble toujours rien avoir appris. Il faut réserver à l’avance, les applis sont médiocres, et c’est beaucoup plus cher. À deux ou plus, c’est souvent moins cher que le train, ce qui est assez étrange dans un pays où l’on dit qu’« il faut prendre le train quand c’est possible ».
    • Un puriste du marché dirait sans doute que cela signifie simplement que le prix du produit est mal fixé. Le vrai prix du billet devrait être le prix avec le supplément premium, et il faudrait augmenter à la fois le prix du billet et le prix pour passer devant dans la file.
    • Si l’on s’en fiche et qu’on accepte simplement d’être tout au bout de la file, on gagne en liberté. Sans payer de premium, on se détend dans le hall, puis lorsque ceux qui ont payé ont fini d’attendre dans la file et sont presque tous passés, c’est notre tour.

  • Il ne faut pas sous-estimer cette vieille réaction humaine face à la manipulation : se retirer.
    Ce n’est pas théorique, c’est en train de se produire. La mode de la détox numérique, le retour des feature phones chez les jeunes, le déplacement des fils publics vers les DM privés, la génération « Ne pas déranger » : tout cela relève du même phénomène. Les gens sentent la manipulation et s’en extraient, notification après notification.

    • Ce signal de retrait a lui aussi de la valeur, donc je ne vais plus le donner gratuitement. On peut participer et se retirer de façon volontairement aléatoire, afin que personne ne sache ce qui fonctionne.
      La détox numérique et le retour des feature phones sont eux aussi devenus un marché ; ce n’est qu’un « lifestyle ». Les gens ne sentent pas la manipulation. Même la perception de la manipulation est devenue un marché, et il y a sûrement des YouTubers qui cartonnent avec ça.
      La question intéressante est de savoir jusqu’où on peut tromper les algorithmes de profilage. Peut-on leur faire croire que je suis quelque chose que je ne suis pas, et jusqu’à quel point peut-on les casser ?
    • On ne peut pas se retirer du capitalisme. Ce genre d’astuce peut aider à ne pas être l’antilope la plus lente du troupeau, mais cela ne signifie pas qu’on est totalement libéré de l’exploitation.
    • Au bout du compte, ils viseront les dollars du retrait, difficiles à capter.
      watch?v=9h9wStdPkQY : j’ai retiré le début du lien à cause de la langue et du contenu, mais vous savez quoi faire, et probablement de qui est la vidéo.
    • Je me suis retiré depuis 2012 des réseaux sociaux et des apps qui marchandisent et monétisent jusqu’aux détails les plus insignifiants de la vie.
    • Le « retrait » n’est pas la même chose que « s’en foutre », et je m’inquiète aussi de savoir si c’est une bonne réaction humaine.
      « S’en foutre » fonctionne au niveau individuel, mais le retrait semble devoir fonctionner au niveau collectif. Je ne suis pas spécialiste en sciences sociales, mais je pense que, pour que le retrait mène à un changement positif, il doit être combiné à la théorie de la vitre brisée. Le problème, c’est que beaucoup de gens en sont déjà à cette étape de retrait.
      Dans une atmosphère désagréable pour tout le monde, l’environnement se dégrade collectivement, mais aucun changement collectif orienté ne se produit. Les feature phones et la détox numérique relèvent plutôt de l’exception ; dans les faits, les standards de ce qui est acceptable sont systématiquement abaissés. Pire encore, pendant que cela se fait au nom de l’égalité et de l’inclusion, les déséquilibres entre groupes s’accentuent.
      Après Occupy Wall Street et le Printemps arabe, « ne pas s’en soucier » est devenu à la mode. Cela s’opposait à l’auto-optimisation, au growth hacking et aux modes de vie pilotés par les données, proches du marketing d’entreprise ; la nostalgie de la prospérité économique des années 80-90 a aussi remis en circulation des morphèmes comme hyper/super/über, et l’accélérationnisme néolibéral du marché libre ainsi que Bitcoin s’inscrivaient dans ce mouvement.
      « Ne pas s’en soucier » était une critique des systèmes existants qui captent l’attention au détriment de l’individualité des citoyens, mais les responsables politiques et les dirigeants d’entreprise l’ont interprété de travers comme une invitation à se concentrer davantage sur leur carrière que sur les responsabilités de leur rôle actuel. Dans un monde de plus en plus connecté, eux aussi ont fini par « ne plus s’en soucier ».
      https://en.wikipedia.org/wiki/Broken_windows_theory
      https://en.wikipedia.org/wiki/The_Subtle_Art_of_Not_Giving_a...

  • L’idée que le gouvernement ouvre à chaque personne, à la naissance, un compte S&P 500 de 1 000 dollars pour financer la sécurité sociale est intéressante. Au bout du compte, cet argent devient un flux garanti vers les plus grandes entreprises et celles dont on pense qu’elles grossiront un jour, une autre manière de redistribuer de l’argent public vers des entreprises privées.
    Dans le même genre, le revenu de base ressemble à la preuve d’une économie sans dynamisme. C’est, de fait, admettre et reconnaître : « vous ne trouverez probablement pas un emploi digne permettant de subvenir à vos besoins et à ceux de votre famille, donc le gouvernement vous donnera de quoi vivre confortablement tant qu’il existera ».

    • Je ne pense pas que beaucoup de gens défendent ce genre de revenu de base. Tel que je le vois, le revenu de base est une garantie de subsistance minimale, avec l’idée que cette garantie ne devrait pas diminuer si l’on gagne davantage.
      Je pense qu’une économie de marché démocratisée a besoin de quelque chose de proche d’un revenu de base, et que les pays scandinaves appuient cet argument.
    • Investir dans le S&P 500, c’est allouer à tout moment aux plus grandes entreprises.
      Un ETF doit se rééquilibrer, donc il augmente ou réduit certaines positions, et en exclut parfois. En achetant SPY, on s’expose non seulement aux entreprises actuellement incluses, mais aussi à celles qui y entreront à l’avenir.
      Quand une entreprise sort de l’indice, le cours de son action peut chuter fortement parce que l’ETF agit mécaniquement. « Fortement » est relatif, mais PLTR, qui a pas mal baissé la semaine dernière après être sortie du Russell 2000, en est un exemple.
    • C’est la preuve que les États-Unis sont un exportateur d’inflation. Le revenu de base ne peut pas rivaliser avec une inflation stratégique à l’échelle mondiale.
    • Les entreprises du S&P 500 ne reçoivent pas d’apport de trésorerie simplement parce que leurs actions sont achetées.

  • J’ai tendance à éviter les textes non techniques de George, qui me semblent généralement peu inspirés, mais celui-ci tient vraiment debout.
    Bien sûr, cela n’ira sans doute pas jusqu’à une introspection sur ses relations avec les gens qu’il encense et fréquente d’habitude, mais au moins d’autres pourraient peut-être regarder en eux-mêmes et agir autrement.
    Quelque chose doit changer. Même sur HN, j’ai l’impression que ce sentiment a augmenté ces dernières années. Peut-être que je le remarque davantage, mais le problème n’est peut-être pas tant l’existence même de Grape que l’endroit d’où cela vient.

    • Vu qu’il a choisi le titre « Are we the baddies? », je m’attendais à ce qu’il examine un peu son propre rôle dans tout cela, mais non.
    • J’ai l’impression qu’une partie consiste simplement à suivre la tendance. La façon de réfléchir se lit comme une approche du type « fixons une caméra de smartphone sur le tableau de bord pour fabriquer une voiture autonome ».
    • geohot est la personne qui a utilisé un LLM pour apparaître au classement d’Advent of Code.
    • Je laisse simplement ce lien ici : https://x.com/ns123abc/status/1940980667455836578

  • L’auteur devrait commencer par son propre produit. Celui-ci cesse de fonctionner s’il ne se connecte pas à Internet au moins tous les 14 jours.
    https://github.com/commaai/openpilot/blob/a8ec08e5bbc2be0a32...

    • Il y a aussi le fait qu’après le rachat par Musk, Twitter est devenu l’ultime algorithme de recommandation propagandiste, et qu’il s’est porté volontaire pour y travailler.
      https://www.theverge.com/2022/12/20/23519922/george-hotz-geo...
    • Exact, comme si ce produit de niche était la source structurelle des problèmes dont il parle.

  • J’ai travaillé sur les premiers navigateurs et sur l’infrastructure Internet moderne, et j’ai aussi participé à la construction de l’infrastructure cloud hyperscale qui a rendu possible l’Internet actuel. J’ai eu la main dans une bonne partie de ce qui se passe, et j’avais sincèrement l’impression de construire quelque chose de meilleur.
    Puis le rôle de product manager est apparu, et il m’a fait regretter tout ce que j’avais fait.

    • Je serais curieux d’en savoir un peu plus.
      J’ai dirigé une petite entreprise pendant longtemps, en en faisant une société viable, puis j’ai fini par céder à la tentation et par travailler comme product manager dans une assez grosse entreprise tech. C’était très éloigné de tout ce que je savais sur la création de bons produits, mais cela correspondait très bien à la manière dont j’avais appris à faire avancer les choses en faisant « tout » dans une petite entreprise. J’ai obtenu beaucoup de résultats, mais j’ai presque constamment souffert de burnout et d’anxiété.
      J’ai aussi participé à des logiciels cloud et open source très populaires, mais j’ai détesté la plupart de l’expérience. En particulier la manière dont le product management et le complexe industrialo-product management détachent ce rôle de la réalité tout en lui demandant de réparer les absurdités des fondateurs, des dirigeants de niveau C et de l’ancienne génération. Les tableaux Miro et les interminables fils de commentaires dans GDocs m’ont aussi épuisé.
      J’ai donc renoncé même à une rémunération élevée, quitté les organisations produit et suis revenu à la construction.
      Je ne dis pas que je ne suis pas d’accord ; j’aimerais simplement entendre davantage d’expériences personnelles sur la montée du rôle de product manager. Cela dit, je ne pense pas non plus qu’on puisse tout mettre sur le dos des PM et de la culture centrée PM. Je n’ai encore jamais rencontré d’équipe dirigeante dont je respecte ou supporte les comportements et les décisions, et bien sûr il est très possible que le problème vienne surtout de moi.

  • Le titre vient d’un sketch de l’émission britannique That Mitchell and Webb Look : https://www.youtube.com/watch?v=h242eDB84zY

  • Il suffit de sortir et de parler aux gens. Les applis de rencontre n’ont pas vraiment de douve autour d’elles, et les humains existent toujours dans des espaces réels.
    Je n’ai encore jamais vu de contrat d’appli de rencontre interdire d’aborder légèrement des inconnus. Les entremetteurs existent toujours aussi.

    • Ce n’est pas possible. Si vous dites simplement « salut » à quelqu’un dans une ville inconnue comme dans les années 90, au mieux vous avez de bonnes chances d’être catalogué comme quelqu’un de flippant sur TikTok.
    • Malheureusement, ce genre de chose n’est possible que dans de petites villes où le niveau de confiance est élevé.

  • Je trouve ce genre de texte intéressant comme une sorte de carte thermique démographique. Autrefois, quelqu’un comme geohot, avec ses hacks, ne faisait que suivre ses propres centres d’intérêt ; désormais, cela signifie qu’il a pris conscience du problème et qu’il est assez motivé pour écrire à ce sujet.
    À mes yeux, geohot se situe assez profondément au cœur de cette carte.

    • Le fait de pouvoir pointer des problèmes sociaux de manière décentralisée est un aspect positif. Qu’on regarde Trevor Noah ou les réseaux sociaux en général, il apparaît clairement que notre société a aujourd’hui désespérément besoin de communauté.
      Il nous faut un village moderne. Il ne faut pas prendre toutes les décisions de façon individualiste et égocentrée, mais les ajuster aux demandes et aux besoins des uns et des autres. Même quand on sait que ses parents ont tort, il n’est parfois pas nécessaire d’imposer son point de vue. Plutôt que de devenir des êtres totalement fragmentés et transactionnels, il est temps de cultiver une société interdépendante.
    • Je ne m’attendais pas à entendre chez George Hotz quelque chose qui ressemble à de l’anticapitalisme radical.
      Cela dit, j’ai ressenti les mêmes émotions que celles que Hotz exprime dans ce texte, et j’apprécie qu’il les ait formulées.

  • La réponse est « oui », et à la question de savoir à quel point c’est mauvais, la réponse est : vraiment très mauvais. Les humains n’avaient jamais compris auparavant à quel point la coopération innée est essentielle, ni à quel point elle est fragile.
    Que se passerait-il si l’on retirait à une colonie de fourmis sa capacité à utiliser les pistes de phéromones ?
    Que se passerait-il si l’on utilisait les pistes de phéromones d’une colonie de fourmis pour permettre à certaines fourmis de réaliser un « profit » au détriment des autres ?
    Les fourmis n’ont peut-être presque pas de conscience de soi, mais si on y ajoutait la conscience, puis qu’on leur faisait savoir qu’elles sont manipulées, avant de refaire les deux expériences ci-dessus, que se passerait-il ?
    Une bonne manière de comprendre les systèmes adaptatifs complexes comme ceux qu’utilisent les humains est d’en construire soi-même. « Hidden Order » de John Holland donne des pistes sur cette méthode.