- La black pill est une combinaison de nihilisme, de dépression et de colère selon laquelle le monde est truqué et rien ne peut être changé, au point de pousser les techniciens à renoncer à leur capacité de choix et à leur pouvoir de transformer les ordinateurs
- La qualité logicielle dépend moins d’un manque de compétences techniques que des priorités de la direction et du pouvoir de négociation des ingénieurs ; les développeurs ont réagi par de la désobéissance bienveillante : demander pardon plutôt que permission, travailler en secret, détourner l’attention ou introduire volontairement des défauts
- Publicités, notifications, tests A/B, algorithmes de recommandation, DRM, agents IA, dark patterns et scroll infini peuvent devenir des logiciels coercitifs (coercionware) qui contrôlent le comportement des utilisateurs au lieu de les servir
- Même si l’on déteste l’IA, l’utiliser malgré soi, ou cesser de partager du logiciel public en se disant « si ce n’est pas moi, quelqu’un d’autre le fera », revient à abandonner l’agentivité collective à un pouvoir centralisé
- Ceux qui fabriquent les ordinateurs ont encore le choix ; il faut combiner la sagesse de l’âge et l’optimisme de la jeunesse pour créer soi-même des logiciels qui servent les utilisateurs au lieu de les contrôler
Le désespoir auto-renforcé que fabrique la black pill
- Dans Matrix, la pilule rouge est le choix d’accepter une vérité dérangeante, tandis que la black pill désigne l’attitude consistant à penser que le jeu est truqué et qu’il ne reste qu’à abandonner et pourrir sur place
- Dans la communauté incel d’où vient ce terme, un filtrage naturel s’est produit
- Ceux qui profitaient des encouragements, du mentorat et de la résolution de problèmes mûrissaient, nouaient des relations, puis quittaient la communauté
- Les nouveaux venus, jeunes, ne rencontraient plus que les membres désespérés et antisociaux
- Avec le temps, nihilisme, dépression et colère s’intensifiaient, jusqu’à parfois mener au suicide ou à des fusillades scolaires
- Le fait d’avoir grandi dans une famille chrétienne conservatrice, puis d’avoir dû réapprendre tout ce qui concerne les rencontres amoureuses et abandonner des idées préexistantes, augmentait aussi le risque de tomber dans ce désespoir
- Les idées des pickup artists étaient toxiques, nihilistes et manipulatrices, mais un de leurs conseils a servi d’issue de secours
- Ne pas s’obséder sur un résultat amoureux précis, et se concentrer plutôt sur le fait de devenir une personne attirante pour tout le monde, partenaires potentiels comme amis
- Prendre sincèrement soin des autres, écouter avec attention, les faire rire et leur offrir des expériences mémorables
- En devenant quelqu’un avec qui l’on a envie de passer du temps, les occasions de romance augmentent naturellement
- Même exposés à de mauvaises idées, les jeunes peuvent en extraire quelque chose d’utile si de bonnes idées existent aussi dans le lot
Ceux qui se rétablissent partent, la colère reste
- La nouvelle Radicalized, publiée par Cory Doctorow en 2019, s’articule autour d’un forum en ligne fréquenté par des personnes lésées par leur assurance santé
- Dans les forums de rétablissement des addictions, les membres qui n’ont pas bu depuis longtemps restent et offrent la preuve qu’on peut reconstruire sa vie, ainsi que des conseils mesurés
- À l’inverse, dans le forum de patients atteints de cancer du récit, ceux qui ont surmonté leur colère et leur tristesse partent, et seuls restent ceux qui s’y accrochent
- On dit même à quelqu’un de terriblement en colère que c’est la réaction juste, la seule possible, et que rien ne s’améliorera jamais
- Comme dans les communautés incel, le départ des personnes rétablies renforce structurellement le désespoir
- Cinq ans après la parution du texte, le véritable PDG de UnitedHealthcare a été tué par balle, et les douilles portaient les mots « deny, defend, depose »
Pourquoi les logiciels ne fonctionnent pas correctement
- Les participants aux conférences techniques partagent l’idée que les logiciels devraient bien fonctionner, être rapides et placer l’expérience utilisateur en priorité
- Les méthodes pour produire des logiciels robustes existent depuis longtemps, et les performances matérielles ont progressé de plusieurs ordres de grandeur, mais la robustesse et les performances globales des logiciels se sont au contraire dégradées
- Sur le terrain, la principale cause de l’échec des améliorations de qualité n’est pas le manque de savoir ou d’efforts des programmeurs, mais une direction qui privilégie d’autres priorités business
- Lorsqu’on a demandé dans l’événement qui avait déjà essayé d’améliorer le logiciel de son entreprise pour se heurter à un refus de la direction, plus de la moitié de l’auditoire a levé la main
La désobéissance bienveillante et son coût
- Dans des organisations où les bénéficiaires détiennent aussi le pouvoir, les développeurs choisissent parfois la désobéissance bienveillante : aller contre la volonté de la direction tout en travaillant pour le bien de l’entreprise
- Il existe quatre méthodes typiques
- Mieux vaut demander pardon que permission : faire d’abord ce qu’il faut, puis demander pardon si un problème survient
- Travail secret : effectuer sans le montrer un travail essentiel que la direction interromprait si elle le découvrait
- Détournement d’attention : mener de front un travail important et un travail moins important, puis faire largement la promotion du second pour attirer l’attention de la direction de ce côté
- Canard (duck) : ajouter volontairement un problème évident pour que la direction puisse avoir le mérite de l’avoir repéré et supprimé
- L’anecdote sur l’animation de la reine dans Battle Chess l’illustre : l’artiste, anticipant qu’on lui demanderait des modifications, a ajouté un canard de compagnie à la reine
- Le canard a été conçu séparément afin de ne pas chevaucher l’animation principale
- Le producteur a validé tout le reste tel quel et a seulement demandé de retirer le canard
- Ces techniques sont des façons de faire face à la situation à la place de la démission, de la confrontation ou de l’acceptation, et elles comportent toutes des risques
- Si la tromperie est découverte, on peut être réprimandé ou licencié sans indemnités
- Démissionner implique d’assumer le stress et l’incertitude du marché de l’emploi
- Affronter directement la hiérarchie peut entraîner des représailles discrètes ou une perte d’influence politique dans l’organisation
- Accepter signifie devoir produire un logiciel de moindre qualité
Marché du travail et qualité logicielle
- Quand la demande de développeurs dépasse l’offre, les managers craignent davantage leur départ qu’ils ne les menacent de licenciement, ce qui renforce le pouvoir de négociation des ingénieurs
- Aux débuts de l’informatique, les programmeurs étaient si rares qu’ils disposaient d’un pouvoir de négociation très fort
- À mesure que le libre marché a rattrapé la pénurie de main-d’œuvre, les développeurs logiciels ont fini par connaître les mêmes conflits que les travailleurs des autres secteurs
- La qualité logicielle s’est maintenue non par fatalité technique, mais grâce à la combinaison de la volonté des ingénieurs et d’une position favorable sur le marché du travail qui s’est trouvée être, par hasard, forte à une époque
Au nom de qui agit l’ordinateur ?
- Un transistor est un interrupteur automatique qui contrôle un courant beaucoup plus fort à l’aide d’une petite tension de base : c’est le principe microscopique de l’ordinateur, où un faible signal commande une grande force
- À l’échelle macroscopique aussi, l’ordinateur permet d’exercer une grande puissance à partir d’une petite intention ; la question essentielle est donc de savoir qui décide du signal de contrôle
- Si le navigateur s’appelle
user agent, c’est parce qu’il agit au nom de l’utilisateur- Il doit servir les intérêts de l’utilisateur, et non ceux des sites web visités
- Le fait qu’un utilisateur puisse employer un bloqueur de publicité même si le site ne le souhaite pas en est un exemple
- Le DRM est un logiciel hostile à l’utilisateur final, car il fait fonctionner un matériel possédé par l’utilisateur au profit d’un tiers
- On peut objecter qu’il existe un bénéfice indirect pour le consommateur, puisque c’est la condition posée par le détenteur des droits pour autoriser l’accès au contenu
- Mais il faut distinguer l’intérêt direct de l’utilisateur final qui emploie l’ordinateur et l’intérêt indirect du consommateur
- Un ordinateur devrait toujours servir la personne qui interagit directement avec lui
Les trois lois de la robotique d’Asimov et le pouvoir humain
- Les trois lois de la robotique d’Asimov suivent cet ordre de priorité
- Un robot ne peut blesser un humain ni, par son inaction, permettre qu’un humain soit blessé
- Il doit obéir aux ordres donnés par les humains, sauf si ces ordres entrent en conflit avec la première loi
- Il doit protéger sa propre existence tant que cela n’entre pas en conflit avec les deux premières lois
- Dans ce cadre, les robots ne participent pas à la structure hiérarchique du pouvoir humain, sauf lorsque c’est nécessaire pour empêcher un dommage
- Le cas d’un robot recevant d’un policier l’ordre d’exécuter un mandat d’arrêt pour une infraction non violente, mais devant repartir si la personne concernée lui ordonne de partir, illustre cette propriété
- Le mème disant que « tous les robots et ordinateurs doivent se taire, les humains sont sacrés et les machines sont des objets » exprime de manière exagérée le même idéal : les machines doivent servir les humains
- Cette limite selon laquelle les machines doivent servir les humains ne doit pas non plus être franchie sur le plan mental
Les logiciels coercitifs qui manipulent les utilisateurs
- Le logiciel coercitif (coercionware) désigne un logiciel qui ne sert pas l’utilisateur, mais cherche à manipuler les humains comme des robots sans âme
- Amazon Mechanical Turk est un modèle économique qui traite directement les humains comme des robots et les rémunère en dessous du salaire minimum
- Les logiciels de surveillance au travail cherchent à contrôler jusque dans le détail les mouvements des yeux des employés et même leurs passages aux toilettes
- La publicité intrusive, si elle est efficace, contrôle la pensée des gens ; et même si elle ne l’est pas, elle interrompt le fil de la pensée, capte l’attention et affaiblit l’agentivité
- Les notifications push que l’utilisateur n’a pas activées volontairement cherchent à programmer son comportement et à réduire le temps avant qu’il ne réagisse à une sollicitation
Tests A/B et dark patterns
- Les tests A/B privilégient les résultats mesurés à l’empathie et sélectionnent l’expérience qui maximise les clics et le chiffre d’affaires
- Même si l’on choisit un bouton rouge qui augmente les clics en rendant les utilisateurs anxieux, l’absence de trace écrite montrant qu’on a intentionnellement conçu cet effet permet d’échapper à la responsabilité
- Les dark patterns sont des conceptions qui forcent ouvertement l’utilisateur, et le vrai problème est que les programmeurs tolèrent quotidiennement cette hostilité
- L’exemple d’une interface pour personnel de bord d’avion, qui demandait « Do you want to play the Boarding Music? » tout en n’offrant qu’un bouton vert « yes » et un bouton rouge « later », montre une conception qui élimine délibérément l’option de refus
Recommandations YouTube et agents IA
- Sur YouTube, créateurs comme spectateurs sont tous deux soumis au contrôle de l’algorithme de recommandation
- Les créateurs finissent par poursuivre les préférences changeantes de l’algorithme, au détriment de l’authenticité de leur contenu
- Même les miniatures modernes ont évolué vers des formes similaires pour s’y adapter
- Chez les spectateurs, cela se manifeste par des chemins de recommandation menant d’un contenu donné vers des contenus d’extrême droite, par exemple
- Les agents IA promettent de servir l’utilisateur, mais servent en réalité l’entreprise d’IA qui contrôle le modèle et les logiciels propriétaires qui l’entourent
- Sans contrôle du code source, il n’y a pas de contrôle du logiciel
Doomscrolling et vulnérabilités du cerveau
- Le doomscrolling n’est pas simplement une mauvaise habitude consistant à passer trop de temps sur Facebook un jour donné ; c’est une structure fondamentalement coercitive, fondée sur des algorithmes de contenu et le scroll infini pour maximiser l’engagement
- L’utilisateur s’habitue à rester collé à l’écran en consommant sans fin des contenus qu’il n’a pas choisis
- Le scroll agit comme un compteur ordinal de programme, et les nouveaux contenus comme des instructions : une analogie avec une vulnérabilité d’exécution de code arbitraire dans le cerveau
- Le flux de contenus qu’une entreprise sélectionne pour son propre intérêt ouvre aussi à des tiers malveillants une voie pour manipuler la pensée humaine
- L’évaluation publiée en janvier 2017 par l’Office of the Director of National Intelligence des États-Unis, résumant le travail du FBI, de la CIA et de la NSA, concluait que Vladimir Putin avait ordonné une opération d’influence visant l’élection présidentielle américaine de 2016
- L’objectif était de saper la confiance dans les procédures démocratiques américaines, de dénigrer Hillary Clinton et de nuire à son éligibilité comme à une éventuelle présidence
- Elle exprimait aussi un haut degré de confiance dans le fait que le gouvernement russe avait montré une nette préférence pour le président élu Donald Trump
- Le principal moyen utilisé était une campagne sur les réseaux sociaux menée par des organisations de trolls soutenues par l’État
- La conception manipulatrice des réseaux sociaux a créé des vulnérabilités permettant de pirater l’esprit humain, et ces vulnérabilités continuent d’être exploitées sans avoir été corrigées
La black pill du quotidien qui pousse à renoncer à son pouvoir de choix
- À mesure que la société s’intègre plus profondément aux logiciels, même la capacité de se retirer des services coercitifs diminue
- Le fait d’avoir perdu le contact avec des amis qui n’organisaient leurs rencontres que sur Discord en fait partie
- La fatigue s’accumule quand on appelle sans cesse ses élus, signe des pétitions et réagit à chaque nouvelle urgence, tout en ayant l’impression de ne faire que reculer
- La black pill pousse à renoncer aux possibilités de l’informatique et à se soumettre à son oppression, comme si l’obéissance apportait la paix
- La plaisanterie de programmeur selon laquelle « l’ordinateur était une erreur » nie l’agentivité même de la personne qui fait fonctionner les ordinateurs
- L’attitude consistant à détester l’IA, à en être déprimé, mais à l’utiliser malgré tout au nom d’une prétendue inéluctabilité relève du même schéma
- Un manager utilise ainsi l’IA par peur que son équipe soit visée si elle ne supprime pas d’abord les postes d’une autre équipe, et travaille plus de 50 heures par semaine
- Il faut distinguer ceux qui aiment vraiment utiliser l’IA de ceux qui l’acceptent comme un destin alors qu’ils la détestent
Anubis et le défaitisme défensif
- Le logiciel anti-web-scraping Anubis est utilisé sur la mailing list du noyau Linux, Codeberg, FFmpeg, Wine et d’autres projets
- Au-delà du problème superficiel de la mascotte animée par défaut, le problème plus fondamental est sa manière d’augmenter volontairement le coût d’une visite web
- Il rend la visite d’un site web, qui devrait être peu coûteuse en calcul et anonyme, plus chère d’au moins un ordre de grandeur
- Il casse les aperçus de liens et les formulaires, et vide les batteries
- Il retire au visiteur le choix de désactiver JavaScript
- Il exclut même les bots qui accèdent au web pour des raisons légitimes
- Cette approche revient à abandonner le web ouvert sans le défendre, dans une logique qui ne vise plus la victoire, mais seulement à retarder la perte
Cynisme et abandon du logiciel public
- La réaction laissée sur Hacker News, « Site is trash », est elle aussi un exemple de black pill exagérée et cynique, mais elle naît d’une tristesse réelle face à la perte de valeur qu’offrait autrefois le site
- Certains cessent aussi de partager des logiciels libres et open source parce qu’ils estiment que des entreprises d’IA vont collecter leur code pour l’utiliser dans le prochain LLM
- Pourtant, le but du logiciel libre n’est pas d’empêcher la collecte du code, mais de mettre en commun les efforts afin que les utilisateurs puissent contrôler le logiciel
- L’important est de savoir s’il existe un moyen de concurrence permettant d’utiliser des logiciels libres de haute qualité pour limiter les comportements coercitifs des logiciels propriétaires
- Ne pas participer à un logiciel commun, c’est abandonner davantage d’agentivité collective à des pouvoirs centraux abusifs
- Si l’on ignore l’éthique sous prétexte que « si ce n’est pas moi, quelqu’un d’autre le fera », on efface une ligne qu’il ne faudrait jamais franchir et on perd la volonté de défendre ses convictions
La technologie a besoin d’un point de départ moral
- La déconversion qui consiste à défaire, à l’âge adulte, le système du bien et du mal reçu dans une famille chrétienne protestante peut prendre des années, voire toute une vie
- En quittant une foi préexistante, il faut construire un nouveau système moral ; on ne peut pas dériver le bien et le mal à partir d’un état sans aucun présupposé
- Même au-delà du « je pense, donc je suis », il faut introduire des prémisses fondamentales pour pouvoir porter un jugement
- Le rôle des techniciens est d’accélérer la trajectoire que l’humanité suit déjà
- Une même technologie peut être une force pour le bien ou pour le mal selon qui l’utilise
- Le nucléaire moderne fonctionne en maîtrisant l’explosion de la bombe atomique
- Le travail des techniciens amplifie aveuglément la force du chemin que l’humanité est déjà en train d’emprunter
- Si l’humanité est bonne, la technologie peut être une force bénéfique ; si elle est mauvaise, elle devient elle aussi une force mauvaise. Les techniciens doivent donc avoir la conviction que l’humanité est, dans l’ensemble, bonne
Le choix de foi de Stanislav Petrov
- En 1983, Stanislav Petrov surveillait un système d’alerte précoce chargé de détecter une attaque et, le cas échéant, de demander immédiatement à sa hiérarchie des représailles
- Le 26 septembre, le système a signalé que les États-Unis avaient lancé cinq missiles
- Petrov a soupçonné une fausse alerte, a enfreint le règlement militaire soviétique et a attendu une confirmation supplémentaire ; elle n’est jamais venue, car il s’agissait bien d’une fausse alerte du système de détection informatique
- S’il avait suivi le règlement, il y avait de fortes chances que sa hiérarchie attaque les États-Unis, déclenchant une guerre nucléaire totale
- Dans un entretien ultérieur, il a déclaré qu’il n’était pas certain qu’il s’agissait d’une fausse alerte et qu’il évaluait la situation à cinquante-cinquante
- Dans une situation où les preuves seules ne permettaient pas de décider, il a choisi de croire en la bonté de l’humanité et a assumé un risque immense
La magie des ordinateurs préservée par la jeunesse
- Le premier album studio de Joudaki, I Love My Computer, et le clip Hazard expriment une sensibilité qui croit encore à la magie de l’ordinateur
- L’œuvre réveille la nostalgie ressentie par les milléniaux quand ils ont découvert les ordinateurs, tout en faisant un usage actif du web moderne, YouTube et Discord compris, comme il convient à une création d’une génération plus tardive
- Critiquer les dark patterns de YouTube et de Discord n’est pas faux, mais on peut y perdre en chemin une part de la joie et de la foi tournées vers les ordinateurs
Comment préserver à la fois sagesse et optimisme
- Les jeunes manquent souvent de la sagesse que donnent les épreuves, ce qui les rend plus vulnérables aux arnaques, aux campagnes de marketing viral d’entreprise, aux croyances dans des choses peu probables et aux prises de risques pouvant causer des dommages durables
- S’ils se lancent malgré tout dans des choses qui paraissent déjà vouées à l’échec, c’est parce qu’ils n’ont pas encore été blessés par le monde ni transformés par le cynisme
- Les personnes plus âgées apprennent des stratégies d’adaptation pour ne pas répéter les mêmes blessures et s’ajustent mieux à la réalité, mais les jeunes ont une force de transformation du réel plus puissante
- La société a besoin à la fois de la sagesse que donne l’âge et de la passion aveugle de la jeunesse qui recommence ce qui a déjà échoué d’innombrables fois
- Dans Hunter × Hunter, la scène où le protagoniste de 12 ans, trahi au-delà de ce qu’il peut supporter, devient instantanément adulte pour obtenir la force de vaincre son ennemi condense le processus par lequel le désespoir et l’indifférence font vieillir progressivement une personne
- La tâche des générations établies est de protéger les jeunes de ceux qui exploitent leur naïveté, sans leur transmettre en même temps leur propre stock de souffrance accumulée et de cynisme
Fabriquer soi-même : la réponse à la black pill
- Des personnes qui s’étaient éloignées de leurs amis parce qu’elles n’utilisaient pas Discord ont décidé de ne pas en rester aux plaintes et de construire elles-mêmes une meilleure alternative
- Il ne faut pas forcément 1 million de dollars pour changer le monde et concurrencer les services existants ; un ordinateur, de la curiosité et du temps peuvent suffire pour commencer
- Ce sont les développeurs eux-mêmes qui décident de ce qu’ils font faire aux ordinateurs, et il n’y a aucune raison d’accepter comme un destin leur usage à des fins coercitives
- Il faut s’opposer ensemble aux logiciels qui contrôlent les utilisateurs, croire au potentiel de l’humanité et des ordinateurs, et transformer cette croyance en réalité par la volonté
1 commentaires
Avis sur Lobste.rs
Le passage disant que la qualité logicielle n’a été maintenue que grâce à la combinaison de la volonté des ingénieurs et d’un rapport de force sur le marché du travail qui s’est trouvé être fort m’a particulièrement marqué.
J’ai longtemps suivi le principe mieux vaut demander pardon que permission, et je le recommande vivement.
Faites ce que votre cœur et votre raison estiment juste, mais en général, il vaut mieux demander d’abord la permission et, si nécessaire, agir quand même.
Que l’on aime ou non l’IA, un professionnel utilise les outils dont il a besoin. Si un supérieur veut une approche donnée, il faut l’examiner objectivement, formuler une recommandation, puis, quelle que soit la décision prise, faire son travail : livrer un bon produit.
Il m’est arrivé, face à l’état actuel de l’informatique et de la technologie, de sombrer dans un pessimisme extrême, et je me demande depuis quelque temps comment exposer mon enfant d’âge préscolaire à tout cela.
J’aimerais que cette présentation me donne la motivation de ne pas me contenter de craindre la nature exploiteuse de la technologie et d’en limiter les dégâts, mais de reprendre le contrôle pour que la technologie travaille pour nous.
Je me demande quel est ce projet similaire à Discord que la présentation ne nomme pas.
Il ne faut pas laisser le nihilisme et les mèmes coloniser notre pensée.
Si vous ne l’avez pas encore écouté, je recommande vivement cet album. C’est l’un de mes albums préférés.
Excellente présentation, mais le fait qu’elle ait été publiée sur YouTube est ironique.
En pratique, je me demande s’il existe une autre plateforme vidéo capable d’atteindre ne serait-ce que la moitié de l’audience de YouTube.