Un nouveau livre montre comment le pouvoir des entreprises déstabilise la gouvernance
(hai.stanford.edu)- Le nouveau livre de Marietje Schaake, The Tech Coup, traite de la manière dont les entreprises technologiques privées entrent dans des domaines relevant de l’État, comme la cybersécurité, le maintien de l’ordre, les élections et la défense militaire, fragilisant ainsi l’État de droit démocratique
- Avec Pegasus de NSO Group, la reconnaissance faciale de Clearview, les fournisseurs de technologies électorales ou les décisions d’accès à Starlink, des capacités et des arbitrages autrefois monopolisés par les États basculent vers le secteur privé, quelle que soit la taille des entreprises concernées
- Le domaine numérique a lui aussi besoin de clarté juridique, de mécanismes de responsabilité et de transparence au niveau de ce qui s’applique aux médicaments, aux produits chimiques, à l’alimentation, à l’automobile et aux décisions liées aux conflits à l’étranger
- Plus les gouvernements confient des fonctions publiques à des entreprises technologiques, plus celles-ci doivent assumer un niveau de responsabilité comparable à celui de l’État ; les experts techniques indépendants, l’extension de la responsabilité publique et le maintien de l’efficacité du FOIA deviennent essentiels
- La consommation d’énergie et d’eau des data centers, l’évaluation des impacts sociaux avant le déploiement de l’IA, la loi fédérale sur la protection des données et la protection des enfants en ligne ne peuvent pas être résolues par les seuls choix individuels ; la supervision politique et les régulations au niveau des États prennent de l’ampleur
Les risques quand les entreprises technologiques assument des fonctions gouvernementales
- The Tech Coup: How to Save Democracy from Silicon Valley est un livre de Marietje Schaake, Stanford HAI Policy Fellow, qui traite du pouvoir incontrôlé des entreprises privées comme d’une menace pour la démocratie
- Les entreprises technologiques ne disposent pas seulement d’une immense puissance économique : elles remplissent aussi des rôles qui relevaient auparavant des gouvernements
- Cybersécurité
- Systèmes utilisés pour le maintien de l’ordre
- Élections
- Politique de défense militaire
- Les exemples du livre s’appuient sur l’expérience de Schaake comme députée européenne de 2009 à 2019, ainsi que sur son observation de la culture technologique au Stanford’s Cyber Policy Center et à Stanford HAI
Comment les pouvoirs de l’État passent aux entreprises privées
- Dans le domaine numérique, le contrôle de l’information, le pouvoir d’action et les capacités d’exécution des entreprises atteignent presque, voire dépassent, ceux des gouvernements
- NSO Group Technologies a créé et vendu, avec son spyware Pegasus, la capacité de pirater les appareils des personnes
- Toute entité ayant les moyens financiers d’acheter Pegasus peut accéder à des fonctionnalités de niveau service de renseignement
- Il devient possible d’accéder à des informations très privées sur des opposants politiques, des juges, des journalistes, des employés clés, des concurrents, etc.
- Certaines entreprises, au nom de la défense de leurs clients ou de leurs réseaux, attaquent des hackers au-delà des frontières et utilisent des capacités cyber offensives de type « offense as defense »
- Le problème ne se limite pas aux grandes entreprises technologiques
- NSO, le logiciel de reconnaissance faciale de Clearview et les entreprises produisant des technologies électorales illustrent le même problème
- Cela inclut aussi le cas d’Elon Musk décidant qui pouvait accéder à la connexion Internet Starlink en Ukraine
- Des capacités et des décisions qui relevaient autrefois du domaine exclusif de l’État glissent vers des entreprises privées, sans que les contre-pouvoirs et équilibres attendus dans une société fondée sur l’État de droit ne les accompagnent
Droit, responsabilité et expertise nécessaires dans le domaine numérique
- Pour que les acteurs démocratiques puissent de nouveau assumer leurs responsabilités, ils doivent d’abord reconnaître et comprendre le pouvoir que les entreprises exercent sur la gouvernance, la démocratie et le droit international
- Le domaine numérique a lui aussi besoin de dispositifs juridiques et institutionnels du niveau attendu dans d’autres secteurs d’innovation
-
Clarté juridique
- Des mécanismes de responsabilité et des mesures de transparence doivent être mis en place en parallèle
- La réponse des États-Unis à la guerre en Ukraine montre une différence entre le monde physique et le cyberespace
- En tant que membre de l’OTAN, les États-Unis ont clairement indiqué ne pas vouloir déployer de troupes au sol, mais des activités offensives se poursuivent dans le cyberespace
- Cette incohérence politique peut perdurer à cause des zones grises juridiques du numérique
- Le droit international, la régulation et l’application de la loi doivent rattraper le niveau atteint par la technologie, et le mandat démocratique, la responsabilité et la supervision doivent fonctionner concrètement aussi pour les activités numériques
-
Une expertise technique indépendante pour les législateurs
- Les assemblées législatives ont besoin d’experts techniques indépendants capables de fournir des informations fiables, à l’image des équipes juridiques indépendantes qui aident à rédiger les projets de loi
- Fournir une expertise technique aux législateurs aide à réduire l’influence des lobbyistes
- Les législateurs doivent comprendre l’impact de la technologie sur la santé, l’éducation, la justice, le logement et les transports
- Comme la technologie touche tous les secteurs, il est difficile de la traiter au sein d’une seule commission
Extension de la responsabilité publique et vide de responsabilité lié à l’externalisation
- Plus les gouvernements externalisent de procédures vers des entreprises technologiques, plus les fonctions que ces entreprises opèrent au nom de l’État doivent s’accompagner d’une responsabilité de niveau gouvernemental
- Schaake appelle cela « public accountability extension »
- Il s’agit d’un mécanisme destiné à changer la situation actuelle, où les gouvernements transfèrent des fonctions publiques essentielles aux entreprises technologiques tout en abandonnant leur responsabilité
- Dans plusieurs juridictions, la police ne peut pas pirater directement l’appareil d’un suspect, mais elle peut engager une entreprise de hacking pour obtenir le même accès
- La police peut dire qu’elle ne pirate pas elle-même, tout en obtenant l’accès par d’autres moyens
- Aux États-Unis, les États et collectivités locales ne peuvent pas discriminer les citoyens sur la base de catégories sensibles, mais les technologies qu’ils utilisent peuvent effectivement pratiquer ce type de discrimination sans en assumer la responsabilité
- Un vide de responsabilité apparaît aussi dans les demandes FOIA
- Les journalistes ont le droit de savoir ce que fait le gouvernement au nom des citoyens
- Lorsque le gouvernement confie à des entreprises privées des missions publiques ou la collecte et le stockage d’informations gouvernementales, ces entreprises peuvent ne pas conserver les informations selon les standards exigés des organismes publics
- Si les entreprises hésitent à fournir des informations en invoquant des préoccupations de propriété, l’efficacité du FOIA s’affaiblit
- L’extension de la responsabilité publique vise les situations où le gouvernement se cache derrière des entreprises, y compris technologiques, pour échapper à ses responsabilités
Data centers, IA et agenda citoyen
- Pour la consommation d’énergie et d’eau des data centers, il n’existe pas de normes ni d’obligations imposant aux entreprises de déclarer leur usage actuel ou prévu
- Il existe des estimations pour des cas individuels, mais on ne connaît pas le total de la consommation d’énergie de l’ensemble des data centers
- Lorsqu’elles cherchent à construire un data center dans une collectivité locale, les grandes entreprises technologiques passent parfois par des sociétés prête-noms qui dissimulent le fait qu’Amazon, Google ou Microsoft se trouvent derrière le projet
- Les avocats et consultants mettent en avant les bénéfices économiques pour la communauté locale
- Des informations essentielles, comme l’identité de l’entreprise et la demande énergétique du data center, peuvent être dissimulées
- Le manque de transparence sur l’usage de ressources rares nuit à la bonne gouvernance
- Aux Pays-Bas, des conseillers municipaux à temps partiel ont dû décider s’il fallait autoriser des data centers hyperscale, face à des entreprises valorisées à des dizaines de milliards de dollars, accompagnées d’avocats, comptables, consultants et agences de RP
- Standardiser les exigences de transparence et de reporting sur les acteurs derrière les projets et sur les indicateurs de consommation d’énergie permettrait un débat public plus équitable
- Même avec davantage de transparence, la question de savoir si la société veut davantage de data centers consommant des ressources énergétiques rares à l’ère du changement climatique reste distincte
- Sans connaître les coûts, il est difficile de répondre à la question coûts-bénéfices
- L’un des grands problèmes aux États-Unis est la capacité du réseau électrique
- Selon certains rapports, même dans des économies avancées comme les Pays-Bas, les États-Unis ou le Royaume-Uni, les réseaux électriques fonctionnent presque en situation d’urgence, en code red
- Les réseaux électriques sont poussés à leurs limites, et les pannes comme les coupures deviennent plus fréquentes
- Lorsque de nombreux data centers approuvés il y a plusieurs années entreront en service dans deux ou trois ans, une vague de catastrophes pourrait survenir
- Le principe de précaution du droit de l’UE exige de marquer une pause afin d’évaluer les impacts sociaux d’une nouvelle innovation avant son déploiement à grande échelle
- Les autorités ne l’ont pas encore appliqué aux innovations technologiques comme l’IA
- Le contexte est celui de la pression à utiliser l’IA et de l’adoption d’une loi européenne distincte sur l’IA
- C’est un concept utile lorsque les ingénieurs eux-mêmes sont surpris par le comportement des modèles d’IA, ou lorsque la société, les législateurs et les citoyens ne connaissent pas l’impact d’une innovation donnée sur la vie quotidienne
- Les signaux des dommages causés par le pouvoir des entreprises technologiques existaient depuis longtemps partout dans le monde, mais les Américains avaient tendance à les considérer comme des événements lointains
- En 2017, au Myanmar, Facebook a été utilisé pour appeler au génocide
- En 2018, Cambridge Analytica a extrait et analysé les données de millions d’utilisateurs de Facebook, permettant à des campagnes politiques de les exploiter pour du profilage psychologique, ce qui a pu influencer le vote sur le Brexit au Royaume-Uni
- En 2020, l’assaut contre le Capitole américain a été en partie alimenté par la désinformation sur les réseaux sociaux, entraînant une perte de confiance de dizaines de millions d’Américains dans le processus électoral
- Les consommateurs peuvent choisir comment utiliser les technologies et les services, mais il existe une forte asymétrie de pouvoir entre les internautes et utilisateurs d’appareils individuels et les entreprises technologiques
- Une supervision indépendante et des contre-pouvoirs sont nécessaires ; aux États-Unis, il existe des demandes pour une loi fédérale sur la protection des données, la protection des enfants en ligne, une meilleure cybersécurité et des moyens de lutter contre la désinformation en matière de santé et d’élections
- Le Congrès ne dispose pas de la majorité politique nécessaire pour les mettre en œuvre
- Parce que le gouvernement fédéral ne peut pas ou ne veut pas agir, plusieurs États font avancer des lois et régulations liées à la technologie
1 commentaires
Commentaires sur Hacker News
Le problème est plus profond. Le logiciel a complètement érodé le droit de propriété, et je crois que quelqu’un a inventé le terme de « techno-féodalisme » pour ça.
Les entreprises possèdent le logiciel, et nous, sortes de serfs, ne faisons que le louer.
https://www.gnu.org/philosophy/not-ipr.html
« Posséder pour toujours et ne faire que louer aux autres », du point de vue de celui qui a fabriqué l’objet, ce n’est pas du tout un droit de propriété faible.
https://www.schneier.com/essays/archives/2012/11/when_it_com...
Si je possède un terrain, je peux faire payer l’entrée aux gens, mais cela ne signifie pas que je renonce à mon droit de propriété. Nous ne voyons pas cela comme une « érosion » du droit de propriété, mais plutôt comme l’inverse.
C’est un peu orthogonal au sujet de l’article, mais cela touche à un problème plus profond de la régulation technologique.
Internet connecte tout le monde et permet à l’information de circuler librement, mais cette libre circulation de l’information ronge la confiance des gens.
Nous voulons la liberté d’expression, mais les gens mentent et exercent des pressions par la parole. On ne peut pas créer de règles qui empêchent cela, et les gens trouveront toujours des moyens de les contourner.
En 1984, Ken Thompson a écrit « Reflections on Trusting Trust », et sa conclusion était qu’on ne peut pas confier à l’ordinateur la construction de la confiance. Mais pour vivre en société, il faut de la confiance.
Faire confiance aux autres est un instinct humain, mais en ligne les mensonges se propagent vite, et après s’être fait tromper plusieurs fois, on perd la confiance naturelle que l’on avait envers autrui. Je me demande ce qu’il faudrait faire à partir de maintenant.
L’Internet des débuts ressemblait globalement à cela : BBS, Usenet, forums, etc. Mais sur l’Internet moderne, on consomme surtout des sites trouvés au hasard via Google ou des comptes TikTok qui pourraient être des bots.
Les FAANG ont activement remplacé les modèles fondés sur les abonnements par des flux algorithmiques afin d’accroître leurs profits.
Quand on perd la confiance, il faut 10 fois, parfois 100 fois plus d’efforts pour la regagner. Parfois, même 100 fois plus ne suffit pas.
C’est une règle de base de la vie, et faire comme si elle n’existait pas ne la fait pas disparaître.
Le problème fondamental, c’est que les institutions qui étaient traditionnellement dignes de confiance et qui veulent encore l’être aujourd’hui refusent de faire les efforts nécessaires pour regagner la confiance perdue. Les médias et les gouvernements viennent à l’esprit.
À la place, elles gaspillent leur énergie à exiger effrontément qu’on les croie, et plus elles le font, plus le fossé se creuse. En blâmant ceux qui se sentent lésés, elles l’élargissent encore.
Des forces malveillantes se sont engouffrées dans cette brèche. Tant que les institutions n’accepteront pas que « la vraie confiance se mérite », ces forces continueront à prospérer.
À l’époque aussi, la diffusion du savoir a brutalement augmenté, et les mensonges et faussetés ont dû augmenter avec elle. Comment la société a-t-elle géré cela ?
Autrement dit, en découvrant sur le Web des informations que je considère comme suffisamment « vraies » pour supplanter ce que les organisations existantes produisaient, j’ai perdu confiance dans les institutions, les experts, les responsables publics, etc.
Il est vrai que j’ai perdu confiance à cause du Web, mais c’est parce qu’il m’a donné accès à la vérité réelle et m’a permis de comprendre à quel point beaucoup de gens sont malhonnêtes.
Par exemple, si un garagiste surfacture, le client peut désormais le découvrir en faisant des recherches en ligne. Avant, il aurait accepté la situation telle quelle, mais maintenant le soupçon est légitime. La malhonnêteté existait déjà ; elle est simplement plus facile à détecter aujourd’hui.
L’article lui-même n’est pas très bon, même si l’auteur a un parcours respectable en Europe.
Le passage selon lequel « tout comme le législatif s’appuie sur des équipes juridiques indépendantes pour rédiger des lois capables de résister aux contestations devant les tribunaux, il faut aussi des experts techniques indépendants capables de fournir des informations fiables… » montre qu’il ne connaît pas suffisamment le contexte américain.
Le Congrès américain avait autrefois un Office of Technology Assessment, mais il a été supprimé en 1995. « Les élus républicains de la Chambre ont qualifié l’OTA de dépensier et d’hostile aux intérêts du GOP. »
Le problème général n’est pas la « technologie », mais les monopoles. Les banques et les pharmacies américaines aussi se sont réduites à deux ou trois acteurs majeurs.
Une application stricte du Sherman Act pourrait aider. Cela dit, l’expérience du démantèlement d’AT&T n’est pas très encourageante.
https://en.wikipedia.org/wiki/Office_of_Technology_Assessmen...
Quand je lis « fournir une expertise technologique aux législateurs », j’imagine plutôt des consultants indépendants expliquant des algorithmes en anglais clair qu’un ministère scientifique du gouvernement menant des recherches.
Au contraire, ce point montre que si l’on peut supprimer une institution qui déplaît simplement en affirmant qu’elle est biaisée en faveur d’un parti, alors la logique bipartisane du « nous contre eux » est au cœur du problème. Je me demande si c’est ce que vous entendiez par monopole.
Je suis d’accord pour dire que les monopoles posent problème, mais cela ne fait pas disparaître les autres problèmes pour autant. Les solutions technologiques peuvent imposer des règles implicites qui n’ont pas été définies par une procédure démocratique, et leur effet sur les gens peut être du même ordre que celui des décisions gouvernementales.
Personnellement, je pense que les entreprises et les gouvernements agissent ensemble face aux populations
Les gouvernements font pression sur les entreprises pour leur faire faire ce qu’ils ne devraient pas faire directement. Si une entreprise refuse de coopérer, ils menacent de la démanteler
Ce n’est pas pour rien qu’AT&T disposait d’une salle d’écoute dédiée à la NSA. C’est le même genre de logique que de menacer DJI d’une interdiction sur l’un de ses plus grands marchés s’il ne vend pas de drones à l’Ukraine
Ça ne vaut pas la peine d’être lu. Ce n’est pas le produit d’un raisonnement déductif partant des faits pour aboutir à une conclusion nécessaire
Le processus causal qui a produit ce livre et sa promotion tient à l’effondrement de la relation de parrainage politique entre le camp progressiste américain et les entreprises technologiques américaines. Il en a résulté un besoin de justifications a posteriori aux changements dans la répartition des liquidités, des budgets de guerre juridique, etc.
L’auteur est parti de la conclusion selon laquelle « il faut donc retirer leur pouvoir aux entreprises technologiques » et a construit son raisonnement à rebours
Par conséquent, sauf dans les cas où cette conclusion se trouverait juste par hasard, ce document ne transmet pas, en espérance, d’implications utiles
Il y a un passage du type : « Comparons la façon dont les États-Unis ont répondu à la guerre en Ukraine dans le monde physique et dans le cyberespace… »
Il y a quelques semaines, j’ai vu Zero Days, un bon documentaire sur Stuxnet, et j’ai été assez choqué par le degré auquel les outils de ce domaine échappent au contrôle du public
Des capacités offensives pouvant relever d’actes de guerre semblent ne faire l’objet que de très peu de supervision démocratique, et même un ancien directeur de la NSA estimait que l’étendue de la classification des documents était excessive. Même plusieurs années après les faits, presque personne ne voulait en parler aux réalisateurs du film
Qu’il s’agisse d’un maintien de l’ordre privatisé dystopique à la Palantir, ou des outils utilisés par les agences de renseignement, on peut considérer que la situation contre laquelle le texte met en garde était déjà arrivée il y a 10 ans
Que peut-on faire face à un pouvoir de gouvernement sans contre-pouvoirs ?
La société est façonnée par ceux qui se présentent ; si vous voulez avoir voix au chapitre, il faut venir vous-même
Cela semble fonctionner plutôt correctement
Il y a cette prédiction : « Aux Pays-Bas, une économie avancée comme les États-Unis et le Royaume-Uni, le réseau électrique fonctionne presque en état d’urgence, en code rouge, et une fois les futurs data centers en service, le pays pourrait faire face à une vague de catastrophes »
Je tiens un document appelé Timed Predictions pour vérifier plus tard les grandes prédictions
Je vais y ajouter cet élément. Dans quelques années, en 2026-2027, j’évaluerai si le pays a connu une « vague de catastrophes » à cause d’un réseau électrique surchargé
Ou quelqu’un pourrait au moins lancer une version partiellement publique
Une autre possibilité serait des billets de blog datés dans le futur, avec des notifications RSS/Atom ou un abonnement au flux
Le problème, ce n’est pas la big tech, c’est que nous vivons dans l’illusion qu’on peut maintenir le réseau électrique avec des énergies renouvelables sans batteries à l’échelle du térawattheure
J’ai souvent eu envie de faire quelque chose de similaire, et inversement, de vérifier des prédictions une fois que les résultats sont déjà connus
Le discours en ligne sous-estime beaucoup trop la réussite. Les gens semblent souvent parler non parce qu’ils ont raison, mais parce que c’est ce que les autres veulent entendre
Ce qui m’inquiète le plus, c’est la façon dont les smartphones ont subtilement pris le contrôle de la sécurité. Désormais, sans téléphone, on ne peut même plus payer ses impôts, accéder aux soins de santé, ni se connecter à son travail.
Il y a 25 ans, si quelqu’un avait dit que l’accès aux services publics serait entièrement privatisé, il y aurait eu une forte levée de boucliers. Or non seulement nous avons accepté cela, mais nous l’avons fait volontairement en échange de commodité. Maintenant, nous sommes dans l’embarras.
Les Américains s’enthousiasmaient autrefois pour la formule « ceux qui renoncent à la liberté pour la sécurité n’obtiennent ni l’une ni l’autre », mais aujourd’hui c’est encore pire. Nous avons renoncé à la sécurité pour la commodité, nous avons remis tout ce qui nous concerne à des milliardaires sans scrupules qui veulent remplacer l’État tout entier, et nous finirons même par les payer pendant qu’ils le font.
Le fait qu’il faille un téléphone pour accéder au réseau de l’entreprise ne me semble pas forcément plus révoltant que le fait qu’il faille un ordinateur portable pour le travail de bureau moderne.
https://www.irs.gov/filing/where-to-file-paper-tax-returns-w...
Les smartphones ont indéniablement rendu l’accès aux services publics plus accessible et plus efficace. C’est particulièrement vrai pour les communautés marginalisées, les zones rurales et les personnes en situation de handicap.
Cela dit, j’ai du mal à adhérer à l’idée que l’accès aux services publics aurait été « entièrement privatisé ». Les administrations collaborent souvent avec des entreprises privées pour développer et fournir ces services, et il existe généralement un certain niveau de supervision réglementaire. Cette collaboration a aussi produit des innovations utiles, comme les portails de déclaration d’impôts en ligne ou la télémédecine.
La citation de Franklin sur l’échange de la liberté contre la sécurité reste pertinente, mais il faut aussi regarder l’autre versant : refuser les évolutions technologiques expose au risque d’être laissé de côté. Le vrai défi consiste à trouver un équilibre entre commodité, sécurité et droits individuels.
Plutôt que de tirer la sonnette d’alarme sur une « prise de contrôle insidieuse », il vaudrait mieux se concentrer sur des mesures concrètes pour protéger les droits. Les standards ouverts, le renforcement des cadres réglementaires et l’investissement dans des programmes de culture numérique seraient un bon point de départ.
Les chèques-éducation étaient, et restent, un sujet brûlant pour plusieurs groupes influents, et certains souhaitent tout simplement supprimer complètement les services publics pour les remplacer par des services privés. La pensée pro-privatisation et favorable à un État réduit est extrêmement populaire depuis au moins Reagan.
Aux États-Unis, l’histoire du renoncement à la liberté au nom de la sécurité, ou même de la commodité ou de la religion, est encore plus ancienne. Les exemples du XXe siècle ne manquent pas : politiques de la guerre froide et tests idéologiques, diverses lois de moralité publique, zonage restrictif, etc.
Ce qui est intéressant dans l’article, c’est ceci :
l’État externalise de plus en plus de procédures à des entreprises technologiques. Si une entreprise tech opère au nom de l’État, elle devrait être tenue au même niveau de responsabilité que l’État.
C’est ce qu’on appelle l’« extension de la responsabilité publique » : cela paraît simple, mais cela pourrait changer complètement la donne. Aujourd’hui, alors que l’État externalise davantage de fonctions publiques essentielles à des entreprises tech, il transfère avec elles sa propre responsabilité.