Pourquoi j’ai quitté Google DeepMind
(turntrout.com)- Alexander Matt Turner, ancien chercheur scientifique chez Google DeepMind, a démissionné en estimant ne pas pouvoir rester pour des raisons de conscience après que Google a fourni des services cloud au DHS et à l’ICE, et signé avec le ministère américain de la Défense un contrat qui n’interdisait pas de manière juridiquement contraignante les armes létales autonomes ni le profilage IA à grande échelle
- Lorsque le ministère américain de la Défense a exigé d’Anthropic un contrat pour « tous les usages légaux » supprimant les restrictions existantes, Turner a sollicité une réponse collective de l’IASEAI et de chercheurs IA réputés, et a obtenu en interne chez Google environ 250 signatures ainsi que la participation de Jeff Dean à un mémoire d’amicus curiae
- Il a rédigé un cadre contractuel et de supervision de 25 pages prévoyant que les humains gardent le contrôle de l’usage de la force et interdisant le profilage IA non ciblé, mais, même après que Demis Hassabis en a demandé l’examen, il n’a pas été évalué par les hauts responsables des politiques publiques
- En avril 2026, Google a signé un contrat permettant au ministère américain de la Défense de demander des modifications des paramètres de sécurité de Gemini, sans que Google puisse refuser des opérations gouvernementales légales ; la formulation indiquant qu’il fallait éviter les armes autonomes et la surveillance de masse intérieure n’avait aucune force juridiquement contraignante
- Il en a conclu que les engagements éthiques individuels ou la confiance accordée aux dirigeants ne suffisent pas à préserver les principes sous la pression, et qu’il faut une gouvernance à faible niveau de confiance fondée sur des restrictions préalables, un examen indépendant et la transparence
Une prise de conscience née de la chaîne d’approvisionnement du DHS et de l’ICE
- À la suite d’un incident survenu en janvier 2026, au cours duquel des agents du DHS ont tué au moins deux personnes, Turner a enquêté sur les relations entre Google et les agences chargées de l’application des lois sur l’immigration
- Le DHS 2025 AI Use Case Inventory mentionne Google parmi les fournisseurs d’IA générative utilisés pour améliorer l’efficacité opérationnelle du DHS
- Google vend des services cloud à l’ICE par l’intermédiaire de tiers comme ITC Federal
- Il a également mis en cause d’autres actions de Google
- Le 3 octobre 2025, l’entreprise a retiré de son catalogue une application avertissant des activités de l’ICE
- Elle a transmis à l’ICE les comptes de manifestants étudiants sans préavis, rompant ainsi son engagement de service consistant à envoyer un e-mail avant de divulguer des informations au gouvernement
- Google a répondu que les agences d’application des lois sur l’immigration n’avaient fait qu’utiliser des services cloud commerciaux, mais ce que Turner contestait n’était pas la fourniture ou non d’un service spécial : c’était le fait même de fournir des services à l’ICE
- Une pétition de grande ampleur ayant déjà été ignorée, il a jugé que sit-in, grèves et démissions massives étaient peu réalisables et peu efficaces
- Dans le secteur de l’IA, une poignée de talents difficiles à remplacer peut avoir une forte influence sur une organisation ; il a donc estimé que la possible défection de 10 personnes clés, ou d’un seul Jeff Dean, coûterait plus cher à la direction que celle de 100 ingénieurs de recherche pris au hasard
Premier contact avec Jeff Dean
- Jeff Dean est le 30e employé de Google, son Chief Scientist et l’un des coresponsables du projet Gemini ; il a publiquement critiqué l’ICE et participé en 2018 à l’engagement contre les armes létales autonomes
- Le 9 février 2026, Turner a contacté directement Jeff pour lui dire qu’il voulait aider Google à se retirer de la chaîne d’approvisionnement du DHS
- Jeff a répondu qu’il serait raisonnable d’envoyer un e-mail à Sundar Pichai, Demis Hassabis et Thomas Kurian
- Turner a transmis les points suivants aux trois CEO, mais n’a reçu aucune réponse
- Le problème n’était pas la politique partisane, mais les violations du droit à une procédure régulière par l’ICE, la détention de citoyens, des centres insuffisamment supervisés et des atteintes aux droits humains
- Le cloud et Gemini ne devraient pas soutenir ces opérations, que ce soit via des contrats directs ou des intégrateurs tiers
- La coopération avec le DHS et l’ICE pose non seulement des problèmes de droits humains, mais crée aussi un risque réputationnel pour le fournisseur
- Il a ensuite demandé à Jeff de déjeuner pour discuter des moyens de provoquer un changement concret au sein de Google, et un rendez-vous a été fixé quelques semaines plus tard
La pression du ministère américain de la Défense sur Anthropic
- Le 25 février 2026, le ministère américain de la Défense a demandé à Anthropic de supprimer les restrictions de son contrat existant et de fournir Claude pour « tous les usages légaux »
- Les restrictions existantes visaient les armes autonomes létales ainsi que la surveillance et le profilage par IA
- En cas de refus, il menaçait d’annuler un contrat de 200 millions de dollars, de désigner l’entreprise comme présentant un risque pour la chaîne d’approvisionnement et de forcer la fourniture du service au titre du Defense Production Act
- Turner a estimé que le critère des « usages légaux » posait deux problèmes
- Comme l’a montré le cas où le ministère américain de la Défense a de nouveau attaqué des survivants d’un naufrage, des actes que des juristes indépendants considèrent comme susceptibles de constituer des crimes de guerre peuvent être jugés légaux par le gouvernement lui-même
- La surveillance de masse et le profilage IA peuvent également entrer dans la catégorie du légal, car les lois existantes sur la surveillance n’ont pas été rédigées en pensant à l’IA
- Contrairement à un refus contractuel ordinaire, la désignation comme risque pour la chaîne d’approvisionnement aurait pu conduire tous les contractants militaires à cesser d’utiliser Anthropic, menaçant l’existence économique de l’entreprise
- Par la suite, la juge Lin a estimé que cette désignation relevait d’une « mesure de représailles typiquement illégale au regard du Premier Amendement »
Une réponse collective demandée à l’IASEAI et aux grands noms de l’IA
- Turner participait à un événement de l’International Association for Safe and Ethical AI (IASEAI) au siège de l’UNESCO à Paris
- L’IASEAI a été créée en 2024 avec l’objectif de porter une voix unifiée en faveur d’une IA sûre et éthique ; en 2026, ses groupes de travail comprenaient Red Lines for Advanced AI, consacré aux armes autonomes et à l’escalade
- Les centaines de personnes présentes discutaient de problèmes abstraits de coordination, comme la théorie du choix public, plutôt que de la crise Anthropic survenue le jour même
- Il a demandé à des chercheurs influents de prendre publiquement position
- Il a demandé à Yoshua Bengio une déclaration défendant la liberté contractuelle d’Anthropic et s’opposant aux armes létales autonomes non régulées, mais son bureau a répondu qu’il ne publierait pas de déclaration
- Geoffrey Hinton participant à distance, Turner a envisagé de le contacter via Bengio ou Stuart Russell
- Il a demandé à Stuart Russell une déclaration en son nom propre et au nom de l’IASEAI, ainsi que la mobilisation d’experts IA en interne
- Stuart a promis de tenter d’obtenir la participation de Bengio et Hinton, et d’organiser un vote des membres de l’IASEAI pour publier une déclaration à la clôture de l’événement
Le vote et la déclaration de l’IASEAI qui ont disparu
- Lors de la séance de clôture, Stuart a qualifié l’action du ministère américain de la Défense de « racket d’extorsion (extortion racket) » et a annoncé son intention de soumettre au vote des membres l’idée qu’Anthropic ne devrait pas être forcée de fournir ses produits pour des usages qu’elle ne souhaite pas
- Lors d’un vote à main levée sur place, le soutien à une déclaration de l’IASEAI en faveur de la liberté contractuelle d’Anthropic a été quasi unanime
- Le plan de l’époque était de mener un sondage jusqu’au jeudi soir ; si les deux tiers votaient pour, Stuart signerait au nom de l’IASEAI, sinon il publierait une déclaration personnelle
- Turner a payé 75 dollars de cotisation pour participer au vote, mais le sondage n’a jamais été ouvert et l’IASEAI n’a publié aucune déclaration
- Les raisons avancées par l’IASEAI ont continué à changer
- Il fallait plus de temps pour rédiger la déclaration
- Les principes sur lesquels s’appuyer n’étaient pas clairs
- Rejoindre le flux d’actualité Anthropic–ministère américain de la Défense présentait des avantages et des inconvénients
- L’organisation voulait se concentrer sur l’amélioration de ses procédures internes pour gérer des situations similaires
- Anthropic ayant publié sa propre déclaration, une déclaration de l’IASEAI n’était plus nécessaire
- Même après l’échéance du vendredi imposée à Anthropic, le contentieux s’est poursuivi pendant plusieurs semaines, et le contrat de Google a été signé deux mois plus tard ; Turner estime donc que l’IASEAI avait largement le temps de publier une déclaration, de soumettre un mémoire d’amicus curiae ou de contacter les décideurs de Google
- Turner a demandé à plusieurs reprises à Stuart de contacter en privé la direction de Google, ou simplement de faire une mise en relation, à défaut de prise de parole publique, mais n’a pas obtenu de réponse
- L’IASEAI a remboursé sa cotisation à sa demande, tandis que l’atelier sur les lignes rouges de l’IA organisé au même endroit a désigné la volonté politique comme le principal obstacle
Le contrat d’OpenAI et la formation de l’opinion interne chez Google
- OpenAI a déclaré que son contrat avec le département américain de la Défense préservait des restrictions comparables à celles d’Anthropic sur les armes autonomes et la surveillance de masse, mais certaines analyses ont estimé que le libellé du contrat comportait de larges failles
- Turner a exhorté, sur un canal interne de discussion d’actualité de Google DeepMind, à faire front avec Anthropic et à refuser « tous les usages légaux » ; l’un de ses messages a reçu plus de 125 réactions de soutien
- Cette activité de publication interne poursuivait plusieurs objectifs
- Augmenter le coût organisationnel que la direction aurait à payer en cas de silence
- Faire passer des arguments stratégiques via des canaux lus par des responsables de haut niveau
- Créer une perception partagée, chez les employés mal à l’aise avec le contrat, qu’ils n’étaient pas seuls
- Partager les failles du contrat d’OpenAI afin que les employés n’acceptent pas des formulations de protection similaires si elles étaient proposées
- Créer un canal permettant aux employés de laisser entendre indirectement qu’ils pourraient démissionner si le contrat était signé
- Comprenant que Google était réticent à l’organisation directe sur de grands canaux internes, il a contacté en privé les personnes qui avaient réagi
La pétition de 250 personnes et le mémoire d’amicus curiae d’Anthropic
- Considérant que Jeff faisait partie du petit nombre de dirigeants disposant à la fois d’une compréhension éthique et d’une influence réelle, il s’est concentré sur le fait d’en faire l’acteur principal de l’action et de lui faire constater le soutien des employés
- Avec des amis, il a réuni en un ou deux jours environ 250 signatures d’employés de Google DeepMind et de Research, puis les a transmises à Jeff
- Les signataires lui demandaient de faire tout son possible pour empêcher tout contrat franchissant les lignes rouges fondamentales
- Il a estimé que le fait d’avoir exclu, dans la pétition initiale, la question de la surveillance sans mandat des citoyens non américains revenait à céder soi-même ce que l’on voulait obtenir avant même la négociation, et que c’était une erreur
- Quand Anthropic a engagé une action en justice et demandé une injonction contre sa désignation comme risque pour la chaîne d’approvisionnement par le département américain de la Défense, Protect Democracy a préparé un mémoire d’amicus curiae d’experts en IA
- Turner a signé le mémoire et a demandé à des collègues ainsi qu’à Jeff d’y participer ; Jeff l’a également signé publiquement
- Parmi les 18 signataires de Google DeepMind, 8 ont été recrutés par Turner
- Jeff était le seul dirigeant de niveau C-level à adopter publiquement une position différente du silence de Google
- Il a estimé que les signatures des employés de Google avaient contribué en partie à retarder les négociations, en faisant craindre au département américain de la Défense que Google puisse lui aussi se retirer de futurs contrats
- Il a aussi demandé à l’équipe juridique de Google de déposer un mémoire, en faisant valoir que laisser le gouvernement faire pression sur Anthropic lui permettrait d’utiliser la même menace contre Google à l’avenir ; Google n’a pas participé, tandis que Microsoft a déposé un mémoire
L’optimisme de la direction et la possibilité de signature du contrat
- Tout au long du mois de mars 2026, des cadres dirigeants ont affirmé que, puisque la direction avait elle aussi conscience du problème, Google ne signerait pas de contrat couvrant « tous les usages légaux »
- Turner a estimé que, si personne ne créait de coût réel pour la direction, Google aurait de fortes chances de céder
- Dans une note accompagnée de références, il a avancé les éléments suivants
- Google avait déjà cédé à des pressions moins risquées, par exemple en transmettant volontairement à l’ICE des informations sur des étudiants manifestants
- La part des contrats publics dans son activité était importante
- Les principes d’IA de Google DeepMind avaient été affaiblis, passant d’interdictions concrètes à des formulations vagues
- Les questions antitrust et l’historique contentieux de l’actuel département de la Justice exerçaient une pression supplémentaire sur Google
- Il a partagé cette note à plusieurs reprises, mais a estimé ne pas être parvenu à convaincre les employés les plus haut placés
La stratégie de négociation préparée autour de Jeff
- Jeff avait participé en 2018 à un engagement déclarant qu’il ne « participerait pas ni n’apporterait son soutien au développement, à la fabrication, au commerce ou à l’utilisation d’armes létales autonomes », et il a réaffirmé publiquement en 2026 que sa position n’avait pas changé
- Il a déclaré ne pas vouloir de surveillance de masse par IA visant les Américains, estimant que la surveillance de masse viole le quatrième amendement et la liberté d’expression, et peut être exploitée à des fins politiques ou discriminatoires
- Turner est arrivé à la conclusion logique que, si Google signait un contrat sans limites, Jeff devrait démissionner pour respecter son engagement
- Il a préparé un scénario dans lequel Jeff dirait à Sundar Pichai qu’il ne pourrait pas rester si le contrat était signé
- Montrer le soutien des employés grâce à la pétition de 250 personnes
- Obtenir aussi le soutien de plusieurs employés seniors prêts à agir avec Jeff s’il traçait une ligne rouge
- Comme une coalition de plusieurs personnes pouvait être divisée par des primes ou par des efforts de persuasion individuels, la stratégie réelle reposait sur l’influence d’un seul homme : Jeff
- Craignant qu’une demande vague de « ne pas conclure un mauvais contrat » n’aboutisse à un contrat seulement amélioré en surface, il a préparé une alternative concrète
Un framework de 25 pages pour l’IA militaire
- Turner a utilisé ses congés pour rédiger, sur son temps personnel, 25 pages de clauses contractuelles et de structures de supervision, qu’il a fait relire par des spécialistes du droit militaire et de la surveillance
- Un juriste spécialisé dans l’intégration du combat entre humains et IA a estimé que le framework était « en fait plutôt bon » et a proposé des améliorations
- Lors de la fourniture d’IA à des institutions exerçant un pouvoir coercitif comparable à celui d’un gouvernement, deux critères s’appliquaient
- Contrôle humain de l’usage de la force
- Empêcher l’IA d’être utilisée dans des systèmes qui sélectionnent et attaquent des cibles sans contrôle humain approprié lors de chaque engagement
- S’appliquer même lorsque seuls des composants d’IA sont fournis à une chaîne de ciblage
- Exiger une transparence juridique permettant de vérifier les modes de déploiement légaux, ainsi qu’une validation par un auditeur neutre mutuellement accepté
- Ne pas restreindre la défense par interception, l’analyse du renseignement respectant le second critère, la logistique, ni la R&D
- Interdiction du profilage IA non ciblé
- Empêcher la transformation de données massives en informations sur des individus qui ne font pas déjà l’objet d’une enquête identifiée
- Interdire le lancement d’une analyse individuelle uniquement à partir de caractéristiques démographiques ou d’expression politique
- Interdire l’ouverture d’une enquête approfondie sur une personne sur la seule base de sorties produites par l’IA
- Autoriser les analyses ciblées, les études agrégées et les analyses de zones de conflit améliorant la protection des non-combattants
- Contrôle humain de l’usage de la force
- Le dispositif prévoyait qu’un Defense AI Review Body composé de 7 personnes soit nommé et supervisé par le Chief Scientist
- Attribuer 2 des 7 sièges au cloud
- Les employés ne se récusent que pour les contrats auxquels ils ont participé
- Limiter les retards d’examen à 10 jours maximum
- Protéger les discussions par le secret professionnel avocat-client
- Les pouvoirs du Review Body se limitaient au conseil, mais les cas où ses recommandations étaient ignorées devaient figurer dans un rapport annuel de transparence fourni à tous les employés travaillant sur l’IA
- Pour dissoudre l’organisme, un préavis et la divulgation précise des manquements non résolus étaient nécessaires, afin de le rendre difficile à neutraliser discrètement comme les principes de 2018
- Si le Congress adoptait une loi réglementant substantiellement ces usages, les critères pourraient être abandonnés par le Chief Scientist et une très large majorité du Review Body
- Si « tous les usages légaux » étaient exigés, le mécanisme prévoyait d’obtenir une note juridique démontrant la légalité des usages prévus et de refuser les usages ne respectant pas les standards de l’entreprise
- Anticipant l’opposition possible du cocontractant, il incluait aussi des clauses moins importantes pouvant être concédées dans la négociation, comme une remontée au conseil d’administration d’Alphabet
Déjeuner avec Jeff et proposition envoyée à Demis
- Le 17 mars 2026, à Mountain View, Turner a rencontré Jeff et lui a proposé de diriger le Review Body, mais Jeff n’a pas accepté
- Il ne cite pas de conversations privées sans autorisation ; le fait public vérifiable est que Jeff a signé la lettre de soutien à Anthropic, mais est resté dans l’entreprise même après la conclusion du contrat par Google
- Comme Jeff ne pilotait pas le framework, les chances de succès ont fortement diminué, et Turner a choisi Demis Hassabis comme piste suivante
- Lors de son acquisition par Google en 2014, DeepMind avait obtenu l’engagement que l’IA ne serait pas utilisée à des fins militaires ou d’armement ; en 2018, ses cofondateurs et l’organisation elle-même ont aussi rejoint l’engagement contre les armes létales autonomes
- Après avoir tenté pendant une semaine de faire remonter la proposition par la chaîne managériale, Turner a envoyé un message direct à Demis le 1er avril 2026
- Demis a demandé à deux hauts responsables chargés de la politique de Google DeepMind d’évaluer le framework
- Les deux personnes n’ont d’abord pas répondu, puis l’ont transmis à des responsables subalternes
- Ces responsables subalternes se sont montrés favorables au framework, mais ont indiqué qu’une réponse pourrait prendre plusieurs mois
- Le mémo du département américain de la Défense du 9 janvier donnait à tous les prestataires d’IA un délai de 180 jours, jusqu’au 8 juillet, pour accepter des contrats couvrant « tous les usages légaux » ; un examen de plusieurs mois n’était donc pas adapté à la situation
- Turner a proposé de se rendre de San Francisco à Londres pour une séance de questions-réponses, mais les hauts responsables de la politique n’ont de nouveau pas répondu
- Il s’est dit mécontent d’une procédure dans laquelle les résultats de l’évaluation n’ont pas été transmis alors que le CEO avait demandé un examen, tout en laissant ouverte la possibilité qu’il existe des raisons légitimes inconnues
Le contrat avec le département américain de la Défense que Google a conclu discrètement
- Le 27 avril 2026, des articles ont révélé que Google avait conclu un contrat confidentiel d’IA
- Turner a également signé, avec plus de 600 autres employés, une lettre adressée à Sundar lui demandant de refuser le contrat confidentiel d’IA
- Les formulations clés du contrat étaient les suivantes
- Le département américain de la Défense pouvait utiliser l’IA de Google à « toutes fins gouvernementales légales »
- À la demande du gouvernement, Google devait aider à ajuster les paramètres de sécurité et les filtres de l’IA
- Le texte précisait qu’elle ne devait pas être utilisée pour une surveillance domestique de masse ni pour des armes autonomes sans supervision humaine appropriée
- En même temps, il indiquait explicitement que Google n’avait pas le droit de contrôler ni de refuser des opérations gouvernementales légales
- Turner a estimé que « should not » ne constituait pas une interdiction contraignante et ne répondait donc aux préoccupations éthiques que de manière formelle
- Google n’a pas informé ses employés de la conclusion du contrat ; Turner l’a appris à 23 h 45 dans un groupe Signal
- Google s’était déjà retiré, après un examen éthique interne, d’un appel à projets de 100 millions de dollars portant sur des essaims de drones autonomes à commande vocale
- Il juge positivement le fait que, dans certains secteurs, il existe bien un examen éthique réellement opérationnel
- Mais dans le contrat portant sur « tous les usages légaux », Google ne pouvait pas savoir à quoi Gemini serait réellement utilisé, ce qui rendait difficile d’évaluer si les bénéfices l’emportaient largement sur les dommages
- En citant le fait que même le CEO d’Anthropic a déclaré ne pas savoir quel rôle Claude avait joué dans le bombardement d’une école de filles en Iran, il souligne le manque de transparence après déploiement
L’évolution de principes d’IA présentés comme inchangés
- Demis a déclaré que le monde était devenu plus dangereux et que la victoire des valeurs démocratiques ne pouvait pas être tenue pour acquise, ce qui imposait de coopérer avec les gouvernements
- Il a affirmé que le principe fondamental de Google consistait à évaluer soigneusement si les bénéfices l’emportaient largement sur les risques de préjudice, et que le respect du droit international et des droits humains n’avait pas changé non plus
- Turner estime qu’un critère consistant à « juger après avoir vu la situation » n’est pas un engagement préalable que l’on tient sous pression, et qu’il est donc difficile d’y voir un principe
- Les principes d’IA de Google de 2018 indiquaient explicitement que Google ne développerait ni ne déploierait des armes dont l’objectif principal est de blesser des personnes, ni des technologies de surveillance violant des normes internationalement reconnues
- C’est en raison de ces principes que Google s’est retiré en 2018 de l’appel d’offres JEDI, d’un montant de 10 milliards de dollars
- La révision du 4 février 2025, coécrite par Demis, a supprimé les interdictions concrètes concernant les armes et la surveillance
- Supprimer les clauses d’interdiction tout en affirmant que « les principes n’ont pas changé » ne peut pas être simultanément vrai ; lorsque Turner a partagé cette contradiction sur des canaux internes lors de son dernier jour de travail, de nombreux employés ont exprimé leur déception
Coopérer avec les gouvernements et faire des concessions illimitées sont deux choix différents
- Même si l’on accepte le postulat selon lequel les démocraties occidentales doivent adopter des armes autonomes pour faire face à l’autoritarisme, Turner estime qu’accepter toutes les demandes du département américain de la Défense n’était pas la seule option
- En appliquant le framework de gouvernance de l’IA militaire, il serait possible d’autoriser les usages nécessaires à la concurrence avec la Chine tout en limitant les usages non éthiques
- Même si le contrat avait été imposé, Google aurait pu utiliser son influence pour demander au Congress des garde-fous juridiques ; l’acceptation d’un contrat illimité était donc, selon lui, un choix
Confiance personnelle et gouvernance institutionnelle
- Demis estime que des structures comme un conseil indépendant ou une charte de sécurité peuvent ne pas fonctionner correctement au moment décisif, et préfère construire la confiance au sein de Google et siéger à la table des décisions plutôt que de tracer à l’avance des lignes claires
- Cette philosophie s’est formée après que Sundar a rejeté, lors des négociations, l’idée de séparer DeepMind en organisation semi-indépendante
- Turner rétorque qu’il faut réduire la quantité de confiance exigée par le système
- Les individus aussi sont exposés aux pressions décisives, et peuvent avoir des incitations pires, comme leur participation au capital, leurs relations sociales avec leurs collègues ou une image de soi liée à l’entreprise
- Le framework ne repose que sur une seule hypothèse de confiance : que le Chief Scientist agisse raisonnablement jusqu’à la constitution du Review Body ; ensuite, il crée une confiance justifiée par les contrats et la transparence
- Même s’il ne peut pas bloquer complètement les contrats abusifs, il ajoute des frictions et un coût public à leur adoption
- Demis était présent à la table des décisions pour tous les contrats concernés, mais le contrat final ne contenait aucune clause contraignante reflétant les préoccupations éthiques des employés
- Turner reconnaît qu’il a peut-être évité un résultat pire, mais les conditions réelles du contrat étaient proches du plancher prévisible et même plus faibles que celles d’OpenAI
- Andreas Kirsch, chercheur scientifique chez Google DeepMind, est arrivé indépendamment à la même conclusion dans « Trust is not Governance »
L’échec de l’expérience de gouvernance de Google DeepMind
- Google DeepMind a été vendu à Google sur la base d’un engagement à interdire les usages militaires et d’une structure de gouvernance semi-indépendante, mais Sundar a refusé cette structure indépendante
- Les principes d’IA de 2018, créés sous la pression des employés, ont eux aussi été affaiblis lorsque la direction a supprimé les interdictions concrètes visant les armes et la surveillance
- Chez Google DeepMind, les revenus et la pression politique ont pris le dessus sur les engagements éthiques, tandis qu’Anthropic a maintenu ses lignes d’interdiction existantes sous les mêmes pressions
- La conclusion n’est pas que personne ne respecte ses principes, mais que la société ne peut pas compter sur le fait que des individus éthiques tiendront jusqu’au bout
- Même si le Congress ne réagit pas efficacement, Turner estime qu’il faut cesser de penser que la sécurité est garantie par le seul fait que des dirigeants « siègent à la table des décisions »
Les choix qui restent aux signataires de l’engagement
- Jeff Dean, Demis Hassabis, Shane Legg et d’autres se sont engagés à ne pas soutenir le développement, la fabrication, le commerce ni l’usage d’armes létales autonomes, mais sont restés dans l’entreprise après que Google a fourni son IA à l’armée sans droit de limiter les usages
- À l’interprétation selon laquelle le contrat n’autorisait pas explicitement les armes autonomes mais se contentait de ne pas les interdire, Turner répond que se bander les yeux pour ne pas savoir à quoi elles servent ne fait pas disparaître la responsabilité
- Il estime que continuer à développer de l’IA dans une entreprise qui crée les meilleures IA, les fournit à une armée souhaitant utiliser des armes létales autonomes et renonce même à son droit de limiter les usages entre en conflit avec cet engagement
- Selon lui, les signataires ont trois choix honnêtes
- Expliquer publiquement en quoi rester est compatible avec leur engagement
- Dire qu’ils ne soutiennent plus cet engagement et expliquer pourquoi
- Quitter l’entreprise
- Si, même sur une ligne d’interdiction claire, ils n’ont pas obtenu une seule clause contraignante, l’argument consistant à dire qu’ils restent « pour orienter les choses positivement de l’intérieur » est faible
- S’ils ne font rien après avoir rompu leur engagement le plus explicite, la crédibilité des prochains engagements de sécurité diminuera elle aussi, et les engagements eux-mêmes finiront par perdre toute valeur
Le silence des responsables de l’éthique de l’IA
- La responsabilité se répartit de manière inégale entre Pete Hegseth et Donald Trump, qui ont fait pression sur le département de la Défense américain, Sundar Pichai, qui a signé le contrat, et Jeff Dean, qui n’a pas davantage utilisé son influence
- Turner se dit particulièrement déçu par l’inaction persistante de hauts experts de l’IA qui avaient publiquement mis en avant leurs engagements éthiques
- Geoffrey Hinton s’est dit très déçu par l’abandon par Google de ses engagements sur l’IA militaire, et suppose que cela pourrait être dû à la crainte que l’administration actuelle défavorise Google
- Stuart Russell et Hinton n’étaient généralement pas des personnalités passives
- Stuart a publiquement alerté pendant longtemps sur les risques existentiels liés à l’IA et sur les armes létales autonomes
- Hinton a quitté les États-Unis dans les années 1980 pour s’opposer au financement militaire de l’IA, puis a quitté Google en 2023 afin de pouvoir s’exprimer librement sur les risques de l’IA
- En septembre 2025, plus de 300 personnes, dont 15 lauréats du Nobel ou du prix Turing, ont signé le Global Call for AI Red Lines ; Stuart, Bengio, Hinton et Mark Nitzberg y ont également soutenu l’interdiction de la surveillance de masse et des armes létales autonomes
- Ils ont signé des principes abstraits, mais lorsque le conflit concret entre entreprises et gouvernement est survenu en février 2026, l’IASEAI n’a publié aucune déclaration
- L’idée selon laquelle ils auraient économisé leur capital politique pour un moment plus important peut expliquer l’absence de déclaration publique, mais pas le refus d’une aide peu coûteuse, comme des mises en relation privées avec les décideurs de Google
- Jeff mérite du respect comme seul dirigeant de Google à avoir agi publiquement, mais Turner estime qu’il aurait pu exercer une influence plus forte pour bloquer le contrat
Actions internes au-delà des limites du poste et départ
- Un « chercheur responsable » ordinaire se serait contenté de tweeter ses inquiétudes et d’envoyer un message à son manager, mais Turner a estimé que seuls les plans susceptibles d’avoir un effet avaient une valeur en tant qu’action
- Il a défini la photo d’Alex Pretti comme notification sur son téléphone, et a supporté sa peur en pensant aux cas où l’ICE a abattu des personnes ou les a arrachées de chez elles
- Il n’a pas choisi la voie habituelle consistant à rejoindre un autre grand laboratoire d’IA avec une grosse prime
- Il a également refusé un contact de l’équipe sécurité d’OpenAI
- Au moment de son départ, il n’avait pas d’autre emploi
- Dès février, il estimait très probable que Google signe le contrat, mais en l’absence de contrat effectif, il aurait pu rester quelques mois de plus
- Une fois le contrat signé, il a senti qu’il ne pouvait plus travailler, et a quitté l’entreprise en jugeant que le bureau, comme autrefois l’école, n’était plus un lieu auquel il appartenait
Objections prévisibles et réponses
- On ne peut pas reprocher à une personne de ne pas avoir suivi une proposition précise, mais si des responsables seniors de l’éthique avaient agi d’une manière ou d’une autre, il estime que le résultat aurait dû montrer un impact visible
- Si Jeff s’était réellement opposé au contrat avec fermeté en mettant sa démission dans la balance, Turner s’attend à ce que le contrat final ait inclus au moins une clause contraignante
- Tout le monde n’a pas l’obligation de s’exprimer sur tous les sujets, mais c’est différent lorsqu’on promet un vote des membres puis qu’on l’annule, ou lorsqu’on fait de l’opposition aux armes létales autonomes un élément important de son identité avant de garder le silence au moment décisif
- Il reconnaît que le département de la Défense américain aurait pu refuser même si un framework avait été proposé
- D’autres fournisseurs, comme xAI, auraient fourni de l’IA
- Mais si Google s’était allié à Anthropic et OpenAI, ou avait rejeté les exigences du département de la Défense américain, la soumission de l’industrie tech aurait pu se transformer en réponse indépendante
- Si le département de la Défense américain avait refusé, Google aurait aussi pu se retirer du contrat ; l’influence de Jeff restait donc importante
- Le département de la Défense américain a présenté ses contrats avec Amazon Web Services, Google, Microsoft, NVIDIA, OpenAI, Reflection, Oracle et SpaceX comme une « déclaration de réponse » à son conflit avec Anthropic, soulignant que les grandes entreprises tech soutiennent l’armée et tous les usages légaux
Risque existentiel lié à l’IA et déploiement militaire
- Turner estime que les arguments crédibles de Google DeepMind en matière de sécurité avancée de l’IA dépendront probablement fortement de la surveillance des chaînes de pensée (chain of thought) couverte par le Frontier Safety Framework
- Une IA mal alignée peut dissimuler ses intentions nuisibles et tromper pour éviter d’être arrêtée ; examiner ses chaînes de pensée est l’un des principaux moyens de le détecter
- La surveillance nécessite des superviseurs humains formés, capables d’accéder aux données et de les analyser, mais les datacenters militaires classifiés sont isolés de l’infrastructure commerciale de Google
- Il ne s’agit pas de dire que des employés de Google devraient lire les opérations militaires, mais de souligner qu’il n’existe probablement pas, par défaut, d’ingénieurs militaires suffisamment formés pour assurer cette surveillance
- Sans surveillance de la tromperie dans les chaînes de pensée, il devient plus difficile de contrôler la possibilité qu’une IA cause des dommages catastrophiques à l’humanité par des stratagèmes, la tromperie ou la prise de contrôle
- Les environnements de déploiement militaire, à la fois faiblement supervisés et donnant accès à des décideurs puissants et à des infrastructures critiques, peuvent devenir des cibles attrayantes pour une IA malveillante
- Il espère que l’armée et le US CAISI développeront l’expertise, l’attention et les procédures de contrôle nécessaires pour surveiller et contenir une IA malveillante
Les limites de l’explication « nous ne fournissons qu’un accès API »
- La direction affirme que fournir un accès API à des modèles commerciaux dans des conditions standard du secteur est une manière responsable de soutenir la sécurité nationale
- Un accès API ordinaire donne l’impression que les requêtes sont envoyées aux serveurs du fournisseur, qui peut en surveiller l’usage
- Dans des opérations classifiées, les requêtes en clair ne peuvent pas être envoyées aux serveurs de Google ; Turner suppose donc qu’il s’agit d’une approche on-premise fournissant des endpoints d’API Gemini dans un cluster cloud gouvernemental isolé
- Dans ce cas, l’expression « accès API seulement » peut être techniquement exacte, mais elle donne l’impression trompeuse qu’une surveillance centralisée par Google serait possible, et ne résout pas les problèmes liés aux armes autonomes, aux crimes de guerre ou au profilage de masse
- Turner estime qu’à l’exception d’Anthropic, Google a également contribué à faire de ces conditions un standard du secteur
1 commentaires
Réactions sur Hacker News
Je respecte la décision de TurnTrout d’agir conformément à ce qu’il estime juste, malgré la pression. Pour que l’humanité fasse de meilleurs choix face au grave dilemme du prisonnier qui nous attend au cours des 20 prochaines années, il nous faut davantage de personnes intelligentes comme lui
Je voyais aussi l’industrie de l’IA négativement, en estimant qu’elle extrayait de la valeur puis la revendait en ignorant l’effort collectif des autres, y compris celui des chercheurs, mais cette affaire a un peu renforcé mon respect envers les chercheurs en IA. Même si TurnTrout n’adhère pas entièrement à ce cadre d’analyse, je suis heureux qu’il ait défendu ses principes éthiques
J’y étais entré pour faire de la recherche en sûreté de l’AGI afin de réduire les risques existentiels liés à l’IA, et j’ai délibérément évité de travailler à l’amélioration pure des performances de Gemini. J’avais choisi à l’époque une forme de compromis, et il est légitime de critiquer cette décision
J’ai quitté Microsoft à cause de sa coopération avec Israël et Tsahal, notamment pour surveiller les Palestiniens et enregistrer tous les appels. Microsoft a ensuite partiellement fait marche arrière, mais Satya n’est pas pour autant exonéré de sa responsabilité
https://www.theguardian.com/world/2025/sep/25/microsoft-bloc...
Le texte ne décrit pas exactement l’affaire Anthropic. Emil Michael, sous-secrétaire américain à la recherche et à l’ingénierie au ministère de la Défense, a expliqué dans le podcast All-In que, pendant les négociations, Dario répétait : « appelez-moi si besoin, et à chaque fois je pourrai fixer la ligne rouge »
Dans un conflit majeur pouvant se déployer dans les 30 minutes suivant le lancement d’un ICBM, les organismes de sécurité nationale ne peuvent pas appeler Dario à chaque fois pour demander une autorisation. Emil semble avoir jugé que Dario cherchait à conserver le contrôle final via un droit de veto au cas par cas, et qu’il pouvait même faire passer ce pouvoir avant la survie de l’État. Du point de vue des achats militaires, il est raisonnable d’en garder une trace et, dans certaines circonstances, de partager ces informations avec d’autres organismes ; il existe déjà des bases de données qui enregistrent les comportements problématiques des prestataires
Il est clair que l’émission All-In était favorable à Emil, mais je pense que le fait de ne pas perdre de temps à défendre les attaques a permis d’entendre une version plus détaillée des faits
Passage concerné : https://www.youtube.com/watch?v=gzwRflcLPAA&t=2479
Dossier des prestataires : http://www.ppirs.gov/
Emil était chez Uber chargé de salir et détruire les ennemis politiques, et rien ne permet de penser qu’il se comporte autrement aujourd’hui
Les personnes qui tiennent à leurs principes sont devenues trop rares
La manière dont TurnTrout vit selon ses principes est impressionnante. Je ne sais pas si j’aurais ce niveau de courage ou de confiance en moi, et cela contraste avec ces gens intelligents qui choisissent de travailler dans des entreprises comme Palantir et en sont fiers
Cela ressemble aussi à l’objection de conscience face à la machine de guerre et au système financier impérial qui l’alimente. Même avec l’autorité que confère le fait d’avoir directement travaillé chez Google DeepMind, les gens écouteront rarement, car en temps de guerre la folie et l’argent l’emportent sur la logique et la raison
De la même manière qu’après Snowden, les membres du Five Eyes n’ont pas démissionné en masse, la plupart trouvent des raisons de ne pas s’opposer à l’oppression. Le fait que l’auteur, en tant que végétarien, ait déjà défendu seul ses principes dans une société centrée sur la consommation de viande a peut-être servi d’entraînement pour un acte d’objection de conscience plus important
Les personnes accablées par un prêt immobilier, des enfants, des dettes automobiles et des cartes de crédit au plafond, ou celles qui approchent de la retraite, ont du mal à résister publiquement ; les plus jeunes peuvent manquer du langage nécessaire pour exprimer leur position. Une activité individuelle de long terme consistant à dire la vérité au pouvoir exige aussi une indépendance économique suffisante
Les médias ont en particulier une lourde dette envers ceux dont ils ont traité la situation personnelle plutôt que le fond du problème, sans les reconnaître comme lanceurs d’alerte. Ce premier pas ressemble au parcours classique du héros qui refuse d’abord l’appel, entre dans un monde extraordinaire, puis revient avec quelque chose de bénéfique pour tous
Je respecte le fait de rester fidèle à ses convictions, mais je me demande pourquoi on ne voudrait pas d’armes IA intelligentes. Une IA embarquée capable de distinguer des civils non armés de cibles militaires n’est-elle pas, au contraire, un choix plus responsable qu’une mine conventionnelle qui fait exploser n’importe quoi ?
De la même manière que je ne voudrais pas confier une anesthésie chirurgicale à une machine fondée sur des LLM, je ne veux pas non plus, dans leur état actuel, de systèmes militaires décidant de la vie ou de la mort d’un bien plus grand nombre de personnes. Et même si, à l’avenir, on finissait par vraiment pouvoir faire confiance aux technologies d’armement, cela ferait surgir de nouvelles questions philosophiques : la guerre est-elle elle-même nécessaire, et quelles seraient les motivations de cette technologie devenue proche de l’AGI ?
En cas de meurtre injustifié, c’est un humain qui doit être tenu responsable ; avec des armes IA, il devient trop facile d’esquiver la responsabilité en disant : « c’était une erreur de l’algorithme, ce sera corrigé dans la version 23 ». Intégrer l’IA dans des armes réduit énormément la distance jusqu’au meurtre entièrement automatisé.
Pour les recommandations de contenus extrémistes, la mauvaise reconnaissance des personnes noires ou le recrutement biaisé en faveur des hommes, on a toujours rejeté la faute sur « l’algorithme ». Comme ces systèmes ont pour finalité ce qu’ils font effectivement, les tentatives visant à inscrire clairement une responsabilité juridique sont elles aussi, le plus souvent, désespérément évitées.
J’ai travaillé chez Google, et les discours sur l’éthique de l’IA n’étaient pas des engagements mais une tromperie. Comme beaucoup d’autres entreprises, Google entretient la concentration et la motivation de ses employés par une désinformation soigneusement orchestrée et des demi-vérités.
Quand l’entreprise dit « écouter la voix des employés », ce n’est vrai que tant que cela n’a pas d’impact commercial et permet de donner une image bienveillante de la société. Dès qu’apparaît la moindre résistance politique ou économique, elle n’écoute plus. J’ai de l’estime pour l’auteur, qui s’est battu pour faire bouger les choses, mais les dark patterns de Google sont trop profondément enracinés pour être déracinés par de simples échanges polis de livres blancs et d’e-mails.
Le post n’a été publié qu’il y a une heure et a déjà obtenu plus de 200 points, et pourtant il a disparu de la page d’accueil de HN.
Google est une entreprise opportuniste qui a abandonné ses politiques DEI après l’élection de Trump, et de toute façon ces politiques n’étaient pas sincères dès le départ. Cette tentative-ci était un peu naïve et ne pouvait qu’échouer, mais les produits militaires d’IA risquent eux aussi de ne rien faire correctement, sauf bombarder des écoles de filles.
On voit les PDG se précipiter les uns après les autres pour soutenir le projet de capture réglementaire de Hassabis.
https://xcancel.com/sundarpichai/status/2077086951833063580#...
https://xcancel.com/satyanadella/status/2077063479232795024#...
https://xcancel.com/elonmusk/status/2077415601610297535#m
C’est leur petit cercle fermé, et nous n’en faisons pas partie.
La plupart des détenteurs de GOOG, MSFT, META, etc., se soucient moins de la manière dont les profits sont générés que de voir leur 401(k) grimper ; le système a d’ailleurs été conçu ainsi dès le départ.