Le problème de la Silicon Valley du Pentagone

Le problème du Pentagone dans la Silicon Valley

• Ronen Bar, directeur du Shin Bet, le service de sécurité intérieure israélien, a présenté une plateforme d’intelligence artificielle développée en interne.
• Cette technologie est utilisée pour analyser des informations sur des terroristes, prédire les risques et déclencher des alertes.
• L’attaque du Hamas a totalement pris de court le système de défense israélien, alors même que le Hamas avait mené ses préparatifs de manière publique.

Les Big Tech à la traîne dans les guerres de demain

• Michèle Flournoy souligne l’importance des liens entre la Silicon Valley et le gouvernement américain.
• Le Pentagone a la réputation de résister aux nouvelles technologies, mais il investit en réalité dans de nombreux projets d’IA.
• Les technologies d’IA peuvent influencer la manière de conduire les opérations militaires, mais elles alimentent aussi le mythe selon lequel les idéalistes de l’industrie technologique seraient en train de réinventer la machine de guerre.

La croyance selon laquelle le logiciel peut résoudre les conflits humains

• Le rôle du logiciel dans la conduite de la guerre par les États-Unis a une longue histoire.
• Pendant la guerre du Vietnam, l’opération Igloo White a déployé des capteurs pour détecter l’activité ennemie, mais a échoué.
• La Silicon Valley s’est développée à partir de l’industrie électronique qui a contribué à la victoire de la Seconde Guerre mondiale, puis a bénéficié du soutien du Pentagone pendant la guerre froide.

La relation entre la Silicon Valley et le Pentagone

• L’industrie technologique de la Silicon Valley a, à l’origine, entretenu des liens étroits avec l’industrie de la défense, et Internet s’est développé à partir de l’ARPANET du Pentagone.
• Peter Thiel cherche à ramener la Silicon Valley vers un complexe militaro-industriel.
• Le Pentagone s’efforce d’exploiter les technologies de la Silicon Valley afin de préserver l’avantage technologique des États-Unis.

Les technologies de défense de la Silicon Valley

• Les entreprises de la Silicon Valley étendent leurs activités dans le secteur de la défense, ajoutant de nouveaux acteurs au complexe militaro-industriel existant.
• Google a développé, via le projet Maven, une technologie de traitement d’images de drones, mais s’est retiré du projet à la suite de l’opposition de ses employés.
• Les entreprises de la Silicon Valley renforcent leur rôle dans la défense, un domaine perçu comme une source de revenus stable grâce au budget militaire.

L’avis de GN⁺

• Cet article offre un éclairage intéressant sur la manière dont les technologies de défense et l’intelligence artificielle sont effectivement appliquées aux opérations militaires.
• Il soulève la question de savoir si les technologies d’IA peuvent réellement comprendre et gérer toute la complexité du champ de bataille.
• Il ouvre un débat important sur l’impact que peut avoir la coopération entre l’industrie technologique et le secteur de la défense sur la sécurité nationale.
• L’article met en avant les enjeux éthiques susceptibles d’émerger à mesure que les entreprises de la Silicon Valley s’impliquent plus profondément dans le secteur de la défense.
• Il rappelle que les avancées technologiques ne se traduisent pas toujours par un succès militaire, en s’appuyant sur des exemples de projets passés qui ont échoué.

[GN⁺]

Avis Hacker News

• Les cas mentionnés dans l’article semblent avoir été choisis de manière sélective. On ne peut pas attribuer l’échec au Vietnam au seul ordinateur IBM 360. L’attaque du Hamas a peut-être surpris Israël, mais ces dernières années, l’Iron Dome a bien fonctionné. Les États-Unis ont averti de l’attaque russe contre l’Ukraine, mais beaucoup n’ont pas écouté. Et ce sont des physiciens théoriciens qui ont fabriqué la bombe atomique.
• Comme beaucoup de médias, cet article généralise trop l’IA. Les capacités prédictives du machine learning (ML) sont utilisées depuis des décennies dans les armées modernes. L’introduction de l’article laisse entendre que les LLM ont joué un grand rôle dans l’échec du renseignement du 7 octobre, mais ce n’est en réalité pas le cas. Le ML continuera à jouer un rôle, en alternant réussites et échecs, et deviendra encore plus imparfait à mesure qu’il devra faire face au ML adversarial. Il n’est pas utile d’accuser des outils imparfaits.
• Les systèmes d’IA savaient tout sur le Hamas, mais les membres du Hamas ont fourni les données que l’IA voulait entendre. Quand l’adversaire peut voir tous vos actes et entendre toutes vos paroles, la seule défense est la vie privée. Dans le roman « Le Problème à trois corps », la vie privée n’existe que dans l’esprit humain, et seuls les humains peuvent prendre des décisions fondées sur des stratégies qu’ils n’ont jamais formulées à voix haute. La science-fiction devient réalité.
• Il est presque impossible de concevoir un bon système sans cas d’usage clair. L’Ukraine dispose de tels cas d’usage et d’une forte motivation pour les résoudre. L’Ukraine contrôle le champ de bataille avec des ordinateurs ordinaires et a coulé plusieurs navires de guerre russes avec des drones maritimes longue portée. Récemment, elle a commencé à tester à grande échelle des drones aériens bon marché équipés de reconnaissance de cibles par computer vision. Mais les États-Unis sont en paix, ce qui est une bonne chose en soi, sauf qu’il devient alors facile de gaspiller des milliards de dollars dans des technologies inutiles.
• L’expression « étonnamment » est étrange. Les médias israéliens ont rapporté à plusieurs reprises que des analystes de première ligne avaient tiré la sonnette d’alarme mais avaient été ignorés. Cela peut être dû au sexisme, à l’âgisme, à la discrimination liée à la conscription, ou à la forte volonté des groupes de colons au gouvernement de recoloniser Gaza. Quoi qu’il en soit, les signaux existaient, et les préparatifs ainsi que les exercices avaient été observés pendant environ un an. Même si les groupes de résistance ont gardé le secret, un officier ordinaire du renseignement ou de l’armée aurait dû pouvoir conclure qu’une réaction violente finirait par arriver.
• Je ne connais pas bien la technologie israélienne, mais le Pentagone a un problème d’image dans la Silicon Valley. Il ne semble pas attirer les meilleurs talents, ni même ceux qui iraient travailler pour des sociétés sous contrat comme Palintir. Notre génération se sent plus proche de l’Irak et du Vietnam que de la Seconde Guerre mondiale, et beaucoup des esprits les plus brillants sont des immigrés de première génération. Récemment, l’adtech a aussi un problème d’image, à mesure que les gens voient davantage comment elle est fabriquée, mais il reste toujours plus attirant de travailler pour de grandes entreprises grand public que pour l’industrie de la défense. Pour pousser ses pairs à travailler pour le gouvernement américain, même indirectement, il faut les payer davantage. Or c’est souvent l’inverse : moins d’argent, et moins de liberté pour les activités en dehors du travail.
• Vers la fin de l’article, Cockburn se plaint d’avoir obtenu une réponse fantasque de ChatGPT lorsqu’il lui a demandé ce qu’avaient fait l’IDF et Palantir. En cherchant « IDF Palantir » sur DuckDuckGo.com, on obtient des liens vers plusieurs articles de presse. Si le propos est de dire que les LLM ne sont pas fiables à l’heure actuelle, d’accord ; mais s’il s’agit de dire qu’on ne peut pas savoir si Palantir coopère avec l’IDF, il existe déjà des éléments de preuve.
• On n’échappe pas à l’éternelle vérité de la mesure et de la contre-mesure... un idiot avec un outil reste un idiot...
• Il semble que les équipes d’exploitation soient submergées par les fausses alertes liées aux astreintes. La meilleure façon de corriger l’erreur, c’est... de simplement l’ignorer. Un système complexe qui doit être exploité par du personnel bureaucratique est condamné à l’échec.