L’OSINT voit sa pensée critique s’effondrer progressivement à cause de l’IA

• L’OSINT (renseignement en sources ouvertes) était à l’origine un « jeu de réflexion »
• Récemment, il se transforme de plus en plus en « jeu de confiance » reposant sur les outils d’IA
• Après avoir commencé par les résumés de documents, la traduction et la rédaction de rapports, on passe à des enquêtes pilotées par l’IA, ce qui réduit la pensée critique
• Sous l’illusion de « travailler plus intelligemment », le véritable processus de réflexion est en train de se désagréger

Les changements apportés par la généralisation de l’IA

• L’auteur utilise lui aussi ChatGPT, Copilot, Claude, Gemini, etc. au quotidien
• Le problème, c’est que les analystes commencent à sauter les étapes difficiles et à confier leur réflexion à l’IA
• En OSINT, la rapidité n’est pas le seul enjeu : le jugement est essentiel, et aucun modèle ne peut le fournir
• Si l’on ne préserve pas ses habitudes critiques, on cesse d’être un enquêteur pour devenir un simple opérateur d’automatisation

Une étude que tout le monde devrait lire

• Début 2025, une équipe de Carnegie Mellon et de Microsoft Research a publié une étude portant sur 319 travailleurs du savoir
• Résultat : plus la confiance envers l’IA est élevée, plus la pensée critique tend à diminuer
• À l’inverse, les personnes ayant davantage confiance en elles posent plus de questions et vérifient davantage
• La confiance dans l’IA finit donc par se traduire par un abandon de sa propre réflexion

Ce que l’on observe dans le travail réel

• Au lieu de formuler des hypothèses, on demande désormais des idées à l’IA
• Au lieu de vérifier les sources, on suppose que l’IA l’a déjà fait
• Au lieu d’évaluer différents points de vue, on édite le résumé de l’IA puis on s’arrête là
• Même les experts s’habituent à cette manière de faire et finissent souvent par cesser de réfléchir

Exemples de mauvais usages de l’IA en OSINT

Échec de vérification d’image

• Après avoir téléversé une photo de manifestation dans Gemini et demandé « Où cette photo a-t-elle été prise ? », l’outil a répondu « Paris »
• Pourtant, les panneaux, les plaques d’immatriculation et le style architectural indiquaient clairement la Belgique, mais en faisant confiance à l’IA, l’erreur est passée

Distorsion d’un profil de personne

• En résumant l’activité en ligne d’une personne avec Claude, celle-ci est décrite comme « activiste, professionnelle de la tech, personne inoffensive »
• Son activité sur des forums d’extrême droite est omise → risque de la choisir comme intervenante lors d’un événement sans vérification

Échec d’analyse d’une campagne de désinformation

• Des messages Telegram sont saisis dans ChatGPT pour demander un résumé et une analyse de motifs
• Seuls des mots-clés ressortent, tandis que les schémas linguistiques d’un groupe russe de manipulation de l’information passent inaperçus

Les menaces auxquelles les analystes OSINT sont confrontés

• Tous les exemples ci-dessus sont des scénarios d’échec OSINT très réalistes
• Le problème vient du fait que des analystes ni malveillants ni paresseux ont simplement trop fait confiance à l’outil
• L’IA ne peut pas remplacer les capacités d’enquête, et son usage non critique rend l’OSINT dangereux

Le savoir-faire OSINT (tradecraft) est en train de mourir

• Le savoir-faire n’est pas une « liste d’outils », mais une habitude de pensée consistant à douter et à vérifier
• C’est l’instinct de revenir sur quelque chose quand une impression étrange surgit, de consulter les métadonnées, de détecter des incohérences linguistiques
• L’IA donne l’impression que le travail est plus facile et fait disparaître le processus de réflexion
• Dans le confort qu’elle apporte, le savoir-faire s’efface

Les analystes d’hier et d’aujourd’hui

Avant :

• Analyser une image floue avec plusieurs outils, vérifier les informations EXIF, faire une recherche inversée à partir de points de repère
• Traduire manuellement des publications en langue étrangère, suivre les hashtags, examiner l’historique d’activité d’un compte
• Analyser le WHOIS d’un domaine, suivre les sous-domaines, enquêter sur les liens avec des adresses e-mail

Aujourd’hui :

• On met l’image dans une IA, on vérifie juste le lieu, puis on passe à autre chose
• On fait résumer une publication par l’IA et on l’utilise immédiatement
• On demande à l’IA « Qui exploite ce domaine ? » et on fait confiance à la réponse

Les conséquences de la perte de savoir-faire

• Perte de la réflexion contextuelle, du recoupement entre sources, de la vérification d’hypothèses et de la capacité d’exploration en profondeur
• L’IA pousse à l’illusion par des phrases convaincantes et une assurance apparente
• Des acteurs malveillants exploitent les faiblesses de l’IA en y injectant des données manipulées

Le nouveau rôle de l’analyste : surveiller l’IA

• La GenAI ne va pas disparaître ; le problème apparaît quand on la considère non comme une « aide », mais comme un « critère de jugement »
• L’analyste doit désormais tester l’IA, la vérifier et la mettre en doute
• Il ne faut plus être « celui qui trouve les réponses », mais « celui qui les démonte »

Évolution de l’état d’esprit de l’analyste

• Autrefois, il s’agissait simplement de poser des questions à l’IA et d’en recevoir les réponses ;
  désormais, il faut soumettre à un examen minutieux et vérifier les réponses produites par l’IA
• Autrefois, on se contentait de prendre tel quel ce que l’IA avait résumé ;
  désormais, il faut disséquer ce résumé en détail et analyser les informations manquantes ainsi que les interprétations qui y ont été introduites
• Autrefois, il était fréquent de reprendre ou de suivre directement les suggestions de l’IA ;
  désormais, il faut décomposer ces suggestions, comprendre pourquoi elles ont été formulées ainsi et les reconstruire
• Autrefois, on avait tendance à croire les réponses propres et catégoriques fournies par l’IA ;
  désormais, il faut remonter jusqu’à leur origine et aux sources sur lesquelles elles s’appuient, même si cela est sale et complexe
• Autrefois, on confiait à l’IA la rédaction d’un profil sur une personne ou un événement ;
  désormais, il est essentiel de vérifier soi-même si le récit contenu dans ce profil correspond au contexte réel
• Autrefois, si l’IA produisait un bon brouillon, on le soumettait tel quel ;
  désormais, il faut le démonter, en repérer les défauts, puis le réassembler pour en faire un véritable travail personnel

Comment raviver la pensée critique

Ajouter volontairement de la « friction »

• Des résultats trop rapides sont dangereux
• Même avec des informations fournies par l’IA, il faut exécuter exactement les mêmes procédures de vérification qu’auparavant

Tactiques :

• « Qu’aurais-je fait s’il n’y avait pas eu d’IA ? » → exécuter réellement ce travail
• Chercher volontairement des contre-exemples pour vérifier si la sortie de l’IA est correcte
• Demander à un autre modèle « propose une interprétation exactement inverse »

Restaurer l’habitude de vérifier les sources

• La GenAI ne cite pas les sources à la manière de l’OSINT
• Les noms, liens et citations fournis par le modèle doivent impérativement être retracés jusqu’à leur origine

Tactiques :

• Comparer côte à côte le résultat de l’IA et les sources réelles
• Même en consultant un résumé, toujours ouvrir le texte d’origine

Traiter l’IA comme un « partenaire de réflexion »

• L’IA n’est qu’un analyste junior, elle a besoin de supervision

Tactiques :

• Lui demander de contester mon hypothèse
• Lui fournir mes notes d’enquête et lui demander de signaler ce qui manque
• L’utiliser pour simuler différents points de vue

Comparer les modèles entre eux

• Comparer les sorties de ChatGPT, Claude, Gemini et Copilot
• Considérer les différences comme des signaux et en rechercher les causes

« Casser » volontairement le modèle

• Poser délibérément des questions contradictoires ou ambiguës
• Identifier les schémas d’erreur → les compenser par le jugement humain

Continuer à effectuer les « tâches difficiles »

• L’IA est un outil d’assistance ; le travail essentiel doit rester manuel

Tactiques :

• Tenter soi-même une géolocalisation avant d’utiliser l’IA
• Rédiger soi-même un résumé avant de regarder celui de l’IA
• Avant de faire créer un profil par l’IA, réaliser soi-même le profilage puis comparer

L’effondrement silencieux et comment y résister

• L’effondrement de la pensée critique n’arrive pas soudainement
• Plus les rapports deviennent rapides et propres, plus cela peut être le signe d’un danger
• Les informations qui ressemblent à des réponses définitives et l’habitude d’y croire sans vérification sont dangereuses

Mais tout cela peut être inversé

• Il n’est pas nécessaire d’exclure l’IA
• En revanche, il faut lui résister, la mettre en doute et la contredire
• Vous n’êtes pas un « utilisateur d’outils », vous êtes un « enquêteur »

✅ Checklist pour éviter le mauvais usage de l’IA en OSINT

• ✅ Ai-je retracé l’origine de la sortie de l’IA ?
• ✅ Ai-je consulté des sources non liées à l’IA avant d’accepter son résultat ?
• ✅ Ai-je testé une hypothèse opposée ou un autre modèle ?
• ✅ Ai-je effectué un recoupement avec au moins deux sources humaines ?
• ✅ Ai-je exécuté au moins une tâche manuellement ?
• ✅ Ai-je vérifié si la sortie de l’IA contient des hypothèses implicites ?
• ✅ Ai-je traité l’IA comme un partenaire de réflexion et non comme une source de vérité ?
• ✅ Ai-je volontairement ralenti le processus de vérification ?
• ✅ Me suis-je demandé « Qu’est-ce que je crois sans l’avoir vérifié ? »
• ✅ Ai-je indiqué aux lecteurs si l’IA a été utilisée dans nos productions OSINT ?

[GN⁺]

Avis sur Hacker News

• Les participants n’étaient pas paresseux. C’étaient des professionnels expérimentés

• Supposer qu’ils étaient d’excellents penseurs critiques avant l’arrivée de l’IA est exagéré
• D’après mon expérience, les personnes qui externalisent leur réflexion aux LLM sont aussi celles qui l’externalisaient déjà à des podcasts, des articles d’actualité, des publications Reddit, Twitter, TikTok, etc.
• Les LLM leur ont fourni des opinions qu’ils pouvaient répéter

• Le plus inquiétant est que beaucoup d’utilisateurs croient penser de manière critique grâce à la GenAI

• Ce n’est pas très différent du fait de se sentir expert après avoir regardé des vidéos TikTok
• Les gens qui externalisent leur réflexion et collectionnent les avis qu’ils veulent entendre peuvent désormais arriver plus facilement à la conclusion qu’ils souhaitent

• Le grand problème dans l’open source intelligence n’est pas l’analyse approfondie, mais le fait de trouver ce qui mérite d’être vu au milieu du déluge d’informations

• Du point de vue de la CIA, la communauté américaine du renseignement utilise un système d’IA générative appelé OSIRIS pour analyser les informations open source
• L’ancien directeur de la CIA a déclaré qu’il était principalement utilisé pour les résumés

• Au lieu de formuler des hypothèses, les utilisateurs demandent des idées à l’IA

• Au lieu de vérifier les sources, ils partent du principe que l’IA l’a déjà fait
• Au lieu d’évaluer plusieurs points de vue, ils compilent et éditent le résumé de l’IA, puis passent à autre chose
• Ce n’est pas un scénario hypothétique, c’est ce qui se passe réellement

• Je pense que les gestes physiques et les moments passés à écrire ou à analyser sont importants

• Importer une image floue dans un logiciel de retouche photo et utiliser les outils de manipulation est une partie essentielle de la résolution du problème
• Je suis en train de rédiger un diagramme de flux de processus pour une ligne de fabrication d’un nouveau produit
• Les idées et les questions semblent émerger dans ces petits espaces

• C’est peut-être l’une des façons dont l’IA peut atteindre une intelligence surhumaine : en rendant les humains plus stupides

• L’usage de la GenAI ressemble davantage à quelque chose de nuisible qu’à un outil utile
• Dans un scénario où l’on téléverse une photo et où l’on demande le lieu, l’IA propose un emplacement erroné

• J’ai l’impression que l’IA ralentit la vitesse d’apprentissage

• J’apprends Rust, et même si l’IA m’aide à démarrer, il me faut plus de temps pour atteindre une capacité de travail réelle
• J’ai l’impression que je devrais couper l’IA et me débrouiller seul

• Je travaille comme analyste depuis plus de 20 ans et j’utilise l’OSINT et l’IA

• La plupart des analystes ont une capacité de pensée critique
• Comme l’OSINT n’est pas toujours encadré par des procédures juridiques, beaucoup de gens peuvent devenir analystes OSINT
• Il existe une pression à céder aux suggestions de l’IA

• L’OSINT et l’analyse sont des compétences professionnelles avec une méthodologie

• L’OSINT avec l’IA permet de faire des choses auparavant impossibles
• Le manque de pensée critique peut venir de la réduction des effectifs ou des processus consacrés à la validation des données

• Si je voulais comprendre les bases de l’OSINT, j’irais sur la page d’accueil

• Mais une simple requête chatgpt donnerait une réponse plus rapidement

• Cette publication ne se limite pas à l’OSINT et peut s’appliquer largement partout où l’IA est adoptée comme nouvel outil