- Keynote de Perri Adams, conseillère technique en IA et cybersécurité à la DARPA (Defense Advanced Research Projects Agency), lors de la conférence OffensiveCon
- L’IA est de plus en plus appliquée au développement d’exploits et à l’automatisation des vulnérabilités
- Analyse d’un cas réel de vulnérabilité double free pre-auth dans OpenSSH pour explorer comment l’IA peut être utilisée dans le développement d’exploits
- Les IA basées sur les grands modèles de langage (LLM) aident sur certaines sous-tâches (par ex. comprendre le heap grooming), mais restent insuffisantes pour générer automatiquement un exploit complet
- La combinaison de systèmes experts (par ex. moteurs symboliques) et d’IA apporte des avancées concrètes
- L’IA ne remplacera probablement pas les humains à court terme, mais son rôle d’outil d’assistance devrait s’élargir et contribuer à l’automatisation de certaines parties
Introduction
- Discours d’ouverture de la conférence OffensiveCon : l’avenir de l’IA et du développement d’exploits
- L’intervenante, Mme Perri Adams, est conseillère spéciale du directeur de la DARPA pour l’IA et les technologies de cybersécurité
- Ancienne membre de l’équipe organisatrice du DEF CON CTF et participante à des compétitions de hacking
- Présentation du contexte dans lequel les débats autour de l’« automatisation » et de « l’usage de l’IA » sont très actifs dans le domaine de la sécurité
- Développement du propos à partir de son expérience à la DARPA, dans diverses industries, et de sa participation aux CTF (Capture the Flag)
Cas réel : la vulnérabilité double free pre-auth d’OpenSSH et l’IA
- En février 2023, Qualys a signalé sur OSS-SEC ML une vulnérabilité double free dans l’environnement pre-auth d’OpenSSH
- Il s’agit d’une vulnérabilité complexe, qui ne se déclenche que dans certaines configurations et sous certaines conditions
- Cette vulnérabilité est particulièrement difficile à exploiter en raison de la complexité du code C, de la séparation des processus, de nombreux appels de fonctions et de problèmes de backward compatibility
- Analyse de plusieurs terrains d’expérimentation : structure du heap (le tcache de Glibc, l’unsorted bin, etc.), paquets avant authentification (manipulation de listes personnalisées), OpenSSL, pointeurs de fonction, etc.
- En pratique, l’étude explore la possibilité de manipuler le heap (grooming) pour provoquer un use-after-free et, en théorie, d’écraser un pointeur de fonction
Application concrète des outils d’IA
- Tentative d’analyse de cette vulnérabilité à l’aide d’IA de la famille des LLM comme ChatGPT (3.5, 4.0) et Claude
- Des performances utiles ont été observées sur certaines sous-tâches, comme l’organisation et le résumé de la structure fondamentale de la vulnérabilité et du processus d’allocation du heap
- En revanche, des limites apparaissent pour la génération automatique d’un code d’exploit complet, les manipulations complexes du heap ou l’interprétation des flux internes d’OpenSSL
- Certaines IA proposent avec assurance des PoC (Proof of Concept) irréalistes ou inexacts, ou refusent de générer du code pour des raisons éthiques
- En revanche, elles apportent une aide défensive concrète pour proposer des correctifs/modifications de code ou résumer les zones à risque
Combiner IA et systèmes experts (frameworks symboliques)
- Par rapport à une IA reposant uniquement sur un LLM, une architecture combinée avec des systèmes experts comme le Lean proof engine obtient de meilleurs résultats sur des problèmes tels que les olympiades de mathématiques
- Sur des problèmes bien formalisés comme ceux de l’IMO, les systèmes IA-symboliques peuvent assurer les rôles de récompense et de vérification, ce qui améliore les performances
- L’automatisation des exploits progresse elle aussi grâce à la combinaison de l’IA avec des outils d’analyse comme CodeQL, IDA et Binary Ninja
Recherche sur l’automatisation des exploits et réalité du terrain
- Depuis des compétitions comme le DARPA Cyber Grand Challenge sur la génération automatique d’exploits, la recherche a réalisé des progrès significatifs dans des environnements de complexité réduite
- Les principaux travaux décomposent le problème et proposent des templates d’exploit ainsi que des techniques d’automatisation par cible ou par type de vulnérabilité
- Plus que des outils généralistes, ce sont des combinaisons de sous-algorithmes spécialisés par type de vulnérabilité ou par cible qui se rapprochent des résultats concrets
- Les LLM gardent encore largement un rôle de « collaborateur enthousiaste » : ils contribuent davantage en assistance qu’en remplacement direct du travail des experts
Conclusion et perspectives
- L’idée que l’IA va bientôt automatiser complètement l’ensemble du développement d’exploits est souvent exagérée
- L’approche la plus efficace consiste à combiner le développement manuel d’exploits avec l’usage de l’IA comme assistance sur des sous-tâches (par ex. organisation de l’information, modification du code, tests répétitifs)
- Les progrès de l’automatisation suivent encore en partie la créativité humaine : il reste difficile pour l’IA de s’adapter pleinement à toute la complexité et la variabilité des vulnérabilités réelles
- À l’avenir, les principaux axes de croissance devraient être la semi-automatisation fondée sur la combinaison entre couches d’abstraction/systèmes experts et IA, ainsi que l’automatisation ciblée sur certains types de vulnérabilités
- Des cas d’usage concrets et une valeur pratique devraient rapidement augmenter dans les domaines de la rétro-ingénierie, de la sécurité applicative et du pentest
Aucun commentaire pour le moment.