- La bibliothèque open source cURL met fin à son programme de bug bounty afin d’endiguer la hausse des rapports de bugs absurdes générés par l’IA
- Le mainteneur Daniel Stenberg explique que la plupart des rapports produits par l’IA sont des « mensonges purs et simples », et que leur vérification prend beaucoup de temps
- cURL cessera de verser des récompenses à partir de fin janvier, après avoir déjà payé 101 020 dollars pour un total de 87 rapports
- Le chercheur en sécurité Joshua Rogers, qui a déjà soumis de vrais rapports valides à l’aide d’outils d’IA, estime que cette décision est une « mesure très judicieuse »
- Selon lui, la véritable motivation n’est pas l’argent mais la réputation et l’accomplissement technique, et d’autres projets devraient envisager des mesures similaires
Décision de cURL de mettre fin au bug bounty
- La bibliothèque de code open source cURL cesse d’offrir des récompenses financières pour les rapports de bugs
- L’objectif est de freiner l’explosion des faux rapports générés par l’IA (AI slop)
- Le mainteneur Daniel Stenberg déclare que « l’AI slop et les rapports inexacts continuent d’augmenter, et si nous n’arrêtons pas cette inondation, nous finirons par couler »
- cURL met fin au versement des bounties à la fin du mois de janvier
- Il explique que « trop de temps est perdu à cause de découvertes qui n’existent pas réellement, qui sont exagérées ou mal comprises »
Problèmes et impact des rapports générés par l’IA
- cURL a récemment vu sa charge de travail fortement augmenter à cause de rapports de bugs générés automatiquement par l’IA
- La plupart de ces rapports se révèlent dénués de sens ou erronés
- Le processus permettant d’identifier ces rapports est chronophage et représente une lourde charge pour les mainteneurs
- Stenberg avait déjà abordé publiquement ce problème en 2025 dans un texte intitulé « Death by a thousand slops »
Quelques cas positifs de rapports assistés par l’IA
- Tous les rapports générés par l’IA ne sont pas sans valeur
- Stenberg indique que plus de 100 rapports assistés par l’IA ont effectivement conduit à des corrections dans le code
- À ce jour, cURL a versé 101 020 dollars de bounty pour un total de 87 rapports de bugs
- Sans ce bounty, certains rapports n’auraient peut-être pas été découverts (pas d’analyse supplémentaire)
La position du chercheur en sécurité Joshua Rogers
- Joshua Rogers est un chercheur qui a soumis à plusieurs projets open source de nombreux rapports de bugs valides en s’appuyant sur des outils d’IA
- Il examinait les résultats d’analyse de l’IA, les complétait lui-même, puis les soumettait
- À propos de la décision de cURL, Rogers estime qu’il s’agit d’une « excellente mesure qui aurait dû être appliquée depuis longtemps »
- Il ajoute qu’« il est plutôt étrange que ce système ait duré aussi longtemps »
- Il affirme que « même si la disparition du bug bounty réduira certaines motivations, les rapports importants continueront d’être soumis »
Déséquilibre entre récompense et motivation
- Rogers souligne que la réputation (fame) est la véritable motivation, et que la récompense financière est secondaire
- La prime maximale de cURL est de 10 000 dollars, ce qui n’est pas une somme considérable pour des experts capables de trouver des vulnérabilités graves
- Il pointe toutefois aussi un déséquilibre économique
- À récompense égale, cela peut avoir une grande importance pour des chercheurs vivant dans des régions à faibles revenus
- Il explique qu’« une récompense qui paie à peine un déjeuner en Suède peut représenter une somme énorme dans certaines régions »
Un défi commun à l’écosystème open source
- Selon l’article, d’autres projets open source souffrent eux aussi d’un afflux massif de rapports générés par l’IA
- La décision de cURL pourrait ouvrir un nouveau débat sur le contrôle qualité et la gestion des communautés à l’ère de l’IA (pas d’explication supplémentaire)
2 commentaires
L’industrialisation de la génération d’exploits de piratage basée sur les LLM approche
Avec ça en parallèle, on dirait que le moment approche où il va falloir appliquer des LLM dans de nombreux domaines.
Ne serait-ce que pour bloquer les hackers qui utilisent des LLM, il va aussi falloir confier aux LLM la vérification de la sécurité
Réactions sur Hacker News
On pourrait peut-être stopper rapidement ce genre de problème en instaurant des frais de participation remboursés si le bug s’avère réellement important
Je me souviens avoir signalé une vulnérabilité sur un système de connexion bancaire où l’on pouvait remplacer mot de passe + PIN par le seul PIN, et le ticket avait été fermé comme « comportement prévu »
J’en ai retenu que les organisations très réglementées, comme les hôpitaux ou les banques, se concentrent davantage sur le respect de la conformité que sur la sécurité réelle
Si les organisateurs d’un bug bounty agissent de bonne foi, ce type de barrière à l’entrée ou de pénalité pourrait aider à filtrer les soumissions malveillantes
Les reviewers comprennent souvent mal les rapports, ou bien les règles sont floues
Faire payer des frais de participation augmenterait encore ce risque
À l’époque où j’étais côté organisation, il y avait déjà énormément de rapports médiocres, et avec l’IA ça doit être encore pire aujourd’hui
Même du point de vue du soumissionnaire, il est difficile d’obtenir la garantie d’une évaluation équitable, et il y a en plus un fort risque de doublon
À une époque, une banque de l’UE n’autorisait que la connexion par signature électronique compatible SHA-1, alors que cet algorithme était déjà abandonné depuis dix ans
Le logiciel de fournisseur d’identité certifié par l’État plantait simplement dès qu’une YubiKey était branchée
C’était un appareil pourtant conforme au standard, mais les développeurs avaient fait des hypothèses hors standard
J’ai signalé le bug, mais on m’a seulement répondu : « Ce n’est pas notre problème »
Mais s’il faut payer pour faire un signalement, sans certitude de remboursement ni de récompense, vendre l’information ailleurs peut sembler plus attractif
Daniel, de cURL, a déjà étudié cette idée plusieurs fois, mais a fini par juger qu’elle n’était pas praticable
Des appareils certifiés mais peu sûrs ont accès à toutes les fonctions d’une app, tandis que GrapheneOS, pourtant l’OS le plus sûr, voit ses fonctionnalités limitées au motif qu’il « n’est pas certifié »
Au final, le problème n’est pas la sécurité, mais le système de certification lui-même
On dirait que l’open source est ce qui souffre le plus de l’IA
Du code open source a servi à entraîner les modèles, et maintenant ces modèles recouvrent les projets open source de spam
En plus, l’IA implémente des fonctionnalités payantes, sape le modèle économique de l’open source et pourrait finir par remplacer le code open source lui-même
Elle détruit l’envie de contribuer, de maintenir, d’apprendre, de collaborer et de bâtir un business
Elle fait même vaciller la forme d’emploi traditionnelle fondée sur le travail sur du code propriétaire
Au final, on se retrouve avec trois entreprises américaines qui se disputent le droit de revendre nos travaux passés sous forme d’abonnement
Ce genre de contribution de façade existait déjà avant, mais l’ampleur n’a plus rien à voir
Avant, les étudiants devaient eux-mêmes trouver un projet et contribuer, ce qui faisait naturellement office de filtre ; si l’IA le fait à leur place, ce filtre disparaît
Quand le monde devient plus concurrentiel, voir s’effondrer un modèle fondé sur l’open core n’a rien d’anormal
Ils ont aussi utilisé des manuels, des cours, de la documentation officielle, etc.
J’avais demandé à Claude d’ajouter des fonctions GUI pour récupérer des données sur un ancien appareil Android, et ça a plutôt bien marché
Le code s’éloignait toutefois de la direction du projet d’origine, donc je ne l’ai pas remis sur GitHub
Pour un hacker white hat, les récompenses des bug bounties ne sont pas énormes, mais y participer a une dimension de choix moral
En revanche, s’il s’agit d’une vulnérabilité exploitable, on pourrait aussi la vendre à des créateurs de malware qui paient davantage
Comme aucune confiance n’existe entre les parties, il faut passer par des procédures complexes : escrow en cryptomonnaie, blanchiment, etc.
Et effectuer ce genre de transaction sans aval gouvernemental comporte aussi des risques juridiques
Au final, il est difficile d’imaginer un tel marché fonctionner réellement
Hackerone dispose d’un système de réputation pour les hackers
Je me demande pourquoi ils ne se limitent pas à des programmes privés réservés aux hackers vérifiés
La barrière à l’entrée de l’écosystème risquerait alors de devenir beaucoup trop élevée
Au-delà de la récompense financière, il y a aussi des motivations comme la notoriété ou l’obtention d’un CVE
Stenberg a évoqué plusieurs fois sur son blog des cas de vulnérabilités surévaluées, et certains semblaient relever d’une exagération délibérée à des fins de réputation
Ce genre de motivation est difficile à traiter par la conception des incitations
Il existe une vidéo qui montre bien le contexte de ce problème → lien YouTube
Le gros micro, les gestes surjoués, les expressions hyperboliques comme « awesome » ou « insane » qui dominent toute la conversation, tout ça me paraît épuisant
Dire qu’« une récompense équivalente à un déjeuner en Suède représente beaucoup pour quelqu’un d’un pays à bas revenu » ressemble à une affirmation exagérée
Un déjeuner dans le centre de Stockholm coûte autour de 200 couronnes, et quelqu’un ayant ce niveau de compétence n’y verrait probablement pas une grosse somme
Même si c’est exagéré, l’écart reste loin d’être négligeable
Le bug bounty de notre entreprise se résume en pratique à une simple adresse e-mail sécurité, et on reçoit plus de 100 spams par jour
La plupart sont de faux rapports de pentest générés par l’IA, remplis de vulnérabilités inventées et d’informations erronées
Un commercial a même essayé d’obtenir une réunion de trois heures, alors que son rapport mentionnait un bug IIS inexistant et des adresses IP impossibles
Là, j’étais vraiment sans voix
Avant, trouver des bugs était lent et difficile, donc il fallait des incitations ; aujourd’hui, le plus dur est devenu d’identifier les vrais bugs parmi le reste
Il existe même une blague sur les chasseurs de bugs IA : « ils en trouvent 3 vrais sur 100 »
Les vulnérabilités dans une codebase comme cURL ou les exploits binaires, l’IA n’y arrive pas encore
La liste des rapports poubelle générés par l’IA reçus par cURL est publique → lien gist
C’était en décembre 2023, il devait déjà être à bout
Cela dit, les LLM paraissent plus convaincants
Le simple fait de voir Bard mentionné comme LLM m’a semblé étrange rétrospectivement
C’est impressionnant que cURL ait supporté ça et continué à répondre aussi longtemps