Curl : nous n’avons encore vu aucun rapport de sécurité valide rédigé avec l’aide de l’IA

• Le projet curl a introduit une politique de blocage immédiat des rapporteurs utilisant l’IA en raison des abus de signalements de sécurité basés sur l’IA
• Désormais, tous les auteurs de signalements de sécurité doivent répondre clairement à la question « Avez-vous utilisé l’IA ? », et des questions de vérification supplémentaires leur seront posées en cas d’utilisation de l’IA
• L’équipe du projet souligne que les signalements rédigés par l’IA relèvent pour la plupart de l’« AI slop » sans valeur, et qu’il n’y a pas eu un seul cas de signalement réellement valide
• Elle estime que les signalements abusifs via HackerOne utilisant l’IA ont dépassé les limites, au point d’être considérés comme une perturbation du niveau d’une attaque DDoS
• L’exemple à l’origine du problème est https://hackerone.com/reports/3125832, et ce rapport a servi de déclencheur au changement de politique de réponse

[sagee]

Je pense à peu près la même chose.

[imnotarobot]

Êtes-vous un robot ?

[GN⁺]

Commentaires sur Hacker News

• Je traite les signalements d’un programme de bug bounty à un million de dollars

  • Le spam par IA est grave
  • Je n’ai jamais reçu de signalement valide via un LLM
  • Les gens recopient dans un LLM la raison pour laquelle leur signalement de bug n’est pas valide, et obtiennent un résultat encore plus confus
  • Cela ne mérite pas de réponse autre que « fermé comme spam »
  • Je crois qu’un excellent outil de sécurité du code finira par voir le jour, mais le problème, c’est que les gens pensent que ce jour est déjà arrivé
  • Je m’inquiète des personnes incapables de distinguer le vrai des déchets

• Pour ceux qui ne veulent pas cliquer sur le lien, <a href="https://hackerone.com/reports/3125832" rel="nofollow">https://hackerone.com/reports/3125832</a>; est le dernier exemple en date d’un faux signalement concernant curl

• Si l’on voulait introduire des vulnérabilités dans de grands projets open source, une méthode facile serait d’utiliser l’IA pour DDOS leurs signalements de vulnérabilités afin de rendre les vrais signalements difficiles à trouver

  • Les faux signalements ne donnent pas l’impression d’avoir été rédigés par une vraie personne
  • Je me demande pourquoi faire cela, à moins que ce soit pour obtenir de la reconnaissance

• Le commit qui a fait déborder le vase explique bien le problème : <a href="https://hackerone.com/reports/3125832" rel="nofollow">https://hackerone.com/reports/3125832</a>;

  • Ce doit être vraiment exaspérant de devoir fouiller ce genre de choses
  • Je me demande si un système de réputation pourrait fonctionner ici
  • Je propose un système qui attribue une réputation aux personnes dont l’identité a été vérifiée auprès d’un prestataire AML/KYC, puis augmente cette réputation à chaque fois qu’elles découvrent une vulnérabilité correcte
  • L’IA est en train de changer l’économie de ce domaine

• Même sans cliquer sur le signalement, on peut savoir qu’il sera entièrement halluciné

  • Le fichier de patch d’origine et le segfault sont tous deux erronés
  • On dirait qu’ils envoient au hasard des résultats générés par IA sans même vérifier

• evilginx a augmenté la sévérité

  • L’auteur du signalement précise qu’il cherche à être embauché
  • Je me demande s’il cherche des gens pour spammer des projets avec des contenus générés par IA en utilisant ChatGPT

• La plupart des LLM, quand on leur demande de trouver des vulnérabilités de sécurité dans du code, inventent des choses de toutes pièces

  • À cause de code incorrect, on reçoit des « corrections » sans aucun sens
  • Le principal problème est le décalage entre la demande des utilisateurs et l’efficacité réelle du système

• Ce qui est décevant dans les interactions avec les gros utilisateurs d’IA, c’est qu’ils commencent souvent leurs phrases par « J’ai demandé à ChatGPT et… »

  • S’ils ont compris ce que le chatbot leur a appris, alors qu’ils l’expliquent ; et s’ils ne l’ont pas compris ou n’y font pas confiance, alors qu’ils n’en parlent pas

• La solution est simple

  • Avant de soumettre un signalement de sécurité, le déclarant dépose 10 $ en séquestre, et si la soumission est un déchet généré par IA, cette somme est versée à l’examinateur

• À l’inverse, nous avons des CVE, et la différence est que le cofondateur était un chercheur agressif sur le kernel

  • Le système est bien mieux réglé que la personne moyenne
  • Le volume de faux signalements reçus par curl est énorme
  • Les outils fonctionnent réellement, mais comme beaucoup de gens veulent gagner de l’argent rapidement, il faut filtrer le bruit