Pipeline de vérification qui a détecté 55 bugs dans une app iOS en une journée avec 180 agents IA

Voici le retour d’expérience d’un pipeline conçu pour auditer avec des agents LLM une app iOS de réseau social (environ 130 000 lignes de code) exploitée en 21 langues, exécuté pendant une journée.

• Les rôles de chercheur de bugs et de vérificateur ont été séparés, et le critère de décision n’a pas été fixé à la majorité mais à « l’échec de la réfutation », ce qui a permis d’obtenir 0 faux positif
• Les rapports de découverte ont été reçus via une sortie contrainte par schéma JSON, afin de bloquer structurellement les rapports hallucinés
• La liste des bugs déjà connus a été injectée dans le prompt pour éviter les découvertes répétées, et une condition d’arrêt répétant les cycles jusqu’à atteindre 0 nouvelle découverte a été utilisée
• Résultat : 6 cycles, environ 180 agents, 55 bugs confirmés corrigés, et 3 corrections partielles détectées à l’étape de vérification

L’article détaille aussi les choix de conception — comme les axes utilisés pour le fan-out, ou pourquoi le code corrigé a été soumis à une nouvelle réfutation — ainsi que ce que l’audit statique ne permet pas de voir (ses limites).