SlopGuard – une app GitHub qui note et isole les PR/issues « slop » générées par l’IA (sans les fermer automatiquement)

Il est devenu courant que les mainteneurs open source soient submergés par des PR et des issues de mauvaise qualité générées par l’IA. Au premier abord, pendant 30 secondes, cela peut sembler crédible, donc difficile de les ignorer, et le temps passé à les trier finit par se faire au détriment du reste. Mais les fermer brutalement sur la seule base de motifs récurrents risque aussi d’écarter de vrais premiers contributeurs.

SlopGuard est une app GitHub. Une fois installée en un clic (sans fichier Action YAML), elle attribue un score de 0 à 100 aux PR et issues entrantes, ajoute des tags décrivant les caractéristiques de leur origine, puis, si un seuil est dépassé, applique le label slop-quarantine et poste un commentaire expliquant pourquoi. Elle ne ferme jamais automatiquement. Les décisions comme lever la quarantaine ou rejeter restent entièrement entre les mains des mainteneurs, via les commentaires /slop approve et /slop reject.

L’offre gratuite (hébergée) fonctionne uniquement avec des heuristiques. Elle ne nécessite pas de clé LLM et, sur le jeu d’évaluation publié, affiche une précision de 100 % et un rappel de 92 % (avec la transparence de reconnaître que le jeu d’évaluation est petit ; la méthodologie est publiée dans le dépôt). L’offre payante ajoute un jugement par LLM pour traiter aussi les cas les plus subtils.

Le code source est publié (MIT + Commons Clause), ce qui permet de l’examiner directement et de l’auto-héberger pour ses propres usages.

Source : https://github.com/Blue-B/slopguard