repo-slopscore : détection des contributions IA/LLM dans les dépôts Git par analyse de l’historique des commits

 (slopscan.ava.pet)
1 points par GN⁺ 3 시간 전 | 1 commentaires | Partager sur WhatsApp
  • repo-slopscore est présenté comme un outil qui détecte les contributions d’IA/LLM en analysant l’historique des commits d’un dépôt Git
  • Le service propose une page d’accueil, une fonction de scan de dépôts et un lien vers le code source, publié sur codeberg.org/polyphony/repo-slopscore
  • Le nombre total de dépôts scannés est affiché à 3058, et la liste des scans récents montre l’URL du dépôt avec l’heure d’analyse en UTC
  • Les cibles du scan ne se limitent pas à GitHub et incluent plusieurs formes d’hébergement Git comme Codeberg, Bitbucket, SourceHut, git.kernel.org et chromium.googlesource.com
  • Certains dépôts apparaissent en doublon à cause de différences comme la présence d’un slash final ou du suffixe .git, ce qui impose de tenir compte des écarts de normalisation d’URL lors de l’interprétation de la liste

Points clés

  • repo-slopscore est présenté comme un service qui détecte les contributions IA/LLM dans les dépôts Git à partir de l’analyse de l’historique des commits
  • La page publique propose une fonction de scan de dépôt, une liste des dépôts scannés récemment et un lien vers le code source
  • Le nombre total de dépôts scannés est affiché à 3058
  • La liste des scans récents inclut notamment helix-editor/helix, Agoric/Agoric-sdk, FiloSottile/age, github/copilot-cli, fish-shell/fish-shell, tmux/tmux et httpie/cli
  • Chaque lien de résultat de scan est construit sous la forme de slopscan.ava.pet/repo/ suivie de l’adresse du dépôt d’origine encodée dans l’URL

Contexte important

  • Les cibles du scan ne sont pas limitées à GitHub et couvrent plusieurs domaines d’hébergement, dont Codeberg, Bitbucket, SourceHut, git.kernel.org, chromium.googlesource.com, gcc.gnu.org, gerrit.wikimedia.org et git.ffmpeg.org
  • La liste comprend des projets open source connus comme OpenRGB, coreboot, gentoo/gentoo, guix/guix, wlroots, forgejo, ziglang/zig, FFmpeg, FreeCAD, WebKit et NixOS/nixpkgs
  • Des dépôts liés à la sécurité, aux systèmes et à l’infrastructure y figurent aussi, comme Mbed-TLS/mbedtls, OpenVPN/openvpn, WireGuard/wireguard-windows, Yubico/yubikey-manager, NationalSecurityAgency/ghidra et ReFirmLabs/binwalk
  • On y trouve également des dépôts dont le nom évoque l’IA ou le slop, notamment anthropics/claude-code, anthropics/claudes-c-compiler, codeberg.org/brib/slopfree-software-index et codeberg.org/jruz/slop-detector
  • Les horodatages d’analyse s’étendent du début mai 2026 jusqu’à la tranche 00 h UTC du 14 juin 2026, et la liste des scans récents affiche des entrées allant du 13 juin 2026 23:22:37 +0000 au 14 juin 2026 00:36:00 +0000
  • Des cas montrent qu’un même projet apparaît comme des entrées distinctes selon la forme de l’URL, par exemple aur.archlinux.org/yay et aur.archlinux.org/yay.git, ou TeamNewPipe/NewPipe et TeamNewPipe/NewPipe/

À lire aussi

1 commentaires

 
GN⁺ 3 시간 전
Avis sur Lobste.rs

  • Je ne veux pas parler négativement de ce que quelqu’un d’autre a créé, mais ce projet donne l’impression que la négativité est son objectif
    On dirait un outil qui automatise le mépris envers des projets logiciels créés avec des outils ou des méthodes qu’on n’approuve pas, ou qui acceptent ce type de contributions
    La notation n’est pas non plus utile. nixpkgs obtient un score de 0 (F) parce qu’il y aurait 228 « signaux de commit » suggérant l’usage d’IA, mais le dépôt nixpkgs compte actuellement 1 016 046 commits. Autrement dit, 0,022 % du total suffit à faire tomber le score à 0
    Si Bevy obtient un score de 97 (A+) au lieu de 100, c’est uniquement à cause d’une single pull request portant la mention « co-authored by Claude ». Cela ne reflète ni la qualité de la PR, ni le fait que les mainteneurs aient pu ne pas voir la mention « co-authored by » au moment du merge, ni que Bevy dispose d’une politique raisonnable sur les contributions IA
    Le point essentiel, c’est que cet outil jette le contexte et la nuance. Quand il y a des inquiétudes, il dispense d’aller examiner soi-même le projet, de comprendre ce qu’en pensent les mainteneurs, ainsi que les raisons et les sentiments des personnes qui construisent le projet. On colle juste une URL, et un score sort
    Avec les connotations du mot « slop » et la sévérité de la notation, l’intention paraît délibérément négative, et c’est aussi déshumanisant, car cela écrase dans un score unique le jugement humain et les éléments humains investis dans la production logicielle, y compris quand il y a eu une assistance IA. Pour un projet qui semble très intéressé par le logiciel produit par d’autres et par leur manière de travailler, cet outil et son processus de création donnent l’impression de manquer d’égards et de réflexion

    • J’ai peur que cette histoire pousse des gens à s’en prendre à moi. L’année a déjà été difficile
    • Les signaux semblent reposer sur des critères assez fragiles. J’ai essayé avec un dépôt dont le code est à 50:50 entre génération LLM et écriture humaine, mais comme il n’y avait pas de commits co-signés, seul agents.md a été retenu comme indice, et le score est monté à 95
      Je m’attendais à une méthode plus proche d’un pangramme, qui repère des traces de LLM dans le code lui-même
    • Le but de ce projet est de rendre les données transparentes. La donnée, c’est donc : « voit-on des traces d’usage de LLM dans l’historique des commits ou l’arborescence des sources ? »
      Aucun outil n’est parfait, mais celui-ci facilite la découverte de cette information. La manière de l’utiliser revient ensuite à l’utilisateur. Je suis d’accord pour dire que le terme « slop » pose problème, mais je ne suis pas d’accord avec le reste des critiques
    • Je trouve très triste qu’une grande partie de la communauté open source soit devenue récemment ce contre quoi elle luttait autrefois
      Avec ce type d’outil, on balaie tout d’un revers de main en appelant tout « slop » ou « vibe coding », puis on harcèle les propriétaires des projets. C’est assez surprenant de voir une agressivité anti-IA venir de gens que je pensais attachés à l’empathie, à la compréhension et à l’ouverture d’esprit
    • Le fait de froisser quelques vibe coders, c’est rien comparé aux dégâts humains causés par l’industrie de l’IA
      Cela dit, ils seront sûrement très contrariés si les LLM scrapent cette codebase :(

  • Y a-t-il un moyen de se retirer pour que mon projet n’apparaisse pas dans cette liste ? Je crains le harcèlement, et j’aimerais supprimer cette possibilité avant que cela n’arrive réellement

  • Dire « autopromotion, car je suis l’auteur de cet outil » tient moins du disclaimer que de la divulgation
    Et comme la case « I am the author » cochée est visible, c’est affiché comme « authored by ava » et non « via ava ». Il ne semble pas nécessaire de le répéter dans le corps du message

    • C’est arrivé à cause de la barrière de la langue. Je suis encore assez nouveau dans cette communauté, donc j’ai pensé qu’il valait mieux être prudent. Merci de me l’avoir signalé, je m’en souviendrai

  • L’entrée curl est drôle, et semble presque être un jugement parfaitement erroné

    • Oui. Le fond du problème, c’est un mécanisme très simple. Cela dit, le fait que les signaux signalés soient réellement affichés est utile
      On n’est pas obligé de prendre le résultat de l’outil pour argent comptant : on peut voir soi-même « ah, ça c’est un faux positif ». Même pour des projets qui ont utilisé l’IA autrefois mais plus maintenant, l’information « oui, c’est vrai, mais ce commit date d’il y a 2 ans » apporte un élément de jugement supplémentaire

  • Voir LibAFL dans cette liste me rend très triste. Non pas parce que c’est faux, mais parce que je n’ai pas réussi à convaincre les co-mainteneurs de ne pas mettre de slop dans la codebase
    C’est une grande partie de la raison pour laquelle j’ai moins envie d’essayer d’y remédier

  • Il manque un tag vibe coding

    • Pour rester cohérent avec les autres posts sur le vibe coding, il faut un tag vibe coding

  • Je m’inquiète qu’à force d’éviter d’identifier facilement les projets, on finisse par ne plus révéler l’usage d’outils LLM, ce qui rendrait la détection bien plus difficile
    Pour empêcher l’adoption, une page qui explique clairement, références à l’appui, pourquoi il ne faut pas utiliser d’outils LLM serait peut-être plus efficace que la mise au pilori. Beaucoup de mainteneurs ont probablement été davantage exposés à des contenus pro-IA, ce qui a façonné leur point de vue dans cette direction, sans qu’ils aient forcément la vue d’ensemble

  • Un post publié récemment, plus ou moins lié : https://lobste.rs/s/avubpi/can_we_measure_software_slop_experiment
    Il existe aussi un site similaire : https://slop-o-meter.dev/. Ce que j’aime particulièrement dans cette implémentation, au-delà de son design amusant et joueur, c’est qu’on peut ajuster comme on veut les paramètres de l’algorithme de notation. C’est raisonnable, car les mêmes critères ne s’appliquent pas exactement de la même manière à tous les dépôts. Ironiquement, l’implémentation elle-même est aussi du slop :/