AI-SLOP Detector — outil d’analyse et de détection du « code mensonger et surjoué » généré par l’IA

(github.com/flamehaven01)

2 points par flamehaven01 2026-01-09 | Aucun commentaire pour le moment. | Partager sur WhatsApp

Cet outil est né d’un échec personnel.

Il y a quelques jours, j’ai publié avec assurance
un dépôt au nom pompeux de
« HRPO-X v1.0.1 – implémentation d’un framework hybride d’optimisation de l’inférence ».
Je pensais qu’il s’agissait d’un projet mettant en œuvre une architecture fondée sur des articles récents.

Mais la première réaction postée juste après la publication a réduit mes attentes en miettes.

« Je suis allé voir au cas où, et comme prévu.
Un dépôt d’AI Slop fabriqué à partir d’un amas d’hallucinations. »

Au début, j’ai cru à un simple commentaire malveillant.
Mais en rouvrant le code et en l’examinant ligne par ligne,
je me suis rendu compte que cette critique était douloureusement juste.

Le problème, ce n’est pas l’« intention », mais la « densité »

Ce projet n’était pas une simple démo,
mais un résultat de recherche sur le processus de transposition d’un article en architecture de production.

conception d’architecture présente
arborescence des dossiers organisée
fichier de configuration (Config) présent
définitions de classes et interfaces complètes
l’algorithme d’audit interne passait lui aussi correctement

En apparence, tout était parfait.
Même les linters existants et les vérifications d’intégrité structurelle passaient sans problème.

Mais en creusant la cause,
j’ai découvert un problème fatal.

« L’intégrité structurelle (Structural Integrity) était parfaite,
mais la densité de contenu (Content Density) tendait vers 0. »

Autrement dit,

l’enveloppe (Shell) semblait crédible
mais la logique d’implémentation réelle était vide ou réduite à pass
et le tout n’était rempli que de commentaires excessivement enjolivés

J’ai dû reconnaître qu’il s’agissait
du schéma typique de déchets de code généré par l’IA,
autrement dit de l’« AI Slop ».

L’outil créé pour cela : AI-SLOP Detector

C’est pour cette raison que j’ai créé AI-SLOP Detector.

L’objectif est simple.

non pas mesurer à quel point le code fonctionne bien
mais observer l’écart entre le code et son explication
de façon statique

Pour cela, l’outil utilise les indicateurs suivants.

Ce qui est détecté

Le README définit globalement trois grands types de motifs d’AI Slop.

1. Empty Function Slop (fonctions creuses)

des fonctions dont la description est complexe
mais dont l’implémentation réelle est au niveau de pass

2. Buzzword Inflation (inflation des termes)

des cas où, indépendamment de la complexité du code,
des termes comme neural, transformer, quantum, enterprise
sont utilisés de manière excessive

3. Overhyped Comments (commentaires survendus)

des commentaires qui répètent des expressions comme
« innovant » ou « state-of-the-art » pour une logique pourtant simple

Méthode d’analyse (résumé)

AI-SLOP Detector s’appuie sur l’AST Python
et calcule plusieurs indicateurs en parallèle afin de produire un Deficit Score (0–100).

Indicateurs clés

LDR (Logic Density Ratio)

proportion de logique réelle dans l’ensemble du code
seuil : moins de 45 % = niveau CRITICAL(F)

Inflation Score

densité des buzzwords dans la documentation et les commentaires par rapport à la complexité du code
seuil : 2,0× ou plus = CRITICAL

DDC (Dependency Density Check)

imports non utilisés
proportion de dépendances sans signification

Pattern Registry

empty function
except nu
abus de TODO / FIXME
détection de nombreux motifs caractéristiques du code généré par l’IA

Ces valeurs sont combinées pour classer le résultat dans les états suivants.

CLEAN
SUSPICIOUS
INFLATED
CRITICAL

État du projet

Python 3.8+
CLI et API Python disponibles
34 tests réussis
dernière version : v2.5.0 (2026-01-09)

À qui s’adresse cet outil ?

les personnes qui utilisent des outils no-code / low-code
les développeurs chargés de relire du code généré par l’IA
celles et ceux qui tombent souvent sur des « dépôts qui ont l’air plausibles, mais laissent un malaise »

L’objectif est de leur fournir
des signaux permettant d’expliquer “pourquoi ce code paraît étrange”.

Pour finir

Le HRPO-X v1.0.1 mentionné plus haut a été entièrement refactoré,
et a depuis été réorganisé de manière réaliste en version pédagogique.

J’espère que ce texte et cet outil
pourront être d’une petite aide
pour celles et ceux qui se posent des questions similaires.

Bon courage à tous les développeurs !