Il y a peu, un sujet a beaucoup fait parler de lui sur Hacker News.
C’était un billet de blog expliquant que détecter les textes « AI slop » avec du ML classique s’avère plus efficace qu’on ne le pense.
https://news.ycombinator.com/item?id=48936880
https://blog.lyc8503.net/en/post/llm-classifier/
C’est une approche qui avait déjà été largement discutée, mais le fait qu’elle reste valable et efficace m’a semblé intéressant, alors j’en ai aussi créé une version pour le coréen.
- Le texte est découpé phrase par phrase, noté avec un ensemble TF-IDF en n-grammes de caractères/mots + SVM linéaire, puis l’ensemble du document est classé selon la proportion de phrases suspectes.
- L’inférence se fait entièrement en JavaScript : cela fonctionne comme une simple page statique, sans serveur, API ni GPU. Le modèle fait environ 1,4 Mo, et le texte collé n’est envoyé nulle part.
Bien sûr, les limites sont nettes. Comme il s’appuie sur du ML classique, notamment des SVM, il détecte assez clairement certains textes au style très typé IA, mais peut donner des résultats ambigus pour des textes plus difficiles à trancher ou académiques.
Même si le résultat indique qu’un texte est de l’IA, ce n’est pas forcément le cas à coup sûr, mais cela peut être utile pour vérifier des textes susceptibles d’avoir été générés par IA.
1 commentaires
Je l’ai comparé avec des textes que j’avais écrits : ceux que j’ai rédigés moi-même sont à 0 %, ceux générés par IA puis légèrement modifiés à 51 %, et ceux écrits uniquement par IA à 100 %. Il les distingue donc mieux que je ne l’aurais pensé hehe
Ce n’est qu’une idée, mais sous forme d’extension Chrome, si elle identifiait le contenu selon des critères comme ceux de https://github.com/mozilla/readability et affichait le résultat de détection comme un feu tricolore, ce serait encore plus pratique.
(Il serait aussi intéressant qu’elle n’identifie automatiquement que les domaines de pages enregistrés, et fonctionne manuellement pour le reste, comme une fonction de traduction.)