- L’analyse de l’intégralité du corps de 12 750 articles arXiv montre qu’environ un tiers des articles récents se lisaient comme rédigés par une machine, avec un taux de détection d’environ 32 % sur le dernier trimestre complet
- Le seuil a été fixé pour obtenir un taux de faux positifs de 0,4 % en prenant les articles de 2021-2022 comme groupe témoin rédigé par des humains, avec les PDF en version 1 et des intervalles de confiance bootstrap à 95 %
- Après l’arrivée de ChatGPT, le taux de détection a connu deux hausses, culminant à environ 39 % début 2026 ; sur les 12 derniers mois jusqu’à juillet 2026, il atteignait 65,0 % en informatique et 0,7 % en mathématiques
- Les articles de mathématiques, riches en formules et en structures théorème-preuve, peuvent être mesurés plus bas car ils s’écartent de la distribution d’apprentissage du détecteur ; les performances sur les combinaisons de modèles privés et de prompts réellement utilisées par les auteurs ne peuvent pas non plus être évaluées
- Les résultats de détection n’identifient ni les auteurs ni la part générée par IA, et ne distinguent pas une légère édition d’une génération complète ; ils doivent donc être interprétés non comme une base pour accuser des individus, mais comme une borne inférieure de la part de style mécanique
Une conception de mesure basée sur le taux de faux positifs
- Un chiffre du type « N % du contenu est IA » perd de sa valeur si l’on ne tient pas compte du taux auquel le détecteur classe aussi de vrais documents humains de cette façon
- Si 40 % des nouveaux articles sont classés comme rédigés par une machine, mais que le même résultat apparaît aussi pour 20 % des articles antérieurs à ChatGPT, le chiffre à expliquer en premier est le taux de faux positifs de 20 %
- Le détecteur est calibré pour le style académique
- Avec un taux de faux positifs de 0,4 %, il laisse correctement passer 99,6 % des véritables documents scientifiques antérieurs aux LLM
- Il détecte 85 % des documents académiques rédigés par une IA
- Les articles soumis en 2021-2022 sont considérés comme des données de référence rédigées par des humains, et le seuil est fixé de façon à ce que seulement 0,4 % soient détectés
- Tous les résultats correspondent à la part d’articles dépassant le seuil pour lequel, par construction, les documents antérieurs aux LLM restent à 0,4 %
- Les années antérieures à ChatGPT jouent le rôle de groupe témoin intégré
- Si la hausse était un artefact propre au détecteur, les années 2021-2022 devraient obtenir des niveaux aussi élevés que 2026, ce qui n’a pas été le cas
Échantillon et méthode d’analyse
- Environ 25 articles ont été échantillonnés par domaine et par mois dans 10 groupes de domaines, de janvier 2023 à juillet 2026, auxquels s’ajoutent 8 mois de groupes témoins de 2021-2022, pour un total de 12 750 articles analysés
- Le PDF en version 1 de chaque article a été utilisé afin d’éviter que des formulations révisées en 2026 ne se retrouvent dans l’échantillon 2023 de l’article
- L’analyse porte sur l’intégralité du corps du texte, plutôt que sur les résumés
- Pour un même article, certains cas étaient sous les 20 % dans le résumé mais au-dessus de 70 % dans le corps du texte ; analyser seulement le résumé peut donc atténuer le signal
- Tous les chiffres utilisent des intervalles de confiance à 95 % calculés par bootstrap
Tendance globale et écarts entre domaines
- Le taux de détection est resté à 0,4 % en 2021-2022, puis a commencé à augmenter dans les mois qui ont suivi l’arrivée de ChatGPT
- Il a ensuite connu deux hausses, atteignant environ 32 % sur le dernier trimestre complet, avec un pic d’environ 39 % début 2026
- Les résultats par domaine sur les 12 derniers mois jusqu’à juillet 2026 sont les suivants
| Domaine | Groupe témoin pré-LLM | Taux de détection récent | Intervalle de confiance à 95 % |
|---|---|---|---|
| Informatique | 0,2 % | 65,0 % | 59,3~70,3 % |
| Biologie quantitative | 3,5 % | 56,3 % | 51,0~61,7 % |
| Génie électrique et systèmes | 1,7 % | 51,3 % | 46,0~57,0 % |
| Économie et finance | 2,5 % | 47,0 % | 41,3~52,7 % |
| Physique appliquée | 1,3 % | 34,0 % | 29,0~39,7 % |
| Statistiques | 1,8 % | 31,3 % | 26,0~36,7 % |
| Physique de la matière condensée | 0,0 % | 24,0 % | 19,3~29,0 % |
| Physique des hautes énergies | 0,5 % | 14,0 % | 10,0~18,0 % |
| Astrophysique | 0,0 % | 10,7 % | 7,3~14,3 % |
| Mathématiques | 0,0 % | 0,7 % | 0,0~1,7 % |
- L’informatique est la plus élevée, à environ 65 %, et les mathématiques les plus basses, à environ 0,7 %, mais le faible niveau des mathématiques est difficile à interpréter
- La colonne du groupe témoin correspond à la moyenne des taux de détection 2021-2022 de chaque domaine sur trois réglages de sensibilité
- Les domaines où la hausse est forte ne coïncident pas avec ceux où le niveau pré-LLM du groupe témoin était élevé ; un point de départ élevé ne suffit donc pas à expliquer la hausse ultérieure
Limites statistiques des groupes témoins par domaine
- Chaque groupe témoin pré-ChatGPT par domaine compte 200 articles
- Avec un taux de faux positifs de 0,4 %, seuls 8 articles sont détectés parmi les 2 000 articles témoins des 10 domaines, ce qui rend les taux par domaine associés à un seuil unique assez approximatifs
- La borne inférieure globale des faux positifs a été estimée de façon suffisante et le protocole de recherche s’appuie sur elle, mais les chiffres par domaine ne sont que des approximations
- Pour fixer précisément des taux inférieurs à 1 % par domaine, il faudrait plusieurs milliers d’articles témoins dans chaque domaine, mais arXiv ne compte pas suffisamment d’articles antérieurs à 2023 pour satisfaire cette condition
Scores faibles et angles morts de la détection
- Un score faible peut signifier que le taux d’adoption de l’IA est bas, ou refléter des angles morts du détecteur
- Les articles de mathématiques reposent surtout sur des formules et des structures théorème-preuve ; une fois les formules et références retirées, il reste peu de prose, et celle-ci diffère aussi de l’anglais scientifique sur lequel le détecteur a été entraîné
- Même un article de mathématiques rédigé avec une aide importante d’un modèle peut obtenir un score faible si sa prose se situe hors de la distribution du détecteur
- Les résultats en mathématiques ne permettent donc pas, à eux seuls, de distinguer une faible adoption d’une faible sensibilité du détecteur
- Comme les domaines où la part de prose est élevée et correspond le mieux à la distribution d’apprentissage du détecteur sont ceux qui augmentent le plus, ce facteur de confusion ne peut pas expliquer à lui seul la tendance globale à la hausse
- Le classement des domaines à faible score doit être lu comme une borne inférieure du taux d’adoption de l’IA
- La sensibilité du détecteur varie selon les modèles génératifs, et il est impossible d’évaluer la combinaison exacte de modèles privés et de prompts réellement utilisés par les auteurs
- Une couverture de détection imparfaite abaisse le taux de détection ; les proportions mesurées sont donc une borne inférieure de la part réelle de style mécanique, et les performances par générateur sont disponibles dans l’explication du détecteur
Ce que les résultats de détection ne permettent pas de savoir
- À partir de taux d’erreur connus et de probabilités calibrées, le détecteur estime si un document se lit comme rédigé par une machine
- Il ne peut pas distinguer un document légèrement édité d’un document entièrement généré, et un score isolé ne peut pas servir de base pour accuser une personne donnée
- La mesure porte non pas sur l’identité des auteurs ni sur la part générée, mais sur la proportion de style mécanique, y compris les éditions fortement assistées par IA
- Les articles arXiv peuvent être vérifiés via la page de vérification gratuite, et les textes ordinaires via la page de vérification de texte ; l’exploitation du détecteur ne génère pas de revenus
1 commentaires
Avis de Hacker News
Un article d’atelier PyHPC écrit en 2011 a été classé 27 % rédigé par une machine, et une thèse de doctorat de 2012 à 40 %, juste sous le seuil de 42 %
Je ne publie plus d’articles, mais je ne sais pas si j’écrivais comme un LLM ou si les LLM ont appris à partir de mes textes. Un article IEEE CLUSTERS de 2015 monte carrément à 74 %
Plus grave encore, des gens qui n’en comprennent pas le fonctionnement s’en servent pour conclure à l’usage de l’IA et infligent de sérieux préjudices aux étudiants, et cela se produit déjà à tous les niveaux d’enseignement
L’étude a analysé le texte intégral de 12 750 articles arXiv entre 2021 et 2026 afin d’examiner la part classée comme rédigée par une machine et l’ampleur de la hausse après la sortie de ChatGPT
Le détecteur a été volontairement réglé pour éviter les faux positifs, avec un taux de détection avant ChatGPT d’environ 0,4 %. En janvier 2026, environ 39 % de l’ensemble des articles, et jusqu’à 65 % en informatique, ont été classés comme rédigés par une IA ; les mathématiques sont restées presque stables à 0,7 %, mais il est possible que le style centré sur les démonstrations ait été mal capté. Il ne s’agit que d’une estimation d’un signal statistique, pas d’une preuve qu’un auteur précis a utilisé l’IA, et la rédaction mécanique peut aussi inclure une forte assistance éditoriale par IA
Il pourrait y avoir une fuite, par exemple si des documents antérieurs à ChatGPT ont été inclus dans les données d’entraînement positives
Je me demande si, avant l’arrivée des LLM, un tout petit nombre d’auteurs écrivait déjà d’une manière ressemblant à celle des LLM
Je ne voudrais pas surcharger le serveur en testant un grand nombre d’articles
Dans l’usage des LLM en entreprise, il existe réellement une incitation relevant de la théorie des jeux
Les développeurs utilisent Claude Code à tout-va pour produire en masse du code et de la documentation qui semblent meilleurs en apparence, et la direction l’encourage parce qu’elle n’en voit pas immédiatement les inconvénients. La qualité structurelle reste incertaine, mais avec de mauvais indicateurs on ne voit que le volume produit, si bien qu’il faudra des années pour juger si cela vaut la peine au prix d’une dégradation des capacités cognitives. Quelqu’un qui n’utilise pas de LLM toute la journée sera forcément distancé en production, et la même pression risque fort d’exister dans le monde scientifique où le volume de publications compte
Malgré cela, quantité de startups et de nouveaux professeurs assistants prétendent ouvrir de nouveaux domaines avec « l’IA », alors qu’en pratique les approches les plus efficaces utilisent le machine learning plutôt que les LLM
J’ai continué à lui demander de minimiser les duplications et de réduire le code, mais le résultat se rapproche de « c’est mauvais, mais ça m’est utile ». Même ce niveau d’utilité n’est pas négligeable, mais j’ai peur de dirigeants qui regarderaient des toilettes qui débordent en croyant que la valeur a été maximisée
La vraie question difficile est celle de la qualité par rapport au temps et au coût investis, et pour l’instant, au prix de l’abonnement, je trouve que le code généré par opus/fable est suffisamment avantageux
Les nouveaux outils sont bons en eux-mêmes, mais je n’aime pas qu’on m’impose l’usage d’un outil précis pour satisfaire des indicateurs de gestion
Si les humains deviennent dépendants de l’IA, les entreprises acquièrent de l’influence pour faire évoluer les lois dans leur intérêt. Même si les citoyens s’opposent à d’immenses centres de données en ville, les entreprises peuvent faire pression en disant qu’on ne peut plus rien faire sans l’IA fournie par ces centres ; rendre les humains incapables et dépendants pourrait donc être l’enjeu central
Comme pour toutes les méthodes de détection de l’IA reposant uniquement sur le texte, la précision inquiète
En particulier, je ne vois pas comment on peut être sûr que la combinaison finale des scores de trois détecteurs n’introduit pas de biais, et sans le code source il est difficile d’examiner le fonctionnement ou de reproduire l’étude. Même des travaux privés rédigés à la main avant les LLM ont reçu des scores élevés, et dans d’autres articles presque toutes les phrases étaient marquées en rouge « machine-leaning » sans que cela affecte réellement le score. Le même texte recevait aussi des scores très différents selon la présence ou non d’un formatage LaTeX. La conclusion devrait être : « la détection de texte généré est difficile, et il ne faut pas accepter des résultats simplement parce qu’ils confirment une hypothèse ». Ce texte aussi, je viens de l’écrire moi-même, et il obtient pourtant un score élevé de rédaction mécanique
En examinant le même problème dans le contexte académique, ils ont conclu qu’il est impossible de détecter de façon fiable une rédaction par IA à partir du seul texte
Si un humain et un LLM écrivent par hasard exactement le même paragraphe, il n’existe aucun moyen, à partir de cette seule entrée, de distinguer un texte synthétique d’un texte humain. Il existe bien des traces typiques des LLM, mais elles varient selon les périodes et les modèles, si bien qu’on ne peut pas distinguer les textes humains qui semblent synthétiques des textes synthétiques qui semblent humains. Une approche plus intéressante consiste à analyser comment le vocabulaire, les caractéristiques linguistiques, les embeddings de style, les embeddings généraux, les fautes de frappe, les erreurs et les références ont évolué dans un corpus d’essais depuis l’introduction des LLM. Il est clair que le style académique a changé au niveau collectif, mais il est difficile d’en retracer la cause
Comme le disait Chomsky, presque toutes les phrases qu’un humain prononce ou comprend sont des combinaisons de mots apparaissant pour la première fois dans l’histoire de l’univers. La vraie difficulté est plutôt que les LLM ne produisent pas une seule forme figée, et que la densité d’information du texte est faible, ce qui exige un volume important pour effectuer des tests statistiques avec des intervalles de confiance étroits
Si 65 % des articles que l’on lit présentent des caractéristiques d’écriture IA, on subira l’influence du style IA même sans utiliser directement l’IA
Cela risque d’être particulièrement marqué chez les jeunes chercheurs qui sont encore en train de construire leur style
Pour qu’un humain maintienne longtemps des schémas syntaxiques d’IA, il faudrait identifier des motifs que personne ne sait aujourd’hui vraiment caractériser, puis ajuster minutieusement chaque proposition comme dans une contrefaçon de tableau. De plus, le style IA évolue lui aussi : delve, qui en était un indice représentatif, a fortement chuté depuis le milieu de 2024 et a presque disparu des sorties de LLM. Une écriture humaine qui aurait appris à l’imiter ressemble donc au contraire moins au style IA actuel
Il y avait déjà des gens qui produisaient du charabia avant l’IA
Comme je ne suis pas anglophone natif, le fait que la plupart de mes articles soient signalés par des détecteurs d’IA ne me surprend pas
Ce n’est pas parce que je demande à un LLM d’écrire l’article entier, mais parce que je ne maîtrise pas naturellement le style scientifique et que les éditeurs américains l’exigent. On peut écrire ses idées avec des phrases simples puis les lisser avec un LLM. Si l’on rédige soi-même chaque paragraphe avant de le retravailler dans un style plus scientifique, le contenu reste entièrement le sien mais sera quand même classé comme généré par un LLM. À l’inverse, si l’on retravaille suffisamment bien l’anglais, un article écrit par un LLM peut aussi passer pour un texte humain
Si je devais réécrire un article, je ne compterais pas le rédiger entièrement à la main ; tant que je vérifie que le contenu correspond à mon intention et que je corrige ce qui est mal formulé, il n’y a pas de problème. Parmi les articles écrits par des anglophones natifs aussi, beaucoup gagneraient nettement à être réécrits avec un LLM
Les détails d’expression de chaque paragraphe influencent fortement ce qui est transmis et la manière dont cela l’est, si bien qu’il est difficile de dire que c’est entièrement son propre article. On peut d’ailleurs se demander pourquoi il faudrait viser un style qui « sonne scientifique » au départ ; les meilleurs articles se lisent sans emphase, presque comme une conversation. Je comprends qu’il existe une pression extérieure, mais les phrases de base de l’auteur me semblent préférables aux phrases d’un LLM
Ce type d’article contient beaucoup de passages verbeux et convenus ; il est donc possible que l’IA en écrive 90 %, et que seuls le contenu réellement nouveau et l’explication de son importance soient rédigés par un humain
Il se peut même qu’une telle pratique soit réellement en train de se diffuser
Quelques-uns sont peut-être des artistes de l’écriture, mais la plupart ne le sont pas
Il est possible que le détecteur ait simplement appris comme caractéristiques d’IA des mots et termes techniques devenus plus fréquents dans la littérature après 2022
Par exemple, les LLM et leurs utilisateurs parlent souvent de LLM, donc l’expression « large language model » elle-même peut être jugée typique de l’IA. Cette expression était rare avant 2022 et apparaît aujourd’hui fréquemment, y compris dans les textes générés par IA, mais ce n’est pas un bon critère pour distinguer les textes humains contemporains des textes d’IA. Dans un groupe de contrôle où l’on peut raisonnablement estimer qu’il n’y a presque pas de textes générés par LLM même après 2023, le taux de détection devrait être bien plus faible que sur arXiv. Nature et Science ne seront probablement pas totalement épargnés non plus, mais si on les teste jusqu’en 2026, leur courbe de hausse devrait rester nettement inférieure à celle d’arXiv
J’examinerai des moyens d’atténuer cela lors de la mise à jour du détecteur, mais il est difficile d’obtenir un dataset propre post-2023. Si on en construit un avec un autre détecteur d’IA, on ne pourra de toute façon pas faire mieux que ce détecteur
Après avoir demandé à plusieurs chercheurs travaillant notamment sur les protocoles de consensus s’ils préféraient rédiger des articles ou faire de la recherche, presque tous ont choisi la recherche elle-même
S’ils avaient préféré l’écriture, ils auraient probablement choisi un autre métier. Si un LLM pouvait transformer des schémas de recherche, du code, etc. en article ou en brouillon, le nombre de bons articles pourrait au contraire augmenter. Cela réduirait ce frein consistant à se dire : « je veux faire de la recherche, mais rédiger l’article est pénible ». Si l’on place sur deux axes la capacité de recherche et l’aversion pour l’écriture, les LLM pourraient faire émerger les résultats de chercheurs élevés sur ces deux dimensions. Les mauvais articles augmenteraient aussi, mais à long terme, il est possible que l’effet net soit positif