- L’outil Hallucination Check de GPTZero a analysé 4 841 articles sur les 5 290 acceptés à NeurIPS 2025 et a identifié plus de 100 « citations hallucinées »
- Dans de nombreux articles, des traces de génération par IA ont été relevées, comme des auteurs inexistants, des DOI et URL erronés, ainsi que des titres fabriqués
- GPTZero qualifie ces erreurs de « vibe citing », c’est-à-dire des citations rendues plausibles par mélange et transformation d’informations issues de vrais articles
- Tous les cas ont été vérifiés par des experts humains ; l’outil affiche un très faible taux de faux négatifs (détection à 99 %) et signale de manière prudente les cas suspects
- Ce cas est considéré comme un exemple montrant la nécessité d’automatiser la détection des erreurs de citation liées à l’IA dans la rédaction et la vérification des articles scientifiques
Résultats de l’analyse des articles NeurIPS 2025 par GPTZero
- GPTZero a scanné 4 841 articles sur les 5 290 acceptés à NeurIPS 2025 et a découvert plus de 100 citations hallucinées
- Chaque cas a été vérifié humainement pour confirmer qu’il s’agissait bien de références inexistantes
- Parmi les exemples relevés figurent de nombreuses citations contenant des noms de revues, noms d’auteurs et DOI inexistants
- GPTZero classe ce type d’erreurs de citation comme des traces de génération par IA (« vibe citing »)
- La forme la plus courante consiste en de fausses citations créées en combinant ou en modifiant de vrais titres et noms d’auteurs
- Certaines utilisent des titres proches d’articles réels, mais sont identifiées grâce à des incohérences sur l’année, la source ou les auteurs
Définition et types de « vibe citing »
- GPTZero définit le « vibe citing » comme une « citation créée par une IA générative en combinant ou en transformant de vraies sources »
- Cela inclut des cas où les noms d’auteurs, titres, éditeurs ou DOI sont manipulés ou synthétisés
- Il peut aussi s’agir de citations partielles d’articles existants ou de noms de revues fictifs
- En revanche, de simples fautes de frappe, liens morts ou numéros de page manquants sont considérés comme des erreurs humaines et exclus
- GPTZero présente les différences entre citations réelles, défectueuses et hallucinées sous forme de tableau comparatif
- Exemple : transformer l’article « Deep learning » en « Samuel LeCun Jackson. Deep learning. Science & Nature, 2021. » est classé comme une citation hallucinée
Fonctionnement de l’outil Hallucination Check
- Hallucination Check est un système de détection basé sur l’IA qui automatise la vérification des citations
- Il signale automatiquement les références qui ne peuvent pas être vérifiées en ligne
- Il aide les auteurs, éditeurs et reviewers à examiner rapidement les erreurs de citation
- Étapes d’utilisation
- L’auteur vérifie automatiquement les citations de son article avant soumission
- Le reviewer identifie rapidement les citations non vérifiées
- Les équipes éditoriales de conférences et de journaux peuvent, en parallèle de l’AI Detector, détecter à la fois les traces de rédaction par IA et les erreurs de citation
Précision de validation de GPTZero
- Hallucination Check présente un très faible taux de faux négatifs (99 % de précision de détection)
- Autrement dit, la probabilité de laisser passer une véritable citation hallucinée est extrêmement faible
- En contrepartie, le taux de faux positifs est un peu plus élevé, en raison d’une détection prudente
- GPTZero indique avoir repéré, avec la même méthode, des dizaines d’erreurs de citation liées à l’IA dans des cas comme ICLR 2026 ou des rapports de Deloitte
Ce que cela implique pour le monde académique et l’édition
- Le cas de NeurIPS 2025 met en lumière le problème de la baisse de fiabilité des citations, dans un contexte d’usage croissant d’outils d’IA pour rédiger des articles scientifiques
- GPTZero collabore avec le comité d’organisation d’ICLR pour mettre en place un système de vérification automatique des soumissions futures
- Ces initiatives devraient contribuer à améliorer l’efficacité et la transparence de l’évaluation scientifique, ainsi qu’à renforcer les mécanismes de vérification des contenus générés par IA
Aucun commentaire pour le moment.