EY Canada a publié un rapport de cybersécurité dont la plupart des citations étaient hallucinées

• Le rapport de 44 pages d’Ernst & Young Canada sur la fraude dans les programmes de fidélité s’est révélé contenir un mélange de fausses citations, d’attributions erronées, de statistiques inventées et de texte rédigé par IA
• Dans le tableau des références, la plupart des URL étaient cassées ou factices, plus de la moitié des titres ne correspondaient pas aux sources réelles, et AI Scan a signalé 72 % du texte comme généré par IA
• De nombreuses sources citées de BleepingComputer, Wired, Gartner, McKinsey, Forbes, Cisco Talos et TechCrunch se sont avérées être des erreurs 404, des pages de tags ou des documents inexistants
• Le chiffre de 200 milliards de dollars a été utilisé avec deux sens difficilement compatibles — l’ensemble du marché des points de fidélité et la valeur des points inutilisés — et les deux citations censées l’étayer se sont révélées fabriquées
• Le rapport défectueux a été relayé par le Canberra Times et plus de 60 journaux, tandis que Claude, ChatGPT et Perplexity ont eux aussi repris ces informations hallucinées

---

Les problèmes du rapport d’Ernst & Young

• Ernst & Young Canada a publié fin 2025 un rapport de 44 pages sur les menaces cyber et la fraude dans les systèmes de fidélité, intitulé Points of Attack: Uncovering Cyber Threats and Fraud in Loyalty Systems
• Le rapport était attribué à deux associés et un senior manager, mais on y a trouvé à la fois de fausses citations, des attributions erronées, des statistiques inventées et du texte écrit par IA
• EY Canada est l’entité canadienne d’Ernst & Young, qui fournit chaque année pour des millions de dollars de services au gouvernement canadien
• Le Hallucination Check de GPTZero a été utilisé dans un pipeline automatisé recherchant et scannant, ces derniers mois, des rapports publics de grands cabinets de conseil, ce qui suggère que le vibe citing s’est aussi répandu dans les rapports de grandes entreprises

Méthode de citation et résultats de vérification

• Le rapport d’EY Canada n’utilisait ni notes de bas de page ni citations académiques classiques, mais mentionnait directement ses sources dans le texte ou les regroupait dans une resources table aux pages 41 à 43
• Ce tableau donnait le titre des sources, leur description, leur URL, ainsi que parfois l’éditeur et la date, mais la plupart des URL étaient cassées ou factices, et plus de la moitié des titres ne correspondaient pas aux sources réelles
• GPTZero définit les citations hallucinées selon des critères précis afin de tenir compte du coût réputationnel des faux positifs, puis vérifie manuellement les résultats de Hallucination Check
• Le texte du rapport a été signalé à 72 % comme généré par IA par GPTZero AI Scan, et des erreurs typiques des LLM — fausses statistiques, attributions erronées et contradictions internes — s’y répétaient

Exemples marquants de sources fausses ou inexactes

• Article de BleepingComputer sur une compromission de programmes de fidélité aériens

  • Airline Loyalty Breach: BleepingComputer était présenté comme un article affirmant que des millions de comptes de fidélité de compagnies aériennes avaient été compromis par des attaques de credential stuffing
  • https://bleepingcomputer.com/news/security/… renvoie une erreur 404, ce qui indique que l’article à cette adresse a été supprimé ou n’a jamais existé

• Articles de Wired sur les deepfakes vocaux et la sécurité des API

  • AI Voice Deepfakes Targeting Call Centers était présenté comme un article de Wired sur des attaquants exploitant des voix générées par IA pour contourner les procédures de service client
  • Aucun article Wired correspondant n’existe à l’adresse https://www.wired.com/story/voice-deepfakes-ai-scams/
  • Wired: API Security Gaps était également présenté comme un article sur les vulnérabilités API dans les services numériques grand public, mais https://www.wired.com/story/api-security-risks-retail/ renvoie lui aussi une erreur 404

• Rapports Gartner et McKinsey

  • Gartner Market Trends – Loyalty Fraud était présenté comme un guide stratégique sur l’évolution de la fraude dans les programmes de fidélité numériques et les portefeuilles mobiles
  • https://www.gartner.com/en/documents/4000201 redirige simplement vers le site principal de Gartner, et aucun document Gartner portant ce titre n’existe
  • McKinsey & Company – Loyalty Economics Report (2022) était présenté comme un rapport estimant à 200 milliards de dollars la valeur mondiale des points de récompense inutilisés, mais ce rapport n’existe pas

• Article Forbes sur l’économie de la fidélité

  • Forbes – The $200 Billion Loyalty Economy était présenté comme source pour décrire les programmes de fidélité comme un actif numérique important
  • L’URL est cassée et, si Blake Morgan a bien écrit pour Forbes, aucun article ne correspond à ce titre
  • En revanche, un article Forbes de 2020 emploie bien l’expression « $200 billion loyalty economy »

• Cisco Talos et TechCrunch

  • Cisco Talos: API Attacks on Retail était présenté comme un article sur l’exploitation d’API non sécurisées dans les systèmes de commerce et de fidélité, mais https://blog.talosintelligence.com/api-abuse-retail/ renvoie une erreur 404
  • TechCrunch: Loyalty Program Breaches était présenté comme un article sur des compromissions de programmes de fidélité et des fuites de données utilisateurs, mais https://techcrunch.com/tag/loyalty-program/ n’est pas un article précis, seulement une page de tag loyalty-program

Contradictions internes autour de la statistique des 200 milliards de dollars

• Ce qu’affirme le résumé exécutif

  • L’Executive Summary affirme que le marché mondial des points de fidélité représente 200 milliards de dollars, et que 30 à 50 % de ces points ne sont jamais utilisés
  • Cette affirmation est appuyée par une fausse citation attribuée à Forbes

• Un sens modifié à la page 10

  • À la page 10, le même chiffre de 200 milliards de dollars ne désigne plus la valeur totale des points à l’échelle mondiale, mais une estimation des points de fidélité inutilisés
  • Puisqu’il est déjà affirmé qu’au maximum 50 % des points restent inutilisés, les deux affirmations ne peuvent être vraies simultanément que si le marché mondial total des points de fidélité vaut au moins 400 milliards de dollars

• Remonter à la source de la citation McKinsey

  • Le faux rapport McKinsey & Company mentionné à la page 43 sert de fondement à cette seconde affirmation selon laquelle la valeur mondiale des points inutilisés atteindrait 200 milliards de dollars
  • Le même chiffre a donc été utilisé avec deux sens difficilement compatibles, et les deux citations censées le soutenir se sont révélées fabriquées
  • Cette citation McKinsey remonte à un billet de blog fintech de Financial IT publié six mois avant le rapport d’EY
  • Ce billet affirmait que « more than $200 billion in points sit idle each year » et citait, dans sa section sources, un inexistant McKinsey & Company: Loyalty Economics Report (2022)
  • Cette citation fabriquée a été reprise telle quelle dans le tableau des références du rapport d’EY, blanchissant ainsi une fausse source issue d’un blog de faible qualité sous couvert d’une publication du Big Four

Les statistiques de 72 % et 89 % avec sources mélangées

• Le chiffre de 72 % sur la fraude dans les programmes de fidélité

  • À la page 6, le rapport affirme que 72 % des programmes de fidélité client ont signalé des cas de vol ou de fraude
  • Ce chiffre y est attribué à un article de 2019 de Paystone, un prestataire canadien de traitement des paiements
  • À la page 11, la même statistique est attribuée au NRF 2020 summary de Forter, une société de prévention de la fraude numérique
  • Ni Paystone ni Forter n’apparaissent dans le tableau des références du rapport, et la source d’origine semble être une enquête Ipsos de 2017

• Le chiffre de 89 % d’augmentation des attaques de fraude

  • À la page 6, le rapport affirme que les attaques frauduleuses contre les programmes de fidélité ont augmenté de 89 % depuis 2019
  • À la page 11, cette hausse de 89 % est limitée à l’évolution sur une seule année, de 2018 à 2019, et attribuée au Fraud Attack Index de Forter
  • Cette source existe bien et confirme partiellement la seconde version de l’affirmation, mais, comme plusieurs autres sources du rapport EY, il s’agit d’une donnée ancienne
  • Des sources contradictoires, des sources de faible qualité, des statistiques datées et des reformulations inexactes sont présentées comme des signes d’AI slop

Impact public et risque de contamination des données

• Points of Attack ne semble pas avoir provoqué de forte réaction au Canada, mais il a récemment été cité dans un article du Canberra Times, ensuite diffusé dans plus de 60 journaux à travers l’Australie
• Le rapport pourrait aussi avoir circulé via des briefings clients non publics, des présentations internes et des médias propriétaires
• Publier un rapport en ligne s’apparente à une injection de données dans le réservoir de connaissances d’Internet, et lorsqu’un cabinet de conseil connu met en ligne de fausses informations ou des citations hallucinées sur un site à fort trafic, cela peut induire en erreur les chercheurs ultérieurs
• Les outils d’IA de « deep research » choisissent leurs sources selon des signaux différents de ceux des humains, ce qui pourrait les rendre encore plus vulnérables à cette contamination des données
• Claude, ChatGPT et Perplexity ont exposé des informations hallucinées provenant du rapport défectueux d’EY

L’objectif de Hallucination Check

• GPTZero estime que le vibe citing est devenu un risque immédiat pour les chercheurs, le monde académique, les consultants et toute personne dépendant de la recherche web
• Hallucination Check est présenté comme un outil permettant d’identifier les citations hallucinées et les fausses informations sans devoir vérifier manuellement chaque référence
• L’outil est également utilisé dans l’examen des soumissions à des conférences académiques comme IJCAI, ICLR et ICSE
• La conclusion est qu’il devient difficile d’accepter sur la seule base de la confiance des citations provenant même de sources réputées comme Ernst & Young
• Le lien vers Hallucination Check de GPTZero est fourni

[GN⁺]

Commentaires sur Hacker News

• Le problème qu’on voit dans de nombreux métiers, c’est que les sorties d’IA ne sont pas correctement relues par des personnes compétentes, comme des analystes expérimentés, des ingénieurs seniors, des avocats spécialisés ou des médecins internes
  Au mieux, elles sont survolées ; au pire, elles ne sont même pas regardées avant publication, diffusion, mise en production, envoi au client ou dépôt au tribunal
  Dans bien des cas, les compétences nécessaires pour cette relecture existent dans l’organisation, mais ces personnes sont déjà débordées par leur charge de travail quotidienne
  Il y a quelques mois, je n’ai pas pu m’empêcher de rire en voyant passer un article selon lequel Amazon faisait relire les sorties d’IA générative par des ingénieurs seniors (https://news.ycombinator.com/item?id=47323017). Ce sont déjà des gens très occupés, et j’ai du mal à croire qu’Amazon accepterait une augmentation des goulots d’étranglement humains sur l’ensemble des projets et du développement de l’infrastructure de base

  • Une partie du problème vient du fait qu’on vous jette un document terminé en vous demandant de le relire seulement une fois qu’il est entièrement cuit
    Je pousse pour qu’il y ait des principes d’ingénierie de base à l’échelle de toute l’organisation
    On ne demande pas à un ingénieur de relire 1 000 lignes de code sans la spécification d’origine expliquant ce qu’on cherche à accomplir. Il faut au minimum du contexte, et idéalement le relecteur devrait être présent dès la première présentation du travail afin de connaître le contexte global
    Or ces documents arrivent en mode tout ou rien. Le 39e indicateur est déjà défini dans le moindre détail jusqu’au bout : est-ce qu’on va vraiment revenir dessus, ou est-ce qu’on va juste se résigner en se disant que c’est déjà comme ça
    Un document d’une page, ou six pages à la manière d’Amazon, du type « voilà ce que je propose », suffirait pour contester et affiner la forme générale d’une idée au stade de l’ossature, avant que n’apparaisse l’investissement émotionnel lié au fait que le précieux rapport est déjà terminé
    C’est comparable à la manière dont, traditionnellement, le produit parcourt les spécifications dans un environnement SCRUM et les ingénieurs font de vraies revues de code. Bien sûr, SCRUM est mort, mais c’est encore une autre histoire
  • Du point de vue d’un avocat, relire des sorties d’IA donne l’impression de prendre plus de temps que de faire le travail soi-même dès le départ. Et par rapport à l’usage de modèles existants, il n’y a même pas photo
    Quand on utilise l’IA, il faut tout relire, expliquer pourquoi c’est faux, et au final il faut souvent tout réécrire
    Le nombre d’heures facturables augmente nettement, mais cela ressemble surtout au symptôme de la disparition du principal avantage mis en avant pour l’IA, à savoir la rapidité et l’accessibilité pour des personnes qui ne comprennent pas le sujet
  • Quand on dit que « les personnes compétentes ne relisent pas les sorties d’IA », on parle bien de ces mêmes personnes qu’on a licenciées et démoralisées ?
    L’une des raisons pour lesquelles les « grands hommes et grandes femmes » aiment le vibe coding, c’est qu’ils ont l’impression de pouvoir désormais faire seuls ce qui, autrefois, exigeait le douloureux processus consistant à « passer la main à des experts du contexte »
    Maintenant que le LLM est devenu un « expert du contexte intégré », ils estiment ne plus avoir besoin de relire les sorties
  • Le problème, c’est qu’il arrive que le temps nécessaire pour valider une sortie soit supérieur au temps qu’il aurait fallu pour la produire soi-même dès le départ
    Dans ce cas, l’IA devient, pour beaucoup d’usages, un système au retour sur investissement fortement négatif
  • Je m’intéresse particulièrement à la formation et à la gestion du savoir humain. J’ai vu la vitesse de formation en IT tomber quasiment à zéro
    Il suffit de penser aux formations professionnelles où une erreur peut finir au journal télévisé du soir
    L’idée même que tout le monde cherche simplement à se couvrir en acceptant sans esprit critique des chaînes de caractères sorties d’une matrice de nombres est glaçante
    Cela rappelle les compagnies aériennes d’Asie du Sud qui ont interdit aux pilotes les atterrissages manuels, favorisant ainsi la perte de compétence, jusqu’à conduire à des catastrophes bien connues
    Et si même des consultants très bien payés ne vérifient pas les liens, c’est encore pire

• Existe-t-il une source qu’on puisse consulter simplement en texte brut ? Le style CSS me donne mal à la tête, et le mode lecture ne fonctionne pas ou semble bloqué

  • Le défilement est vraiment pénible, et même en passant en mode lecture, tout était cassé
  • Firefox a un mode lecteur pratique qui extrait uniquement le texte d’une page et l’affiche de manière simplifiée. Sur Mac, on peut l’activer avec Opt + CMD + R
    Le problème, c’est que cette fonction supprime aussi certaines images contenant une partie des sources utilisées
  • C’est pareil en Lockdown Mode sur iOS

• La vraie comédie, c’est de voir ce genre de déchets descendre de la part de la haute direction. Des prompts maladroits, des hallucinations de pacotille, zéro information exploitable et zéro vraie analyse, uniquement de la fanfaronnade
  C’est du genre : « Regardez cette analyse des tickets de support extraite de Jira. Il faut absolument corriger ces trois principaux problèmes !!! » alors qu’en réalité tout le monde les connaît depuis des années et que la direction n’a simplement donné à personne le pouvoir de les régler
  Après avoir vu ça plus de deux fois, il faudrait un nom pour le phénomène. Peut-être Garbagemaxxing

  • Si le fait de « corriger les trois principaux problèmes » vise effectivement des problèmes connus de tous depuis longtemps et pour lesquels la direction n’avait donné à personne l’autorité nécessaire, alors l’effet net est quand même positif, non ?

• C’est une page vraiment atroce à parcourir

  • Sur mobile, elle détourne le scroll, si bien qu’on ne peut littéralement plus descendre davantage. Le mode lecture n’affiche que le premier paragraphe environ
    Je regarderai ça plus tard sur un ordinateur. Le contenu a l’air intéressant, mais en pratique il est impossible à lire. Je n’arrive pas à dépasser la section de présentation d’Ernst and Young
  • J’ai l’impression que mon scroll hallucine
  • C’est un tout autre niveau d’hostilité envers l’utilisateur. Je n’avais jamais vu ça
  • Mon iPhone a activé automatiquement le mode lecture, et quand je l’ai désactivé pour voir de quoi il retournait, j’ai fini par être d’accord
  • Du feedback non linéaire avec, littéralement, des blocages : horrible
    Certaines personnes ne devraient pas faire de sites web

• Quelqu’un a aussi halluciné la façon dont le scroll est censé fonctionner sur une page web ?

• Ce qui est étrange, c’est que ce rapport aurait été un énorme scandale il y a seulement 12 à 18 mois, avec un préjudice de marque durable, alors qu’aujourd’hui on a l’impression que plus personne ne s’en souviendra ni même ne s’en apercevra

• Il faut déjà corriger le site web. Il faut jeter ces misérables animations JavaScript. Ce genre de choses était déjà réglé en 2014 avec D3JS et jQuery

• Je ne comprends pas comment cela peut arriver. Par exemple, Qwen Chat ou Perplexity ajoutent des citations à la fin de chaque phrase générée
  En survolant chaque citation, on peut voir de quel site web elle provient
  Ils ont simplement saisi un prompt dans un ChatGPT sans recherche web, puis fait un copier-coller ?

• EY licencie discrètement des gens depuis un an
  Si on essaie de faire plus avec moins de monde, il n’est pas surprenant que cela débouche sur une baisse de qualité

  • Ce qui est intéressant, c’est qu’il peut y avoir une vraie demande pour des services qui ne font en réalité rien du tout
    Une grande partie du travail en entreprise consiste simplement à cocher des cases
    Le patron dit : « Apportez-moi un rapport sur X. Je vais le transmettre à mon propre patron, qui ne le lira pas »
    Et la mécanique devient : « E&Y, faites-nous un rapport. Voici 200 000 dollars »

• La page web elle-même a probablement aussi été faite en vibe coding, et son auteur n’a sans doute pas jugé utile de s’en soucier