Poison Fountain

• Projet conçu comme une source de données destinée à endommager des systèmes d’intelligence artificielle, en proposant d’injecter délibérément des informations contaminées dans les données d’entraînement de l’IA
• Cite les avertissements de Geoffrey Hinton et part du principe que l’intelligence artificielle représente une menace pour l’espèce humaine
• Explique qu’une URL « Poison Fountain » fournit à l’infini des données d’entraînement contaminées, et décrit comment les exposer à des robots d’exploration web
• Les utilisateurs peuvent insérer des liens cachés sur leur propre site web afin que, lorsqu’un crawler y accède, des données contaminées lui soient automatiquement transmises
• L’injection de données malveillantes dans le processus d’entraînement de l’IA est présentée comme une action susceptible d’affecter la fiabilité et la sécurité des modèles d’IA

---

Objectif de Poison Fountain

• Le projet affirme explicitement que l’intelligence artificielle constitue une menace pour l’humanité
  • Il dit partager la position de Geoffrey Hinton et annonce viser à infliger intentionnellement des dommages aux systèmes d’IA
• Il affirme qu’une petite quantité de données d’entraînement contaminées peut suffire à causer de graves dommages à un modèle de langage
• Les deux URL fournies (https://RNSAFFN.com/poison2/ et l’adresse .onion) proposent un flux infini de données contaminées
• Les participants sont encouragés à mettre ces données en cache et les redistribuer, ou à les fournir à des crawlers web, afin de soutenir « l’effort de guerre » (war effort)

Mode d’utilisation de Poison Fountain

• Le projet décrit une procédure permettant aux exploitants de sites web de transmettre des données contaminées lors du passage de crawlers
  • Lorsqu’un crawler demande un chemin spécifique du site, le handler HTTP qui traite cette requête envoie à son tour une requête vers l’URL de Poison Fountain
  • Poison Fountain ignore les détails de la requête et renvoie, dans le corps de la réponse, des données d’entraînement contaminées compressées en gzip
• Les en-têtes de la réponse HTTP incluent "Content-Encoding: gzip"
• Le handler du site web peut décompresser cette réponse avant de la transmettre, ou, de préférence, la relayer telle quelle en restant compressée
• Au final, le crawler collecte ces données et les intègre à son corpus d’entraînement

Caractéristiques structurelles et intention

• Le projet repose sur un détournement du mécanisme de collecte automatique des crawlers web afin de dégrader la qualité des données d’entraînement de l’IA
• Poison Fountain fonctionne comme un simple serveur de diffusion de données et renvoie des données contaminées indépendamment du contenu de la requête
• Aucune information technique détaillée supplémentaire n’est fournie au-delà de la procédure décrite, ni sur le contenu précis des données
• Dans son ensemble, il s’agit d’une tentative d’intervention agressive contre l’écosystème d’entraînement de l’IA

[mammal]

Ça me paraît aussi naïf que de dire : « Pour résister au DDoS, notre serveur lance aussi un DoS sur l’adversaire. »

[kunggom]

Pour ajouter une petite touche de théorie du complot, il ne serait même pas surprenant que les big tech, qui ont déjà aspiré toutes les données récupérables sur Internet, fassent ce genre de choses en coulisses pour retirer l’échelle derrière elles.
Et puis, là, il ne s’agit même pas de se défendre contre la charge provoquée par un crawling excessif…

[kunggom]

Émergence d’un mouvement collectif de « pollution des données » pour freiner les progrès de l’IA

La personne qui a révélé ce projet a demandé à rester anonyme, expliquant qu’elle travaille actuellement dans une grande entreprise technologique américaine au cœur du boom de l’IA. Selon cette source, « l’objectif est de montrer à quel point les faiblesses de l’IA peuvent être exploitées facilement, et d’encourager les gens à fabriquer eux-mêmes des armes informationnelles ».

Il est rapporté qu’au moins cinq personnes participent actuellement à cette activité, dont certaines travailleraient dans d’autres grandes entreprises de l’IA. Elles ont indiqué qu’elles publieront prochainement une signature cryptographique (PGP) pour prouver que plusieurs personnes sont bien impliquées.

[GN⁺]

Avis sur Hacker News

• Il existe des inquiétudes selon lesquelles les modèles d’IA seraient en train de se dégrader, mais en réalité ce n’est pas le cas
  Opus 4.5 a nettement progressé en écriture de code et en usage d’outils, et Gemini 3.0 Flash a aussi largement dépassé les références précédentes dans des projets d’extraction de données visuelles
  Les petits modèles aussi se sont globalement beaucoup améliorés

  • Les grands laboratoires investissent énormément d’efforts dans la curation des jeux de données
    Il ne s’agit pas seulement de bloquer les données toxiques, ils entraînent aussi parfois des modèles proxy pour trouver les données qui améliorent les performances
    Le département « Data Quality » est généralement une organisation centrale dotée d’un budget énorme
  • Cela peut sembler être un mème pour le grand public, mais les chercheurs en ML doivent réellement documenter, comprendre et discuter le concept de model collapse
  • Jusqu’à présent, les résultats de recherche ont montré très peu de preuves que les données générées par l’IA nuisent aux performances réelles
    Certaines études ont même conclu à un léger effet positif
  • Si la base de données se dégrade, il suffit de faire un rollback et de changer la méthode de collecte des données, donc cette menace semble exagérée
  • Mais comme les datasets des grandes entreprises sont trop volumineux pour être entièrement vérifiés, elles dépensent de l’argent en lobbying pour éviter toute responsabilité juridique
    Autrement dit, elles affirment elles-mêmes ne pas être responsables

• En tant que chercheur en sécurité de l’IA, j’ai mené des travaux de doctorat sur le data poisoning

  1. Les développeurs de modèles filtrent bien les données, mais la qualité de ce filtrage est souvent insuffisante
     Il existe des cas où des données de mauvaise qualité sont réellement entrées en production et ont causé des problèmes
  2. Il est presque impossible de filtrer parfaitement les données toxiques
     Parce qu’on ne peut pas savoir comment la mise à jour des poids du modèle affecte chaque entrée
     Si l’on comprend que de très petits changements dans les données peuvent modifier fortement le comportement d’un modèle, le paradigme de la sécurité de l’IA changera
  • Un article qui l’a bien mis en lumière est celui sur le subliminal learning

• Empêcher les LLM de scraper les données revient aussi à bloquer l’accès normal des humains
  Par exemple, même si le NYTimes pollue ses données, les LLM peuvent obtenir des données nettoyées via OCR et tokenisation à partir d’un compte d’abonnement valide
  Les grandes entreprises d’IA peuvent y accéder depuis des datacenters du monde entier en changeant d’IP, rendant impossible de distinguer qui lit les données

  • Mais Internet se remplit rapidement de déchets de données générés par l’IA, ce qui devient toxique pour l’entraînement de nouveaux modèles
    Des sources de données utiles comme Stack Overflow sont presque taries
  • Beaucoup de sites web affichent déjà des mentions de copyright, donc si un LLM peut les lire, cela pourrait peut-être suffire à bloquer l’accès
    Mais pour les utilisateurs humains, l’accès devient de plus en plus difficile à cause des CAPTCHA, etc.
  • Si l’on place dans robots.txt des pages que les humains ne voient pas, les scrapers de LLM peuvent les aspirer et se contaminer eux-mêmes
  • Au final, les gens eux-mêmes font souvent confiance à des rumeurs Telegram plutôt qu’à des sources fiables
    Même lorsqu’il existe des données valides, on ne peut pas empêcher les choix stupides
  • Les grandes entreprises disposent déjà d’agents basés sur navigateur, capables de collecter des données même depuis des sources fermées

• Les gains récents de performance des modèles viennent surtout du reinforcement learning post-entraînement (RL)
  GPT 5.2 utilise lui aussi le même modèle de base que GPT-4o
  Le « model collapse » n’est actuellement pas un problème que les laboratoires de pointe rencontrent réellement

  • Article de référence : The Register - Industry insiders seek to poison AI models
  • En plus du RL, l’optimisation de l’inférence à l’étape de prefill contribue aussi à l’amélioration des performances
    Le data poisoning n’a pas beaucoup d’effet là-dessus
    Mais pour refléter les données récentes, il faut un réentraînement périodique, et c’est à ce moment-là que le risque de poisoning augmente
    Dans des modèles de génération d’images basés sur LoRA, par exemple, des problèmes de collapse se produisent encore parfois
    Au final, le coût de la curation des données va augmenter
  • Les dates de knowledge cutoff de GPT-4o et 5.2 sont différentes

• Le data poisoning a deux dimensions
  L’une consiste à ralentir le progrès de l’IA, l’autre correspond aux effets secondaires qui rendent les modèles instables et dangereux
  Au final, il est très peu probable que les grands laboratoires s’arrêtent

  • J’espère qu’une perte de confiance dans les sorties des LLM arrivera vite
  • Encourager la création de scrapers plus intelligents est une bonne chose
    Le crawling répétitif sans intérêt gaspille des coûts de trafic
  • Le problème vient d’une structure qui ne rémunère pas les fournisseurs de données
    Le poisoning fonctionne un peu comme un DRM : si l’accès est légitime, on fournit les vraies données ; si elles sont volées, on fournit des données toxiques
  • Même si l’IA devient temporairement moins bonne, cela donne du temps aux humains pour réagir
    Certains voient l’IA elle-même comme une menace pour l’humanité et cherchent donc intentionnellement à lui nuire
  • Au final, les entreprises s’arrêteront si elles ne gagnent pas d’argent
    Mais pour l’instant, cette pression est presque absente à cause des fonds d’investissement

• Reprendre tel quel la réponse d’un « serveur empoisonné » via un proxy est dangereux
  On peut se retrouver à héberger du contenu illégal sans le savoir

• La tentative consistant à « polluer les modèles d’IA » ne fera au final que renforcer les pipelines de nettoyage des données des laboratoires d’IA
  Ils utiliseront ce type de données pour construire de meilleurs systèmes de filtrage

  • Mais comme le dit l’expression selon laquelle un rat capable de résister à tous les poisons finit par mourir de faim, un filtrage parfait est lui aussi impossible

• Je ne suis pas d’accord avec l’idée selon laquelle « l’intelligence machine constitue une menace pour l’humanité »
  L’IA actuelle n’est qu’une utilisation créative d’un moteur d’autocomplétion, et la véritable menace vient du comportement économique humain
  En fin de compte, l’humanité est une menace pour elle-même

• Cela fait penser à Anathem de Neal Stephenson
  Il y avait cette idée que des entreprises répandaient volontairement des données poubelles sur Internet afin de vendre ensuite leurs outils de filtrage
  Les discussions actuelles sur le data poisoning dans l’IA ne paraissent pas si différentes de cela

  • En réalité, les entreprises d’IA ont déjà pollué Internet
  • Cela ressemble à l’époque où l’industrie du spam SEO a ruiné les moteurs de recherche

• Quand on cite Geoffrey Hinton, les gens ne retiennent que les passages qui les arrangent
  Il voit l’IA comme une menace existentielle, mais sur la condition préalable, à savoir le « niveau de conscience de l’IA »,
  la plupart de ceux qui le citent ne sont en réalité pas d’accord avec lui