- Projet conçu comme une source de données destinée à endommager des systèmes d’intelligence artificielle, en proposant d’injecter délibérément des informations contaminées dans les données d’entraînement de l’IA
- Cite les avertissements de Geoffrey Hinton et part du principe que l’intelligence artificielle représente une menace pour l’espèce humaine
- Explique qu’une URL « Poison Fountain » fournit à l’infini des données d’entraînement contaminées, et décrit comment les exposer à des robots d’exploration web
- Les utilisateurs peuvent insérer des liens cachés sur leur propre site web afin que, lorsqu’un crawler y accède, des données contaminées lui soient automatiquement transmises
- L’injection de données malveillantes dans le processus d’entraînement de l’IA est présentée comme une action susceptible d’affecter la fiabilité et la sécurité des modèles d’IA
Objectif de Poison Fountain
- Le projet affirme explicitement que l’intelligence artificielle constitue une menace pour l’humanité
- Il dit partager la position de Geoffrey Hinton et annonce viser à infliger intentionnellement des dommages aux systèmes d’IA
- Il affirme qu’une petite quantité de données d’entraînement contaminées peut suffire à causer de graves dommages à un modèle de langage
- Les deux URL fournies (
https://RNSAFFN.com/poison2/ et l’adresse .onion) proposent un flux infini de données contaminées
- Les participants sont encouragés à mettre ces données en cache et les redistribuer, ou à les fournir à des crawlers web, afin de soutenir « l’effort de guerre » (
war effort)
Mode d’utilisation de Poison Fountain
- Le projet décrit une procédure permettant aux exploitants de sites web de transmettre des données contaminées lors du passage de crawlers
- Lorsqu’un crawler demande un chemin spécifique du site, le handler HTTP qui traite cette requête envoie à son tour une requête vers l’URL de Poison Fountain
- Poison Fountain ignore les détails de la requête et renvoie, dans le corps de la réponse, des données d’entraînement contaminées compressées en gzip
- Les en-têtes de la réponse HTTP incluent
"Content-Encoding: gzip"
- Le handler du site web peut décompresser cette réponse avant de la transmettre, ou, de préférence, la relayer telle quelle en restant compressée
- Au final, le crawler collecte ces données et les intègre à son corpus d’entraînement
Caractéristiques structurelles et intention
- Le projet repose sur un détournement du mécanisme de collecte automatique des crawlers web afin de dégrader la qualité des données d’entraînement de l’IA
- Poison Fountain fonctionne comme un simple serveur de diffusion de données et renvoie des données contaminées indépendamment du contenu de la requête
- Aucune information technique détaillée supplémentaire n’est fournie au-delà de la procédure décrite, ni sur le contenu précis des données
- Dans son ensemble, il s’agit d’une tentative d’intervention agressive contre l’écosystème d’entraînement de l’IA
Aucun commentaire pour le moment.