- Un article sur l’effondrement de la confiance envers Internet, centré sur le cas de la découverte d’un faux article généré par IA à propos de la réédition « Phantasy Star Fukkokuban » sur Sega Genesis au Japon, alors qu’un tel article n’existait pas en réalité
- Un site bien positionné dans les résultats de recherche publiait un texte mentionnant des améliorations graphiques, des effets météo et d’autres éléments totalement absents du jeu réel ; il s’est révélé être une fiction produite par un grand modèle de langage (LLM)
- L’auteur a aussi vérifié directement le phénomène d’hallucination lié au manque de données d’entraînement en demandant à ChatGPT de décrire le même jeu, qui a alors fourni la mauvaise plateforme et un contenu erroné
- Ce type de contenu généré automatiquement afflue massivement vers des sites publicitaires à visée SEO, renforçant une mécanique qui diffuse des informations fausses mais plausibles sans vérification
- En conséquence, le socle de connaissances partagé d’Internet est en train d’être endommagé, et l’auteur conclut qu’il faut désormais se reposer sur des sites réputés datant d’avant l’ère des LLM pour obtenir des informations fiables
Le cas de Phantasy Star Fukkokuban
- « Phantasy Star Fukkokuban » pour Sega Genesis, sorti au Japon en 1994, est une réédition qui reprend telle quelle la version originale du jeu sur Master System
- Certaines consoles Genesis ne peuvent pas exécuter les jeux Master System, ce qui fait que cette cartouche ne fonctionne pas non plus sur ces modèles
- En cherchant à vérifier la date de sortie du jeu, l’auteur est tombé, parmi les premiers résultats, sur un site contenant de fausses informations
- Le site en question, Press Start Gaming, évoquait des améliorations graphiques, des effets météo et un cycle jour-nuit, alors que rien de tout cela n’existe dans le jeu réel
- Bien que la première phrase de l’article soit « Game data not found », elle était suivie d’une description plausible générée par IA
Le problème des hallucinations des grands modèles de langage
- Les LLM fonctionnent sur la base de la prédiction du token suivant et produisent, sur des sujets rares absents de leurs données d’entraînement, des fictions plausibles
- En combinant le sens de la série « Phantasy Star » et du mot « Fukkokuban » (édition rééditée), le modèle a imaginé une version remake qui n’existe pas
- Lorsque l’auteur a demandé à ChatGPT de décrire ce même jeu, il a reçu une réponse l’identifiant à tort comme une compilation sur Sega Saturn
- Il semble qu’il y ait eu confusion avec un autre jeu réel, « Phantasy Star Collection »
- De manière similaire, pour un autre jeu rare traité par l’auteur, « Mahjong Daireikai », il existe aussi sur le web japonais des descriptions fictives générées par IA
L’effondrement de la confiance dans Internet
- Le site Press Start Gaming est soupçonné d’être une plateforme de contenu automatisé visant les revenus publicitaires
- En bas du site figure la mention « ©2025 Cloud Gears Media », sans qu’un lien réel avec une entreprise identifiable soit clair
- Ce type de site donne la priorité au référencement dans les moteurs de recherche (SEO) plutôt qu’à la transmission de faits
- Avec l’arrivée des LLM, le coût de production de fausses informations a chuté brutalement, entraînant une diffusion massive de contenus non vérifiés
- Autrefois, même des rédacteurs mal payés faisaient au moins un minimum de vérification ; désormais, l’IA produit une fiction complète
- L’auteur explique qu’« il est désormais difficile de faire confiance à de nouveaux sites » et qu’il en est venu à ne s’appuyer que sur des médias ayant construit leur réputation avant l’ère de l’IA
Dégradation de l’écosystème informationnel à l’ère de l’IA
- L’auteur estime que le savoir partagé d’Internet a déjà été endommagé de manière irréversible
- Même des sources d’information fiables risquent d’être contaminées par des contenus IA
- Il cite comme exemple Ars Technica, qui a publié un article contenant une citation générée par IA avant de le corriger puis de le retirer
- Les LLM pourront peut-être un jour gagner en précision à mesure qu’ils intégreront davantage de données, mais les dégâts actuels sont déjà en cours
- L’auteur précise qu’« il ne s’agit que d’un rant », tout en soulignant la perception très concrète de la perte de confiance envers Internet
Conclusion
- L’écosystème de contenu centré sur l’IA et le SEO privilégie l’efficacité de production au détriment de la véracité de l’information
- En conséquence, des textes générés automatiquement sans vérification factuelle se hissent en tête des résultats de recherche et sapent les bases de l’apprentissage et de l’exploration des utilisateurs
- L’auteur conclut par la déclaration « On ne peut plus faire confiance à Internet », laissant entendre qu’il est urgent de restaurer la fiabilité du savoir numérique
1 commentaires
Avis sur Hacker News
Je suis en train de mettre en place un réseau maillé dans notre ville avec des amis
L’internet ouvert était déjà en déclin depuis longtemps, mais les LLM en accélèrent la fin
J’ai accepté que l’internet des années 90 et du début des années 2000 soit désormais mort
À l’avenir, je pense que des réseaux locaux dignes de confiance sont l’alternative
C’est triste qu’on doive se replier dans des espaces exclusifs à cause de gens obsédés uniquement par l’argent
Le cœur du problème, ce n’est pas le réseau mais la qualité du contenu
Il suffit de créer un forum où l’on n’invite que des personnes de confiance
Bonne chance dans cette tentative
En ce moment, je peaufine un lecteur MP3 en réseau ; c’est encore tôt, mais je reste optimiste
Lien du projet
J’ai l’impression que s’il y a beaucoup plus de désinformation en ligne qu’avant, c’est peut-être à cause des marchés prédictifs (prediction markets)
C’est une structure qui pousse à déformer la perception des gens pour pouvoir miser de l’argent
Depuis l’affaire du supraconducteur LK99 en 2023, ce phénomène s’est fortement accentué
Les marchés prédictifs permettent d’échanger de l’information contre de l’argent, mais ils ne sont pas assez vastes pour justifier la diffusion de fausses informations intentionnelles
À mon avis, les principales causes sont plutôt les politiciens, les influenceurs et la désinformation participative motivée par les revenus publicitaires
Le problème, c’est l’effondrement de la confiance sur internet
Avant, il arrivait qu’on se fasse parfois berner par de mauvaises informations, mais aujourd’hui le web déborde de contenus reproduits par des bots
Le ratio humains/bots est presque tombé à zéro
En fin de compte, c’est comme si nous avions incendié le web
Maintenant, on dirait que même ceux qui tiraient les ficelles ne savent plus ce qui se passe
Du coup, les modèles actuels pourraient bien rester les versions les moins biaisées
Je me suis demandé comment protéger HN, mais au final il semble qu’il n’y ait pas d’autre réponse qu’un système basé sur l’invitation
Ces temps-ci, je doute même que les commentaires soient écrits par des humains, et c’est émotionnellement épuisant
L’IA y est presque traitée comme une religion, avec un mélange de comptes bots et de commentaires filtrés par l’IA
Le Fediverse comme Mastodon reste encore sain, mais il finira lui aussi par être contaminé
Le rapport signal/bruit (SNR) sur internet est au plus bas historique
À mon avis, la seule solution est une signature numérique vérifiée comme humaine
Il faudrait pouvoir prouver qu’on est humain tout en conservant l’anonymat via des systèmes comme eIDAS
Lien vers la discussion associée
Il faut préserver l’anonymat tout en bloquant les attaques Sybil
Je cherchais des vidéos sur l’Intel i7-4790T et j’ai été choqué
La plupart des vidéos récentes étaient du contenu « slop » où l’on lit des scripts générés par des LLM
Le produit n’a même jamais été vendu au détail, pourtant des chaînes YouTube en publient des dizaines par jour pour gagner de l’argent avec des liens affiliés Amazon
Exemple vidéo 1 / Exemple vidéo 2
Maintenant que le coût de production de faux contenus est proche de zéro, il faut un mécanisme de confiance scalable
Personnellement, la structure du Web of Trust me paraît séduisante
Certaines personnes seront exclues, mais on n’y peut rien
Je suis en train de mettre en place un archiveur auxiliaire basé sur le protocole Gemini
Je ne prévois d’archiver que le web autorisé par robots.txt
On pourrait former des réseaux de confiance non seulement entre individus mais aussi entre sites
Cela pourrait commencer à l’échelle de communautés locales ou de groupes de loisirs avant de s’étendre progressivement
En cherchant récemment des infos sur le nouveau Hollow Knight, j’ai vu plusieurs faux sites de guides créés par des LLM
Le jeu n’est sorti que depuis six mois, donc il n’existe pas encore beaucoup d’informations réelles, et cela semblait motivé par les revenus publicitaires
Je me demande même si fabriquer de faux contenus reste rentable sur des sujets de niche comme celui-là
La « théorie de l’asymétrie du baratin » fonctionnerait alors en pratique
Les sites web mauvais en SEO sont au contraire plus dignes de confiance
L’avenir d’internet semble aller vers des communautés sur invitation
Je me demande si l’on verra émerger la prochaine génération de forums, ou si l’on reviendra à l’époque de phpBB
Seuls les contenus qui ne deviennent ni des cibles de jeu ni de spam pourront survivre
L’ambiance est similaire à celle de HN, mais avec une structure sur invitation uniquement