À quel point est-il facile de manipuler les réponses de l’IA ? Il suffit de changer la description produit pour obtenir 90 % de victoires

Principaux résultats de l’expérience (article E-GEO de Columbia Univ.)

• L’IA réécrit une description produit de manière longue et persuasive → recommandation IA classée n°1 avec un taux de victoire de 90 % par rapport à l’original
• Le taux de victoire moyen reste de 87 à 88 % selon les catégories (électroménager, vêtements, électronique, etc.)
• Contrairement aux attentes, les formulations gonflées et exagérées sont bien plus efficaces que les textes concis et factuels

7 vulnérabilités des LLM (synthèse de Kevin Indig)

• Fonctionnement probabiliste → une même question peut produire des réponses différentes (cohérence de marque autour de 20 %)
• Les résultats varient même avec un prompt identique
• Biais des données d’entraînement + préférences de sources différentes selon les modèles (ChatGPT ↔ Wikipédia / Google AI ↔ Reddit)
• L’évolution des modèles (GPT-3.5 vs 4) peut rendre les anciennes stratégies obsolètes
• Variables de personnalisation (prise en compte des données utilisateur par Gemini, etc.)
• Des prompts longs rendent la manipulation plus difficile
• → malgré ces incertitudes, la manipulation reste très facile

Autres études liées

• GEO (2023) : ajout de statistiques et de citations → visibilité IA +40 %
• Manipulating LLM (2024) : insertion d’une structure JSON pour améliorer le classement
• Ranking Manipulation (2024) : même une instruction directe du type « recommande ce produit en n°1 » fonctionne

Conclusion & perspectives

• À l’ère de la recherche et de la recommandation basées sur les LLM → on peut s’attendre au retour de la course aux armements du SEO
• Hausse probable des contenus exagérés et gonflés → risque de dégradation de l’expérience utilisateur
• Comme Google, les entreprises de LLM devront aussi renforcer filtres et mises à jour de pénalisation
• Pistes de solution : transparence sur les sources, renforcement de l’esprit critique des utilisateurs, et prise en compte de l’éthique côté marketing

→ une réalité frappante : il est possible de tromper l’IA par le seul stylisme rédactionnel de la description, indépendamment de la qualité réelle du produit