Google Search peine à faire face à une vaste attaque de spam
(searchenginejournal.com)- Les résultats de recherche Google sont exposés depuis plusieurs jours à une vaste attaque de spam : plusieurs domaines se classent chacun sur des centaines de milliers de mots-clés, et l’ampleur totale pourrait atteindre plusieurs millions de requêtes
- L’attaque semble viser à la fois les requêtes de longue traîne, les algorithmes de recherche locale plus permissifs et la brève fenêtre de visibilité initiale des nouveaux domaines
- Certains domaines de spam se sont classés dans les 24 à 48 heures suivant leur enregistrement, et un seul domaine s’est positionné sur plus de 300 000 expressions de mots-clés
- Les pages de spam distinguent les visiteurs ordinaires de Googlebot : elles n’affichent le contenu que depuis les IP de Google et redirigent les autres visiteurs vers d’autres domaines
- Google a déclaré le 19 décembre avoir transmis ces cas à l’équipe Search pour examen, mais la correction des failles de la recherche locale et de la longue traîne reste un défi
Du spam envahit les résultats de recherche Google
- Pendant plusieurs jours, les résultats de recherche Google ont subi une attaque de spam d’un niveau difficile à maîtriser
- Plusieurs domaines se classent chacun sur des centaines de milliers de mots-clés, et l’ampleur de l’attaque pourrait atteindre des millions d’expressions de recherche
- Selon Lily Ray, dans les 20 premiers résultats de la recherche
"craigslist used auto parts", tous les résultats sont du spam à l’exception des deux premiers résultats de Craigslist
Les trois opportunités visées par le spam
- Les sites de spam semblent exploiter au moins trois fenêtres d’opportunité dans le système de classement de Google
-
Requêtes à faible concurrence
- Les mots-clés de longue traîne à faible volume de recherche ont peu de concurrence et sont donc plus faciles à positionner
- Les requêtes qui surviennent une fois par mois, voire une fois par an, ont une barrière d’entrée particulièrement basse pour apparaître dans les classements
-
Algorithmes de recherche locale
- La recherche locale s’applique aux recherches à dimension géographique, comme les restaurants à proximité ou les horaires de cinéma
- Cet algorithme est plus permissif, au point qu’un restaurant local sans liens puisse être classé
-
Brève visibilité initiale des nouveaux domaines
- De nombreux domaines de spam ont été enregistrés 24 à 48 heures avant d’apparaître dans les résultats
- Lorsqu’un site entièrement nouveau manque de signaux, Google utilise des estimations et peut lui donner une visibilité plus importante au début, avant que les signaux réels ne soient confirmés
- Les domaines de spam peuvent profiter de cette courte période pour entrer dans les résultats de recherche, s’exposer à un grand nombre de requêtes, puis disparaître
Les réseaux de liens pourraient servir à la découverte et à l’indexation
- Bill Hartzer a révélé le réseau de liens de plusieurs sites de spam au moyen d’un graphe de liens généré avec l’outil de backlinks Majestic
- Le graphe montrait plusieurs sites web fortement interconnectés, un schéma courant dans les réseaux de liens spammy
- Plutôt que d’être la cause directe d’un bon classement, les liens pourraient aider Googlebot à découvrir et crawler de nouvelles pages de spam afin qu’elles soient indexées, ne serait-ce qu’un jour ou deux
- Bill Hartzer estime aussi que le fait que Google accorde plus de poids au contenu qu’aux liens pourrait être en partie en cause
Combinaison de longue traîne et de recherche locale
- Les requêtes sur lesquelles plusieurs sites de spam se classent combinent des expressions de longue traîne et des éléments de recherche locale
- La longue traîne désigne des expressions peu recherchées, avec moins de concurrence et donc plus faciles à positionner
- Si un opérateur de spam crée des millions de pages de longue traîne, il peut s’exposer chaque jour à des centaines de milliers de mots-clés en peu de temps
- Contrairement à un modèle comme Amazon, qui vend d’innombrables produits individuels, le spam consiste à adapter des pages à une multitude de requêtes à faible concurrence pour les rendre visibles
- Les cas observés incluent des expressions comme
Craigslist auto parts,Craigslist rooms to rentetCraigslist for sale by owner - L’ampleur du spam dépasse largement les mots-clés contenant le mot
Craigslist
Des pages de spam visibles uniquement par Googlebot
- Lorsqu’on accède à une page de spam avec un navigateur ordinaire, il est impossible de voir le contenu réel de la page, qui redirige automatiquement vers un autre domaine
- Le site n’était pas non plus visible avec le vérificateur de liens du W3C, et la redirection persistait même en remplaçant l’agent utilisateur du navigateur par Googlebot
- Cela suggère que les sites de spam vérifient non pas l’agent utilisateur, mais l’adresse IP de Googlebot
- Si l’IP du visiteur est identifiée comme appartenant à Google, le contenu est présenté à Googlebot ; les autres visiteurs sont envoyés vers un autre domaine contenant du contenu suspect
- En utilisant Google Rich Results Tester pour accéder à la page depuis une IP Google, il est possible de voir le HTML de la page de spam
- Le HTML a été copié depuis Rich Results Tester, enregistré dans un fichier puis débarrassé de JavaScript, ce qui a permis d’observer la page web de spam telle que Google la voit
Un seul domaine classé sur plus de 300 000 mots-clés
- La feuille de calcul partagée par Bill Hartzer contient une liste des expressions de mots-clés sur lesquelles un site de spam s’est classé
- À lui seul, ce site de spam s’est classé sur plus de 300 000 expressions de mots-clés
- Les mots-clés comprenaient de nombreuses expressions liées à Craigslist, mais aussi beaucoup d’expressions de longue traîne intégrant des éléments de recherche locale
- Les expressions de longue traîne et les expressions de recherche locale sont chacune faciles à positionner ; combinées, elles peuvent se classer encore plus facilement
Failles de la recherche locale et réponse de Google
- La recherche locale utilise un algorithme différent de celui de la recherche non locale
- Les sites locaux n’ont pas besoin de nombreux liens pour se classer sur une requête ; il leur suffit de contenir les mots-clés appropriés pour déclencher l’algorithme de recherche locale
- L’algorithme de recherche locale est très permissif : il existe même un cas où un site presque entièrement rédigé en latin s’est classé sur une expression comme
Rhinoplasty Plano Texas - Danny Sullivan, de Google SearchLiaison, a indiqué le 19 décembre avoir transmis ces cas à l’équipe Search, qui les examine
- Google pourrait réagir de manière plus stricte, par exemple en empêchant les sites de certains domaines de se classer, mais il reste à voir s’il trouvera une solution à ce type de spam
7 commentaires
Dans le document web de signalement du spam Google, lorsque vous signalez un domaine du type
abc.abc.uk/trashasda, signalez-le sous la formeabc.uk, puis ajoutezabc.abc.uk/sitemap.xmldans le champ de recherche qui permet d’identifier précisément le problème. Il semble que le site soit déjà solidement préparé comme solution et qu’il soit structuré de façon à recréer immédiatement des pages dérivées lorsqu’un utilisateur ordinaire y accède. La bonne manière d’y répondre est d’effectuer des signalements actifs. À chaque clic enregistré par Google, de nouvelles pages de spam sont recréées, et il existe aussi un processus qui pousse les bots à y accéder viagoogle.com/url,image.google.com/url, la redirection Naver, etc., avant de les rediriger de nouveau vers les pages de spamgénérées. Ne cliquez donc pas dessus : copiez seulement le lien pour le signaler. Tant que l’algorithme de redirection explicitement indiqué pargoogle.com/urlne sera pas supprimé, il semble que le problème actuel continuera à se manifester.(spam, signalement de page web spam)
Si vous signalez une page web relevant de la solution anti-spam ci-dessus,
il faut renseigner au total 5 champs : dans le premier, le domaine principal, et dans les 4 URL supplémentaires, la liste des pages dérivées créées à partir de celui-ci. Il est également préférable d’indiquer dans la requête de recherche le sitemap de ce domaine. Quand on ouvre le sitemap, on voit qu’ils ont adopté une stratégie où des pages comme
/new/asdasdsont générées dès qu’on y accède ; ainsi, si vous rédigez un signalement de document, cela finit par pousser Google à générer en plus des pages qui s’échappent lors de la consultation. C’est un adversaire particulièrement méticuleux, donc il faut signaler le domaine lui-même.Dans mon cas
(h a été remplacé par x, et / par |)
xttp:||baddomain.com
xttp:||baddomain.com/blogs
xttp:||baddomain.com/blogs/asdasd1
xttp:||baddomain.com/asdasd1
xttp:||baddomain.com/asdasd2
Après avoir rédigé le signalement comme ceci,
si c’est un cas où tout est pourri à partir du sous-domaine, j’envoie un signalement avec le mot-clé
site:*baddomain.comrédigé de cette manière.Ensuite, si le site lui-même est entièrement du spam, j’envoie aussi en parallèle un signalement de site de phishing.
Ironiquement, les logiciels de ces sites web de spam ont bien des tag managers intégrés, et malgré l’utilisation de sites comme https://picsum.photos, ils sont quand même correctement indexés. Cela signifie aussi que Google ne les vérifie pas. Même lorsque l’activité dépasse largement le cadre normal du spam, si des pages web de spam + des publicités AdWords sont en place, les signalements n’y changent pas grand-chose, car des pages dérivées sont créées rapidement au rythme du trafic publicitaire entrant. Le fait que ces sites de spam utilisent normalement des tag managers est particulièrement glaçant.
Cela fait un mois que je dépose des signalements de spam, et si vous les signalez comme documents spam ou frauduleux tout en les signalant aussi sur la page de signalement des sites de phishing, le nettoyage sera plus rapide. J’inclus aussi cette page, mais s’il s’agit d’un domaine de premier niveau comme
abc.abc.uk, il faut saisirabc.ukafin d’aider à traiter le domaine lui-même. C’est devenu une tâche quotidienne laissée aux webmasters.On voyait déjà depuis longtemps que la qualité globale des résultats de recherche de Google se dégradait, mais si l’entreprise subit ainsi des attaques massives en peu de temps, encore plus de gens finiront sans doute par ne plus faire confiance aux résultats de recherche de Google.
Avis de Hacker News
Autrefois, il existait une politique explicite selon laquelle les sites qui montraient à Googlebot un contenu différent de celui présenté aux utilisateurs ordinaires non connectés n’étaient pas autorisés et étaient lourdement pénalisés.
Cette politique a aujourd’hui disparu, mais si les outils d’application automatique avaient été corrects, ils auraient sans doute aidé dans une situation comme celle-ci.
Récemment, Google semble tout à fait accepter les sites qui montrent du contenu à Googlebot tout en le cachant délibérément aux utilisateurs ordinaires.
Sur ce volume, Bing représentait environ 70 % du trafic des crawlers, Google environ 25 %, et Bing crawlait de manière si agressive qu’en quelques mois il a doublé un trafic déjà énorme, révélant nos limites de passage à l’échelle.
Je m’occupais du système qui choisissait les publicités à afficher sur les pages ; c’était un système publicitaire interne avec ciblage basé sur nos propres données, donc la partie la plus coûteuse en calcul, et les publicités étaient insérées directement dans le HTML.
Quand j’ai compris que 90 % de l’infrastructure de sélection des pubs servait à nourrir les crawlers en publicités, j’ai voulu désactiver les pubs pour eux, mais cela semblait aller à l’encontre de l’esprit de la politique de Google selon laquelle « le crawler et les utilisateurs doivent voir le même contenu ».
Au final, nous avons désactivé presque tout le ciblage et montré aux crawlers des publicités aléatoires à peu près cohérentes avec la page, ce qui a réduit de près de 80 % les coûts de l’infrastructure de sélection des pubs et économisé des montants à six chiffres en dollars chaque mois.
C’est le genre de chose que rate la question « pourquoi une entreprise a-t-elle besoin de beaucoup d’ingénieurs si la fonctionnalité cœur du produit peut être reproduite en 100 lignes ? ». À une échelle suffisante, le simple fait de gérer le trafic des crawlers demande une vraie ingénierie.
Au début des années 2000, Google crawlait principalement depuis des IP appartenant à Google, mais utilisait aussi parfois des IP de FAI partenaires comme Comcast.
Si vous faisiez du cloaking par IP, il fallait aussi faire attention à ces pénibles IP non-Google ; à l’époque, j’ai déjà joué à ce petit jeu avec les scripts d’un service appelé « IP Delivery ».
Ajoutez à cela les sites de spam qui arrosent un maximum de mots-clés, et passé la première page, quel que soit ce que vous cherchez, 95 % des sites ressemblent à du spam.
Je ne comprends pas pourquoi on a laissé Internet devenir comme ça. Il devrait exister un moyen de signer le contenu authentique/fiable, et les certificats SSL n’en sont clairement pas un.
On pourrait peut-être aussi crowdsourcer une note de légitimité des sites.
C’est aussi pour cette raison que les gens se rabattent sur de grands noms comme Reddit ou YouTube. Comme chez McDonald’s, ils savent que ce qu’ils obtiennent cette fois-ci sera identique à ce qu’ils ont déjà eu.
Je suis passé à Kagi il y a quelques mois. Il est parfois difficile d’obtenir de bons résultats, mais quand je vérifie sur Google, ce n’est pas vraiment mieux.
Il ne fait pas toujours remonter correctement les sites que j’aime, mais j’ai déjà commencé à booster et épingler plusieurs domaines pour ajuster les résultats à mes goûts.
J’utilise encore beaucoup d’autres services Google, dont Gmail et Maps, mais plus la recherche.
Cela dit, ces derniers mois, j’ai complètement arrêté la recherche sur Internet elle-même. ChatGPT-4 le fait de manière bien plus efficace, et tant que cette expérience ne se dégrade pas d’une façon ou d’une autre, je ne vois aucune raison de revenir à la recherche web.
Quand Kagi ne trouve pas quelque chose qu’il devrait trouver, j’essaie Google, mais Google s’est vraiment dégradé.
J’ai franchement du mal à croire à quel point il est devenu mauvais par rapport à il y a 10 ans.
Je vois de plus en plus de sites fournir une quantité absurde de texte pour répondre à une question simple.
Ils suivent presque toujours une structure où la vraie réponse se trouve tout en bas de la page.
En surface, ça a l’air pertinent, mais quand on lit vraiment, c’est un texte complètement générique et inutile. On dirait un lycéen qui meuble une dissertation pour atteindre le nombre de mots demandé.
Plusieurs consultants SEO ont publié des études selon lesquelles les pages contenant plus de 2 000 mots-clés étaient mieux classées, puis toutes les entreprises ont commencé à gonfler leurs pages avec des pavés de 2 000 mots de baratin pour plaire à Google.
Ça se voit généralement à leur structure de dissertation de lycée, et ils se terminent souvent par un paragraphe du type « en conclusion, il y a beaucoup d’avantages, mais aussi beaucoup d’inconvénients ».
Pendant 20 ans, on a tenu pour acquis que les moteurs de recherche tels qu’on les connaît pouvaient résoudre des problèmes généraux, mais le concept même consistant à utiliser le crawl web non supervisé comme entrée d’un moteur de recherche à objectif unique pourrait bien disparaître.
Si je repense à mes requêtes web de ces un ou deux dernières années, il me semble de plus en plus probable qu’il vaudrait mieux remplacer Google seul par plusieurs systèmes spécialisés.
Pour les questions techniques, chercher directement sur Stack Overflow et GitHub ; pour les lieux locaux, consulter une base de données dédiée où les nouvelles entrées doivent passer un minimum de vérification ; pour les questions médicales, ne chercher que sur quelques sites fiables, etc.
On s’est habitués à Google parce qu’il est pratique de saisir au même endroit un titre de film, « chinese restaurant philadelphia », « flights to miami 4/12/24 » ou « Error code 127 python », mais il vaudrait sans doute mieux que ce point d’entrée devine le type de recherche, avec l’aide de grands modèles de langage, puis redirige vers une recherche spécialisée et sélectionnée.
Je me demande si un retour au modèle d’annuaire à la DMOZ/Yahoo, avec une sélection humaine, pourrait aussi inverser la vague de spam et de clickbait dont on se plaint récemment.
J’aimerais pouvoir supprimer GeeksForGeeks de tous mes résultats de recherche pour toujours en un clic. Et pouvoir continuer à ajouter des sites à une liste qu’on appelait autrefois une « liste noire ».
Quand je fais une recherche d’images, je ne veux absolument jamais voir Pinterest.
Mes résultats de recherche s’amélioreraient alors rapidement.
Mieux encore, en agrégeant les listes de tous les utilisateurs, on pourrait aussi améliorer la recherche de ceux qui n’ont pas encore constitué de liste noire.
La capacité d’un site à faire des affaires sur le web dépendrait entièrement du fait qu’il soit correctement classé dans ce moteur, voire classé tout court.
Si, pour une raison quelconque, on veut lancer un concurrent de Stack Overflow, il deviendrait très difficile d’attirer l’attention.
C’est déjà un peu le cas avec les moteurs de recherche généralistes actuels, mais il reste au moins une chance d’être suffisamment cité, de monter assez haut dans le classement et de recevoir du trafic.
C’est précisément pour cela que le modèle Yahoo s’est effondré. À l’époque, les annuaires n’affichaient souvent pas les informations les plus récentes simplement parce qu’un site ne figurait pas dans leur liste ajoutée manuellement.
À mon avis, le problème actuel de Google tient moins au spam lui-même qu’à la complaisance de Google. Comme les annonces Google sont de toute façon présentes sur tous les sites, la fonction « maximiser le revenu par recherche » ne se soucie guère de savoir si l’utilisateur trouve ce qu’il veut.
En lui servant de mauvais résultats, on peut même l’amener à ouvrir davantage de pages, et donc lui montrer plus de publicités.
Ce n’était pas comme ça quand l’ancienne recherche Google dominait les sites de spam, mais aujourd’hui on a l’impression qu’ils ne font plus de mises à jour algorithmiques pour contrer la tendance actuelle, et les sites de spam ont déjà compris ce qui remonte en tête.
La beauté des moteurs de recherche, en théorie, c’est qu’ils permettent de trouver du nouveau.
Exclure le web ouvert ne ferait que renforcer et figer les acteurs actuels.
J’ai l’impression que la qualité des réponses obtenues via Google Search baisse fortement depuis longtemps.
J’ai vu d’autres personnes dire la même chose.
Je ne sais pas quand cette tendance a commencé.
Est-ce quelque chose qui dure depuis longtemps sans avoir reçu l’examen nécessaire ? Cette attaque de spam en est-elle la phase finale ?
Ils ont raté l’interaction humaine sans fard, et j’ai l’intuition que tout a ensuite fait boule de neige.
Les gens ont cessé d’essayer de vraiment s’y fier, parce que tout le monde a compris que Google s’en fichait.
Avant, l’optimisation visait à en faire un couteau bien aiguisé ; maintenant, elle vise à en faire un couteau de sécurité.
Le contenu poubelle augmente énormément chaque année, tandis que le contenu informatif ou de qualité semble stagner, voire diminuer à cause de la corruption des données.
J’aurais pensé que Search Engine Journal saurait très bien que Google applique régulièrement des changements qui influencent la manière dont les sites sont évalués.
Pendant ces périodes de changement, les classements peuvent varier fortement, avec par exemple des résultats « non pertinents » ou « de faible qualité » qui remontent très haut sur certaines requêtes, et cet état peut durer longtemps.
Autrefois, ces mises à jour algorithmiques étaient surveillées et discutées avec beaucoup d’attention sur les sites consacrés au référencement.
Cela dit, cela fait plus de dix ans que je n’utilise plus Google ; ce n’est donc qu’une réflexion par simple curiosité.
L’article explique pourquoi ce phénomène a de fortes chances de se produire.
En résumé, les spammeurs semblent exploiter deux failles.
Il existe d’autres raisons pour lesquelles ces sites passent entre les mailles du filet, et l’article les détaille.
Google est devenu inutilisable dans de nombreux contextes, et il récompense le spam. Ils prétendent le contraire, mais c’est bien le cas en pratique, et beaucoup de stratégies de référencement actuelles consistent à diffuser des articles, des pages, etc. auprès des moteurs de recherche.
Pas pour fournir du contenu utile, mais pour obtenir des backlinks, des liens internes, etc.
C’est particulièrement grave avec le référencement localisé, où il faut créer des ensembles de pages différents selon les régions.
Au fond, on est revenus à l’époque des débuts de Google, quand il était facile à manipuler.
Maintenant, les gens utilisent l’IA pour produire et diffuser des centaines de pages et d’articles. C’est vraiment devenu mauvais, mais le pire, c’est que pour rivaliser sur les mots-clés, il faut désormais faire cela.
Aujourd’hui, on dirait qu’ils ne s’en soucient plus.
Des pages de référencement de mauvaise qualité se classent au-dessus de sites légitimes, ce qui pousse ces sites légitimes à payer de la publicité. C’est très triste.
Google a abandonné la recherche organique. Je connais assez bien le SEO, et désormais je n’arrive plus à utiliser Google Search. Je peux deviner très rapidement pourquoi telle page occupe tel rang, et aucune des raisons n’a quoi que ce soit à voir avec des informations exactes et utiles
Google est une place de marché, où le résultat le plus « engageant » l’emporte, à condition de suivre une certaine structure de contenu
Désormais, la plupart des résultats payants ont plus de valeur pour l’utilisateur que les résultats organiques. C’est ce que veut Google. Il s’agit de cliquer sur les résultats payants et d’ignorer les déchets
D’après le premier paragraphe, cela ne veut-il pas dire que les résultats payants sont aussi des déchets ?
J’ai arrêté d’utiliser Google il y a environ un an, après que Google a commencé à intégrer davantage ChatGPT, et je suis passé à Bing
Dans l’ensemble, je préfère nettement la façon dont il me montre ce que je cherche
Ce n’est pas parfait, mais les quelques fois où, par frustration, j’ai comparé avec Google, Google n’était pas meilleur ; le problème venait du sujet lui-même, pas du moteur de recherche
Comme je ne compare généralement pas avec Google, je ne peux pas affirmer avec certitude que les résultats sont « du même niveau », mais mon expérience est clairement meilleure
Quand je cherche quelque chose, j’obtiens une page avec des liens, et ce que je veux se trouve généralement sur la première page
Parfois, si ce n’est pas le cas, ou si c’est un contenu récent et que Google pourrait avoir une version plus à jour, j’ajoute
!gà ma requête pour aller directement sur GoogleC’est bien, ça fonctionne bien, et ce n’est ni stressant, ni horrible, ni agaçant. Je recommande
Ces dernières années, Google lui-même m’a donné l’impression d’être une attaque de spam
Google gagne de l’argent, et ne se soucie de rien d’autre