Google, Bing, Marginalia, Kagi, Mwmbl et ChatGPT : analyse comparative

À quel point la qualité des résultats de recherche est-elle mauvaise ?

• Une expérience est proposée sur la qualité des résultats de recherche. Par exemple, trouver des projets open source comme yt-dlp avec un terme générique tel que "youtube downloader" est difficile à cause des fermes de contenu.
• De nombreux experts techniques estiment que les résultats de recherche de Google se sont nettement dégradés par rapport à il y a 10 ans. D’autres soutiennent toutefois qu’ils restent de bonne qualité.

Comparaison des moteurs de recherche et de ChatGPT

• Les résultats sont comparés entre plusieurs moteurs de recherche et ChatGPT sur trois types de questions.
• Les moteurs de recherche sont testés avec le bloqueur de publicité désactivé afin de reproduire l’expérience d’un utilisateur ordinaire.
• La qualité des résultats est évaluée de manière subjective, avec une appréciation différente selon la présence ou non de résultats frauduleux.

Évaluation des résultats de recherche

• Marginalia fournit parfois des réponses correctes et affiche la plus faible proportion de résultats frauduleux.
• Mwmbl permet aux utilisateurs de modifier directement le classement des résultats de recherche.
• Google a tendance à renvoyer des vidéos YouTube récentes, ce qui est inutile pour la plupart des utilisateurs.
• ChatGPT montre des performances impressionnantes dans un cas, tandis que dans d’autres il exécute correctement la tâche ou refuse de répondre à la question.

Problèmes de Google et Bing

• Google et Bing renvoient divers types de résultats erronés.
• L’écosystème de recherche traditionnel privilégie ce qui profite le plus à la chaîne d’approvisionnement logicielle plutôt que ce qui bénéficie le plus aux utilisateurs.

Problèmes de la recherche financée par la publicité

• Les moteurs de recherche financés par la publicité ont des incitations qui ne sont pas alignées avec la fourniture de bons résultats aux utilisateurs.
• Google rend la distinction entre les publicités et les vrais résultats de recherche difficile, ce qui peut semer la confusion chez les utilisateurs.

Le potentiel des petits moteurs de recherche

• La question est posée de savoir si de petits moteurs comme Marginalia peuvent remplacer Google, ou si plusieurs petits moteurs peuvent offrir de meilleurs résultats que Google.
• Des doutes subsistent sur l’efficacité de l’approche de curation par les utilisateurs de Mwmbl.

Avis de GN⁺

• Le débat sur la qualité des résultats de recherche montre à quel point les utilisateurs dépendent des moteurs de recherche. Les grands moteurs comme Google dominent toujours, mais cela suggère que de petits moteurs peuvent rester compétitifs sur des marchés de niche.
• Les problèmes des moteurs de recherche financés par la publicité soulignent qu’ils peuvent constituer un obstacle pour les utilisateurs qui cherchent réellement l’information qu’ils veulent. Cela met en avant le besoin de moteurs alternatifs pour améliorer l’expérience utilisateur.
• Cet article aide à comprendre comment les utilisateurs techniquement avertis contournent les limites des moteurs de recherche, ainsi que les problèmes auxquels les utilisateurs ordinaires sont confrontés.

[GN⁺]

Avis Hacker News

• Malgré les améliorations de l’algorithme de Marginalia Search, il est possible qu’il ait simplement eu de la chance sur les requêtes d’exemple. J’ai toujours l’impression qu’il est plus irrégulier que les autres alternatives. Cela montre à quel point il est difficile d’évaluer la qualité de la recherche. Il faut comprendre qu’en tant que moteur de recherche par mots-clés, il n’a pas de compréhension sémantique.
• Partage d’expérience sur Kagi : après en avoir entendu parler sur HN, abonnement souscrit après 100 recherches. Lors de recherches aléatoires sur JS et CSS, MDN apparaît comme premier résultat, et sinon il est possible de rétrograder les sites de spam.
• Je fais partie de ceux qui pensent que les résultats de recherche de Google restent très bons. J’admets utiliser un bloqueur de publicité (uBlock Origin) et je n’ai aucune intention de le désactiver. Je comprends le point de vue de l’auteur, qui le coupe pour imiter l’expérience de recherche d’un non-spécialiste, mais d’autres tests peuvent aussi être faits avec le bloqueur activé. Les attentes sur les résultats de recherche pour yt-dlp ne correspondent pas à l’expérience d’un non-spécialiste.
• Fournit des liens pour plusieurs termes de recherche afin de comparer les résultats actuels de Kagi avec ceux vus par des personnes sans compte.
• D’accord avec l’auteur sur le fait qu’il y a beaucoup trop de spam sur le web. Kagi fait plutôt du bon travail pour rétrograder le spam, et via des modes de recherche spéciaux comme « Small Web », on peut presque l’éliminer.
• La recherche est difficile, et tout le monde semble savoir comment manipuler les résultats. Recommande d’utiliser des moteurs de recherche permettant de modifier efficacement les sites pris en compte, comme Kagi ou le moteur de recherche programmable de Google. La fonction de vote sur les résultats est séduisante, mais susceptible d’être manipulée. L’approche par liste blanche a des inconvénients, mais je préfère valider les nouveaux domaines via les réseaux sociaux.
• L’affirmation selon laquelle la qualité de la recherche s’est dégradée repose souvent sur des preuves anecdotiques, alors que cela devrait être vérifiable. Des tentatives ont été faites pour présenter des preuves réelles et des critères, mais la taille de l’échantillon est trop petite pour formuler une affirmation générale.
• Je ne comprends pas pourquoi les auteurs d’articles sur ChatGPT utilisent la version 3.5. Les résultats sont nettement différents par rapport à GPT-4.
• Recommande d’essayer uBlacklist. C’est un outil qui permet de bloquer des résultats de recherche, avec synchronisation de la configuration et de la liste personnelle de blocage via Dropbox ou Google Drive. Il permet aussi de s’abonner à des listes de blocage, mais il n’existe pas encore de flux intégré.
• Remet en question l’idée qu’un bon résultat de recherche pour « téléchargement de vidéos YouTube » devrait être yt-dlp ou yt-dlp avec une interface graphique. La plupart des gens ne s’intéressent pas à la programmation, ce qui rappelle à quel point les résultats de recherche sont subjectifs.
• Impossible de reproduire le fait que l’auteur ait obtenu de mauvais résultats sur Kagi. Pour les mêmes termes recherchés, les résultats sont bien meilleurs. Je me demande comment l’auteur a pu obtenir d’aussi mauvais résultats.
• L’attente de l’auteur selon laquelle tous les résultats devraient renvoyer le même type de liens est étrange. Une recherche dont les 10 liens pointent tous vers la même chose est une mauvaise recherche. Les résultats doivent couvrir des hypothèses raisonnables pour une requête donnée. Cet avis se reflète aussi dans les indicateurs de qualité des moteurs de recherche.