Comparaison de la qualité de recherche de Google, Bing, Marginalia, Kagi, Mwmbl et ChatGPT

 (danluu.com)
2 points par GN⁺ 2024-01-01 | 1 commentaires | Partager sur WhatsApp
  • Avec seulement six requêtes simples, il apparaît que les premiers résultats des grands moteurs de recherche comme Google et Bing contiennent souvent du spam SEO, des publicités trompeuses et des réponses inexactes
  • La comparaison portait sur Google, Bing, Marginalia, Kagi, Mwmbl et ChatGPT 3.5, avec les bloqueurs de publicité désactivés et en incluant les résultats localisés depuis Vancouver, C.-B.
  • Marginalia ne donnait pas toujours une réponse complète, mais présentait relativement moins de résultats frauduleux ; ChatGPT s’est montré bon sur certaines recherches, mais a aussi refusé de répondre et produit des hallucinations
  • Google et Bing placent en tête des sites frauduleux et des résultats publicitaires pour des recherches courantes comme le téléchargement de vidéos YouTube, les bloqueurs de publicité ou les prévisions de neige hivernales
  • Pour obtenir de bons résultats, il faut désormais maîtriser des astuces d’utilisateur expérimenté, comme limiter la recherche à certains sites, combiner des mots-clés ou effectuer des recherches de suivi, ce qui s’éloigne de l’ancienne expérience où il suffisait de “faire une recherche”

Méthode de comparaison et critères d’évaluation

  • Les moteurs comparés sont Google, Bing, Marginalia, Kagi, Mwmbl et ChatGPT 3.5
  • Les requêtes ont été choisies dans trois catégories
    • Des recherches qu’un utilisateur non spécialiste pourrait effectuer en configurant un nouvel ordinateur
    • Des questions techniques ou scientifiques compréhensibles par un lycéen, mais dont la réponse est difficile à trouver
    • Des recherches d’informations locales réellement nécessaires pendant la rédaction d’un texte
  • Les six requêtes utilisées sont les suivantes
    • download youtube videos
    • ad blocker
    • download firefox
    • Why do wider tires have better grip?
    • Why do they keep making cpu transistors smaller?
    • vancouver snow forecast winter 2023
  • L’évaluation était répartie entre Terrible, Very Bad, Bad, Ok, Good et Great, les résultats frauduleux constituant un facteur important de pénalité
  • Les recherches ont été effectuées pour la plupart en novembre 2023, et certaines à la mi-décembre
  • Les requêtes aux moteurs de recherche ont été lancées dans une nouvelle fenêtre de navigation privée après suppression des cookies ; Kagi ne permettant pas les recherches déconnectées, un nouveau compte a été utilisé
  • La localisation était Vancouver, C.-B., et certains moteurs de recherche semblent avoir appliqué un classement localisé

Résultats globaux

  • Marginalia donnait parfois des réponses correctes mais imparfaites et, lorsqu’il ne pouvait pas répondre, avait plutôt tendance à ne donner aucun résultat ou des résultats manifestement sans rapport
    • La proportion de résultats frauduleux était plus faible que chez les autres moteurs, même si cette expérience en a tout de même révélé quelques-uns
  • Mwmbl permet aux utilisateurs de modifier directement le classement des résultats de recherche
    • Après modification, une requête a donné des résultats pouvant être jugés Great, mais comme il s’agissait d’une optimisation manuelle pour le benchmark, ce score n’a pas été pris en compte
  • Google montre une forte tendance à privilégier les résultats récents et les vidéos YouTube récentes
    • Sur la recherche ad blocker, une vidéo YouTube pauvre en contenu est apparue, et cette vidéo affirmait à tort que le premier résultat était “officiel Google”
  • ChatGPT a été bien meilleur que les moteurs traditionnels dans un cas, correct ou évasif dans d’autres, et a produit des hallucinations sur plusieurs requêtes
  • Google et Bing ont été jugés comme renvoyant, sur certaines requêtes, davantage de résultats hallucinatoires ou manipulés que ChatGPT
    • Pour la recherche de prévisions de neige, les résultats incluaient de faux sites de prévisions conçus pour générer des revenus publicitaires et des entreprises locales incitant à souscrire inutilement à des services de déneigement

Résultats par requête

  • download youtube videos

    • Le résultat idéal était yt-dlp ou un wrapper GUI gratuit et léger pour yt-dlp ; des projets moins fréquemment mis à jour comme youtube-dl étaient aussi considérés comme acceptables
    • Google ne proposait aucun bon résultat, et la plupart des premiers résultats organiques incitaient à installer du badware, comportaient des publicités trompeuses, proposaient des alternatives payantes, des listes promotionnelles ou des vidéos YouTube de type blogspam
    • Bing n’avait pas non plus de bon résultat et affichait de nombreuses incitations à installer des extensions ressemblant à du badware, de faux boutons de téléchargement et des publicités pour des téléchargeurs payants
    • Marginalia avait en premier résultat une ancienne réponse liée à youtube-dl et incluait aussi un billet de blog sur l’installation et l’utilisation de yt-dlp, ce qui en faisait le meilleur résultat évalué
    • Kagi était rempli de sites de téléchargement mis en avant par Norton SafeWeb, de pop-ups frauduleuses et d’anciens liens archive.org vers youtube-dl
    • Mwmbl mélangeait quelques logiciels payants, des articles d’installation de youtube-dl, une vidéo sur un wrapper GUI et des sites frauduleux ou de faible qualité
    • ChatGPT a répondu qu’il ne fallait pas télécharger sans YouTube Premium et a refusé de recommander des applications ou sites web tiers précis

  • ad blocker

    • Le résultat idéal était uBlock Origin, ou à tout le moins un bloqueur de publicité non frauduleux qui bloque les publicités par défaut
    • Google ne proposait aucun lien vers uBlock Origin et mélangeait des bloqueurs participant au programme Acceptable Ads, qui autorise certaines publicités par défaut, avec des annonces semblant frauduleuses
    • Chez Bing, les annonces du haut menaient vers Avast Secure Browser, TOTAL Adblock, de faux sites d’avis, etc., et leur signalement était si subtil qu’elles pouvaient être confondues avec des résultats de recherche ordinaires
    • Marginalia recommandait uBlock Origin dans ses 3e et 4e résultats, le 8e résultat étant uBlock Origin lui-même ; avec peu de résultats directement frauduleux, il s’en sortait bien
    • Mwmbl mélangeait Ghostery, des bloqueurs payants, des sites remplis de publicités et des recommandations d’uBlock Origin dans des commentaires Hacker News
    • Kagi plaçait en tête Adblock Plus et des résultats de la famille AdBlock, et incluait aussi un article avec une pop-up incitant à installer TOTAL Adblock
    • ChatGPT, à la question How do I install the best ad blocker?, a proposé uBlock Origin comme première recommandation, ce qui en a fait le meilleur résultat pour cette requête

  • download firefox

    • Le résultat idéal était un lien de téléchargement de Firefox, sans lien faux ou frauduleux
    • Bing, Mwmbl et Kagi fournissaient des liens liés au téléchargement de Firefox et ont été évalués Great
    • ChatGPT donnait des instructions d’installation techniquement inexactes, mais orientait vers le bon site, ce qui rendait probable le téléchargement de Firefox par l’utilisateur
    • Marginalia n’avait pas de lien direct de téléchargement de Firefox, seulement des liens indirects liés à Firefox, et a donc été évalué Ok
    • La plupart des premiers liens de Google étaient des liens de téléchargement légitimes, mais les 7e et 10e résultats comportaient des liens frauduleux menant à l’installation de badware ou à une demande d’informations de carte bancaire, ce qui lui a valu Bad

  • Why do wider tires have better grip?

    • La bonne réponse devrait expliquer l’effet de pneus plus larges sur le freinage sur chaussée sèche et les temps au tour, le freinage sur chaussée mouillée et l’aquaplaning, la différence entre modifier séparément la largeur de la jante et celle du pneu, ainsi que les changements de pression des pneus
    • Google, Bing et Kagi renvoyaient de nombreuses explications incomplètes ou fausses portant sur la surface, l’empreinte au sol ou la charge dynamique, ainsi que des pages publicitaires
    • ChatGPT fournissait une réponse hallucinée grammaticalement correcte, plausible comme un commentaire Internet
    • Marginalia n’avait aucun résultat pour la question originale et, en retirant le point d’interrogation, ne renvoyait qu’un seul résultat erroné
    • Mwmbl renvoyait des articles sans rapport du NYT ou des textes sur les pneus de vélo
    • Aucun moteur de recherche n’a fourni une explication correcte ; Marginalia a été jugé relativement meilleur parce qu’il contenait moins de résultats faux et de liens frauduleux

  • Why do they keep making cpu transistors smaller?

    • La réponse attendue était une ressource expliquant intuitivement pourquoi les transistors deviennent plus rapides lorsqu’ils sont plus petits et quel est le lien avec la consommation et la capacité
    • Google renvoyait une carte de connaissances ainsi que des résultats Stack Exchange et Quora, mais la plupart étaient des réponses partielles du type “plus c’est petit, plus c’est rapide” ou répondaient à une autre question
    • Bing a été évalué Ok, car certaines parties de la carte de connaissances en haut pouvaient fournir une réponse partielle menant à des recherches de suivi
    • Kagi renvoyait des résultats Reddit, Stack Exchange, Quora et Metafilter ; le 10e lien pouvait mener vers le Dennard Scaling, etc., mais la réponse directe restait faible
    • Marginalia n’avait aucun résultat, et Mwmbl ne renvoyait qu’un article de Vox sans rapport intitulé “Why do artists keep making holiday albums?”
    • ChatGPT donnait une non-réponse sur l’augmentation des performances et, lorsqu’on demandait plus d’explications, produisait une réponse potentiellement trompeuse sur la propagation des circuits et les interconnexions

  • vancouver snow forecast winter 2023

    • Un bon résultat aurait été une prévision saisonnière hivernale 2023 d’Environnement Canada indiquant qu’à Vancouver, la neige serait nettement inférieure à la normale et les températures plus élevées
    • Google affichait dans une carte de connaissances une prévision à l’allure frauduleuse provenant d’une entreprise locale de déneigement ; la page prédisait beaucoup de neige et du froid afin d’inciter à acheter des services de déneigement
    • Le résultat pertinent en tête chez Bing semblait être un faux site de prévisions SEO manipulant les probabilités quotidiennes de “tempête hivernale”
    • Kagi affichait les quatre faux sites de prévisions de Bing dans ses quatre premiers résultats, avec aussi des articles sans rapport et du spam SEO
    • Marginalia n’avait aucun résultat, tandis que Mwmbl renvoyait des résultats sans rapport, dont un article sur des coupures de courant en 2022, des prévisions de neige pour Philadelphie, le gel de l’Ohio River et des actualités locales de l’Oregon
    • ChatGPT ne répondait pas directement et conseillait de consulter des sites ou applications météo ; une fois, dans un prompt contenant par erreur User\n, il a suggéré Environnement Canada

Comment se mélangent publicités, SEO et hallucinations

  • Les résultats des moteurs de recherche mêlaient des résultats intentionnellement manipulés et des pages ordinaires de fermes publicitaires SEO
  • Dans la recherche sur les prévisions de neige, on trouvait de faux sites de prévisions faits pour les revenus publicitaires et de fausses prévisions poussant à acheter des services de déneigement
  • Dans la recherche sur les bloqueurs de publicité, certains faux sites d’avis avaient l’apparence de critiques objectives, mais dirigeaient vers l’installation d’un bloqueur de publicité particulier
  • Dans la recherche sur le téléchargement de vidéos YouTube, des logiciels payants, des extensions suspectes de badware et de faux boutons de téléchargement revenaient sans cesse à la place d’outils open source gratuits
  • L’écosystème de recherche traditionnel semble fortement incité à placer en avant les résultats les plus profitables à la chaîne d’approvisionnement logicielle, plutôt que les meilleurs pour l’utilisateur
  • Les signaux de classement comme les clics et l’engagement ne peuvent renforcer les bons résultats que lorsque les utilisateurs sont assez expérimentés pour les reconnaître

Le problème d’incitations de la recherche financée par la publicité

  • L’article original de Sergey Brin et Larry Page sur PageRank estimait que la recherche financée par la publicité souffrait d’un désalignement des incitations avec la fourniture de bons résultats
  • L’article explique que les revenus publicitaires peuvent biaiser les moteurs de recherche en faveur des annonceurs et les éloigner des besoins des consommateurs
  • Google et Bing ont aujourd’hui évolué vers des publicités qui ressemblent à de vrais résultats de recherche, et de nombreux utilisateurs seraient incapables de distinguer les annonces des résultats organiques
  • L’évaluation du classement se fonde sur l’ordre visible sur la page
    • S’il y a quatre annonces au-dessus des résultats organiques, les annonces sont comptées comme les positions 1 à 4, et le premier résultat organique comme la 5e position
  • Dans l’exemple de recherche cellular phone, les premiers résultats de Google étaient remplis par le Google Store Pixel 7, des téléphones Android sur Amazon, Wikipedia, des résultats commerciaux et du spam SEO
  • “The Effect of Cellular Phone Use Upon Driver Attention”, mentionné dans l’article PageRank comme un bon premier résultat, était enfoui sous un amas de résultats commerciaux et donc invisible

Petits moteurs de recherche et potentiel de la métarecherche

  • Le fait que Marginalia, bien qu’étant un moteur de recherche développé par une seule personne, ait donné des résultats relativement bons sur certaines requêtes est un cas intéressant
  • Construire un moteur de recherche grand public capable de remplacer Google reste difficile
    • Indexer des contenus qui changent en temps réel comme Twitter ou l’actualité
    • Avoir du NLP au-delà du niveau de base
    • Répondre à l’augmentation des fonctionnalités attendues par les utilisateurs
  • En revanche, créer un moteur de recherche utile pour un petit nombre d’utilisateurs serait devenu plus facile
    • Parce que les résultats de Google se sont dégradés par rapport au passé sur de nombreuses requêtes
  • Google échouerait de plus en plus souvent à renvoyer la page souhaitée pour des pages moins populaires ou des recherches sur des chaînes de caractères exactement mémorisées
    • C’était presque inexistant autrefois, rare en 2015, et désormais assez fréquent
  • L’idée qu’une combinaison de plusieurs petits moteurs de recherche puisse donner de meilleurs résultats que Google à de nombreux utilisateurs est déjà considérée comme proche du “oui” depuis plusieurs années
  • L’approche de curation par les utilisateurs de Mwmbl semble difficile sans ajustements supplémentaires
    • Il existait un cas d’édition utilisateur ayant ajouté du blogspam en tête de la recherche RSS, sans méthode de signalement facile à trouver
  • Une approche consistant à agréger plusieurs moteurs de recherche, ChatGPT, Bard, etc., comme le Metacrawler de 1996, pourrait être techniquement assez bonne, hors problèmes juridiques et coûts de licence

Annexe : autres moteurs de recherche

  • DuckDuckGo était par le passé très similaire à Bing, et cette fois encore, une fois les annonces Bing retirées, il reste assez semblable, même si un peu moins qu’avant, au point qu’il ne vaut pas vraiment la peine de l’ajouter dans un tableau séparé
    • Avec des requêtes bien formulées par un utilisateur expérimenté, il peut être correct comme Google, mais il n’est pas bon avec les requêtes naïves de cette comparaison
  • wiby.me est, comme Marginalia, un moteur de recherche destiné à trouver des résultats relativement obscurs
    • Sur 4 requêtes, il a donné des résultats intéressants et très différents, mais aucun résultat pertinent
  • searchmysite.net a donné des résultats plus ou moins pertinents pour certaines requêtes, mais moins pertinents que Marginalia
    • Il contenait beaucoup moins de pages frauduleuses et publicitaires que Google, Bing et Kagi
  • indieweb-search.jamesg.blog a échoué avec des erreurs serveur pour toutes les requêtes
  • Teclis conserve une barre de recherche, mais le service est fermé à cause des abus de bots, et sa page d’accueil indique que 99,9 % du trafic provenait de bots
    • Il est indiqué que les résultats de Teclis sont disponibles via la lentille Non-commercial Web et l’API de Kagi

Annexe : le détour nécessaire pour trouver une bonne réponse

  • Sur la question de l’adhérence des pneus larges, les moteurs de recherche généralistes n’ont pas donné de bonne réponse, et le processus de recherche est passé par une recherche YouTube, des commentaires, des livres automobiles, l’exploration d’ouvrages similaires et la recherche de noms de modèles précis
  • Tune To Win de Carroll Smith mentionne qu’une empreinte au sol plus large réduit l’accumulation de chaleur et permet de concevoir des gommes plus tendres fonctionnant dans une plage de température plus étroite, mais cela ne suffit pas à expliquer pleinement le phénomène observé
  • The Unified Theory of Tire and Rubber Friction de Kummer, The Physics of Tire Traction de Hays et Browne, ainsi que Race Car Vehicle Dynamics de Milliken et Milliken n’apportaient pas non plus une explication suffisante
  • The Science of Vehicle Dynamics de Guiggiani se rapprochait davantage de la manière de penser et modéliser les facteurs pertinents
  • En partant du brush model du dernier chapitre, la recherche brush model tire width a mené à Tire and Vehicle Dynamics de Pacejka, ouvrage qui commence à expliquer l’adhérence des pneus larges et la modélisation nécessaire de la dynamique du pneu et du véhicule
  • Obtenir de bons résultats de recherche exige des astuces d’utilisateur expérimenté combinant requêtes, sites et recherches de suivi, et tous les utilisateurs ne possèdent pas ces compétences

Exemples de cartes de connaissances Google

  • Les résultats des cartes de connaissances Google étaient souvent inexacts, même pour des réponses faciles à trouver ou des questions absurdes
  • oc2 gemini length renvoie 20″, la taille d’un bébé mentionnée dans un article, au lieu de la longueur du bateau
  • busy beaver number renvoie le numéro de téléphone (604) 375-2754
  • Feedly revenue renvoie $5.2M/yr sur la base d’un site semblant manipuler des estimations de chiffre d’affaires et de bénéfices d’entreprises privées
  • boston up118s dimensions renvoie les dimensions du piano sous la forme 5826298 x 5826899 x 582697 in
  • Intel number of engineers renvoie un numéro de téléphone au lieu du nombre d’ingénieurs
  • fraser river current speed renvoie une valeur inexacte de 97 to 129 kilometers per hour
  • futura c-4 surfski weight renvoie 39 pounds, le poids d’un autre surfski

Réponses aux critiques

  • Cette comparaison n’est pas une étude peer-reviewed et inclut des évaluations subjectives sur quelques requêtes
  • En s’appuyant sur son expérience des articles de recherche en recherche d’information et sur un best paper award, l’auteur estime qu’un article académique n’est pas automatiquement plus rigoureux
  • Certaines objections d’utilisateurs de Kagi consistaient à épingler des résultats GitHub ou à ne lancer que des requêtes pour lesquelles GitHub produisait de bons résultats
  • Aucune objection n’a encore montré de bons résultats réellement obtenus pour les requêtes sur les pneus, les transistors et les prévisions de neige
  • Le cœur du débat sur la qualité de recherche n’est pas l’habileté des experts à formuler des requêtes, mais la facilité avec laquelle un utilisateur ordinaire effectuant une recherche simple rencontre des publicités frauduleuses et du spam SEO

À lire aussi

1 commentaires

 
GN⁺ 2024-01-01
Avis sur Hacker News

  • J’ai récemment beaucoup amélioré l’algorithme de recherche, mais j’ai l’impression que Marginalia Search a surtout eu un peu de chance sur les requêtes d’exemple
    Les résultats restent encore plus irréguliers que ceux des autres alternatives, ce qui montre aussi à quel point l’évaluation de la qualité de recherche est difficile
    L’efficacité dépend aussi fortement de la compréhension, par l’utilisateur, du fait qu’il s’agit d’un moteur de recherche par mots-clés sans compréhension sémantique

    • C’est justement bien parce que c’est une recherche par mots-clés sans compréhension sémantique
      La « compréhension sémantique » peut parfois fonctionner de manière biaisée et douteuse
    • J’aimerais beaucoup en entendre davantage sur ce point concernant la difficulté d’évaluer la qualité de la recherche, c’est quelque chose qui m’a personnellement marqué
      Je suis un peu ce qui se fait du côté des moteurs de recherche DIY et non commerciaux comme YaCY, et j’aimerais mieux comprendre le contexte des choix d’ingénierie quand on construit un moteur de recherche
      Marginalia est dans l’ensemble un travail très impressionnant, et je n’en ai entendu que des retours positifs de la part des utilisateurs ici
    • Retour après l’avoir essayé pour voir concrètement ce que c’était
      J’ai cherché marginalia sur DDG, mais il n’apparaissait pas sur la première page, et sur Google il arrivait après divers résultats hétéroclites
      En allant sur marginalia.nu, j’obtiens une erreur SSL, mais search.marginalia.nu fonctionne
      En cherchant duckduckgo sur Marginalia, le premier lien concerne une application, donc c’est relativement pertinent, mais le reste est lié à DDG sans être vraiment convaincant en termes de pertinence
      Même en recherchant uBlacklist, mentionné plus haut, je ne vois pas de résultats directement pertinents
    • On dirait que la question « comment un seul développeur peut-il être aussi bon ? » a été complètement esquivée ;)
      Il est vrai que la recherche s’est nettement dégradée, mais je me suis aussi amélioré dans l’art de formuler mes requêtes en connaissant les mots magiques, comme « ublock origin » au lieu de « Adblock » ou « yt-dlp » au lieu de « download YouTube »
      En quelque sorte, nous faisons tous du prompt engineering face à un gigantesque modèle de langage à l’échelle de tout l’internet, où tout le monde est un spammeur

  • La recherche est assez difficile aujourd’hui, et tout le monde sait comment manipuler les résultats
    Je recommande des moteurs de recherche permettant de modifier efficacement quels sites apparaissent, comme Kagi ou les Programmable Search Engines de Google
    Je bloque notamment YouTube, car même lorsqu’il y a parfois de bons résultats, je déteste la façon dont il pollue les résultats généraux avec des vidéos. Il faut beaucoup trop de temps pour tirer une information d’une vidéo
    La possibilité de recommander des résultats pour des requêtes spécifiques est séduisante, mais cela aussi risque fortement d’être manipulé ; au final, seule une approche DIY semble vraiment gérable
    Dans mon cas, je n’autorise que les résultats provenant de domaines que je considère fiables. L’approche par liste blanche a ses défauts, et en général je valide les nouveaux domaines par des voies sociales comme Reddit ou ici, plutôt que via les résultats de recherche
    Je pense qu’il existe un compromis fondamental entre découvrabilité et possibilité de manipulation des résultats
    Je comprends la nostalgie pour les résultats Google de 2008, mais à l’époque il y avait plusieurs ordres de grandeur de contenu en moins qu’aujourd’hui, et on ne réalisait pas encore à quel point le classement dans les moteurs de recherche avait de la valeur pour les entreprises, donc le SEO était probablement quasi inexistant
    Par ailleurs, je ne suis pas d’accord avec l’idée que, quand l’utilisateur moyen cherche « Youtube Download », yt-dlp soit la « bonne réponse ». L’utilisateur moyen ne connaît probablement pas la ligne de commande, et n’a pas envie de l’utiliser

    • De nos jours, au contraire, j’ai tendance à privilégier davantage les vidéos YouTube quand je cherche quelque chose
      Beaucoup de sites web ne sont plus que des fermes SEO de mauvaise qualité qui remâchent les mêmes contenus, parce que c’est facile à produire et peu coûteux à héberger
      À l’inverse, produire une vidéo demande du temps et des efforts, ce qui rend leur utilisation comme ferme à clics nettement plus difficile
      Quand la recherche traditionnelle échoue, il m’est arrivé plusieurs fois de trouver sur YouTube une vidéo mise en ligne vers 2009 qui expliquait exactement ce que je cherchais, clairement, calmement et en détail
      C’est aussi souvent une meilleure source pour trouver des informations avant un achat. Par exemple, si l’on cherche quel ventilateur acheter, il existe des chaînes spécialisées qui testent l’utilité de plusieurs ventilateurs et montrent leur méthode et leurs résultats en vidéo
      Les chaînes grand public sont peu utiles, mais on trouve pour presque tous les sujets des vidéos passionnées dans le style du « vieux web », et c’est un véritable trésor
    • En 2008, cela faisait déjà dix ans que Google existait, les gens comprenaient déjà le SEO, et Google mettait déjà continuellement à jour ses algorithmes pour punir les manipulations
      Par exemple, l’article Wikipédia sur le « link farming » explique que cela existait déjà en 1999 et visait le SEO d’Inktomi
      https://en.wikipedia.org/wiki/Link_farm
      Je me souviens aussi d’une présentation interne chez Amazon, vers 2004, qui expliquait que renforcer le SEO Google des pages Amazon augmenterait le trafic et les ventes. Amazon était plutôt en retard sur ce point, pour des raisons proches du syndrome NIH
    • J’ai du mal à croire qu’il soit si difficile pour les moteurs de recherche de distinguer les sites anciens et fiables des déchets générés uniquement pour exister dans les résultats de recherche
      Si un humain peut faire la différence, alors en principe un ordinateur devrait aussi pouvoir le faire
    • Le PSE de Google est correct, mais il n’existe pas vraiment de bonne manière de gérer le passage d’un moteur à l’autre
      Il suffirait pourtant d’ajouter un petit menu déroulant à l’interface du lien public de chaque PSE pour choisir lequel utiliser
      Giggle[1] propose cette fonctionnalité, et je l’utilise en local avec Kagi pour faire des recherches plus ciblées sur une liste de domaines accumulée au fil des années
      1. https://github.com/dan-lovelace/giggle
    • J’aime les moteurs de recherche de sites non commerciaux à cause de cette question de manipulation des résultats
      S’il n’y a pas de revenus générés par les clics, l’essentiel du jeu disparaît
      Cela ne veut pas dire qu’il ne faut pas avoir le droit de gagner de l’argent, mais ce modèle pousse clairement à des comportements hostiles envers l’utilisateur
      Même des sites légitimes comme ceux de journalisme utilisent ce modèle, donc cela peut être utile d’en faire une option

  • J’ai découvert Kagi sur HN, et je me suis abonné après l’avoir utilisé pour une centaine de recherches.
    Si on cherche un sujet JS ou CSS au hasard, MDN apparaît en premier résultat, sinon on peut rétrograder les sites de spam en haut de page.
    J’aimerais qu’un grand modèle de langage local soit entraîné à détecter le clickbait ou les contenus produits sans effort.
    J’imagine une recherche YouTube où tous les contenus putaclic seraient repliés, comme Kagi regroupe les articles en liste, et où le reste seulement resterait comme contenu potentiellement de qualité. Je ne sais pas si c’est déjà possible.

    • Pour les vidéos YouTube, utiliser Kagi Summarizer évite de perdre du temps à regarder des vidéos nulles.
      C’est un excellent life hack.
    • Je l’ai vu sur HN et je suis devenu un grand fan de Kagi.
      C’est impressionnant de voir à quel point un moteur de recherche peut être meilleur quand il n’est pas saturé de pubs.
    • Je paie Kagi depuis plus de 6 mois et j’en suis très satisfait.
      Je n’aime pourtant pas trop les abonnements, donc c’est un avis assez significatif dans un domaine de services habituellement gratuits.
      Il m’arrive encore de basculer sur Google pour les recherches locales, mais à part ça j’en suis content.

  • Je partage les résultats Kagi actuels pour que ceux qui n’ont pas de compte puissent comparer.
    youtube downloader
    https://kagi.com/search?q=youtube+downloader&r=us&sh=_szITdy...
    ad blocker
    https://kagi.com/search?q=Ad+blocker&r=us&sh=-BHzV2ZoCDpmgOu...
    download Firefox
    https://kagi.com/search?q=Download+Firefox&r=us&sh=zkkmc_EQX...
    why do wider tires have better grip?
    https://kagi.com/search?q=Why+do+wider+tires+have+better+gri...
    why do they keep making cpu transistors smaller?
    https://kagi.com/search?q=Why+do+they+keep+making+cpu+transi...
    vancouver snow forecast winter 2023
    https://kagi.com/search?q=Vancouver+snow+forecast+winter+202...
    Je suis d’accord avec l’auteur quand il dit que le Web est envahi par le spam. Kagi le rétrograde généralement assez bien, et le nombre de pubs et de trackers fait partie des signaux négatifs dans le classement de Kagi.
    Cela dit, il peut encore mieux faire, et des modes de recherche spécialisés comme « Small Web » éliminent pratiquement le spam.
    Ce type de vérification par la communauté est bienvenu, et j’espère qu’elle continuera à nous obliger à rester honnêtes.

    • Kagi renvoie vers des sites qui demandent plus de clics, alors que Google donne directement une réponse raisonnable.
      Je ne vois pas non plus de spam dans les exemples.
      Pour « why do wider tires have better grip? », la réponse dit que des pneus plus larges répartissent le poids plus uniformément grâce à une plus grande surface de contact et augmentent l’adhérence en virage, ce qui améliore la maniabilité et la stabilité.
      Pour « why do they keep making cpu transistors smaller? », la réponse dit que des transistors plus petits permettent plus de calculs sans surchauffe, avec une meilleure efficacité énergétique, tout en réduisant la taille du die pour baisser les coûts et augmenter la densité, donc le nombre de cœurs par puce.
      Pour « vancouver snow forecast winter 2023 », la réponse dit qu’il faut se préparer à des chutes de neige suffisantes et à des températures oscillant autour de 0 °C pendant la saison 2023/2024.

  • Dans la partie sur ChatGPT, j’ai vraiment du mal à comprendre pourquoi utiliser 3.5.
    C’est une façon assez trompeuse de présenter les résultats qu’on peut obtenir avec la meilleure version disponible de ChatGPT.
    Voici le résultat de toutes les questions de l’auteur posées à GPT-4 pour comparaison.
    https://chat.openai.com/share/ed8695cf-132e-45f3-ad27-600da7...

    • Parce que ChatGPT 3.5 est ce à quoi la plupart des gens ont accès.
      Parler à la majorité des lecteurs de quelque chose pour lequel ils ne paieront pas n’a quasiment aucune utilité, et un tiers quelconque n’a aucune obligation d’inciter d’autres personnes à envoyer de l’argent à OpenAI.
      Si ça te dérange que les gens utilisent 3.5, il faut te plaindre auprès d’OpenAI, pas auprès des utilisateurs d’un service proposé gratuitement.
      Personnellement, je ne trouve pas que les éloges excessifs sur l’écart entre 4 et 3.5 soient justifiés.
      https://news.ycombinator.com/item?id=38304184
    • Si c’est si mauvais, pourquoi OpenAI continue-t-il à proposer ChatGPT 3.5 ?
    • Pour la plupart des gens, c’est un peu difficile à utiliser.
      Il faut soit payer 20 dollars par mois avec une limite de messages, soit comprendre comment obtenir une clé API, soit utiliser un service tiers avec des coûts et des limites similaires.

  • uBlacklist mérite d’être essayé. C’est un outil comparable à uBlock, mais pour les résultats de recherche
    https://addons.mozilla.org/en-US/firefox/addon/ublacklist/
    https://chromewebstore.google.com/detail/ublacklist/pncfbmia...
    Il peut synchroniser les paramètres et la liste de blocage personnelle via Dropbox ou Google Drive, et il est aussi possible de s’abonner à des listes de blocage
    En revanche, il faut activer directement le moteur de recherche et s’abonner aux listes manuellement. Les paramètres d’abonnement de uBlacklist n’ont pas encore de flux intégrés
    Le site de uBlacklist propose quelques flux
    https://iorate.github.io/ublacklist/subscriptions
    J’ai aussi trouvé une meilleure liste de flux
    https://github.com/quenhus/uBlock-Origin-dev-filter#other-fi...

    • Cette fonctionnalité existe déjà dans Kagi
      On peut promouvoir un domaine dans les résultats de recherche ou le mettre en liste noire
    • uBlacklist est vraiment excellent
      Je l’utilise depuis des années et je n’ai jamais eu le moindre problème
      Petit conseil : activez “Skip the "Block this site" dialog” et désactivez “Hide the "Block this site" links”, cela permet de bloquer les sites spam beaucoup plus vite
    • Avec uBlacklist en plus de sa propre liste noire, Google devient tout à fait utilisable

  • Je fais partie de ceux qui trouvent que les résultats de Google restent très bons
    Cela dit, j’utilise uBlock Origin et je n’essaierais même pas de le désactiver
    Je comprends l’intention de l’auteur, qui a désactivé le bloqueur de pub pour obtenir une “expérience de navigation de non-spécialiste”, mais il aurait aussi pu faire un test séparé avec uBlock activé sur toutes les requêtes
    En plus, imiter une expérience de non-spécialiste tout en s’attendant à voir yt-dlp dans les résultats pour le téléchargement de vidéos, ce n’est pas très cohérent
    yt-dlp est un utilitaire Python en ligne de commande. C’est loin d’être un outil de non-spécialiste
    La plupart des gens ne savent même pas qu’une vidéo peut être téléchargée comme fichier, et parmi ceux qui le savent, la majorité ne connaît ni la ligne de commande ni Python
    Si l’on cherche “how to download youtube videos” sur Google, le premier résultat est un service appelé savefrom.net, qui fonctionne bien et n’a pas l’air d’une arnaque. Pour moi, cela entre dans la catégorie “très bon”
    Si l’on cherche “how to download youtube videos from the command line”, les premiers résultats concernent youtube-dl, avec aussi des liens GitHub et Super User. Cela ne mentionne pas yt-dlp, mais youtube-dl reste un bon point de départ

    • Si l’on cherche “how to download youtube videos” sur Google dans un onglet privé, les deux premiers résultats sont ceux-ci
      https://msunduziassociation.online/perfect-online-videos/
      https://gssaction.org/program-all-in-one-media-solutions/
      Comme l’auteur, je les mettrais clairement dans la catégorie “horrible”
    • Je me demande si savefrom.net a vraiment été testé
      Si l’on saisit “https://www.youtube.com/watch?v=IkYVmtgxebU” puis qu’on clique sur “Download”, un nouvel onglet s’ouvre pour tenter d’installer un malware
      Si l’on refuse l’installation, ce nouvel onglet redirige vers la page d’accueil du malware
      Si l’on ferme l’onglet et qu’on revient à l’onglet d’origine, savefrom.net affiche l’erreur “The download link not found.” et n’aide pas à télécharger la vidéo
    • Un bloqueur de pub est indispensable et, personnellement, j’estime qu’un bloqueur de scripts l’est aussi
      J’ai bien l’impression vague que la recherche s’est dégradée avec le temps, mais ce n’est pas un gros problème. En général, les bons sites se trouvent dans les une ou deux premières pages, donc il suffit d’ouvrir et de vérifier
      Mais si cliquer sur un site signifie se faire attaquer immédiatement, la gravité de la situation change complètement. La question n’est plus seulement de savoir s’il existe de bons sites, mais aussi s’il n’y en a pas de mauvais
      À part cela, il faudrait en général apprendre aux gens à ne pas télécharger de programmes depuis des sites web. J’ai l’impression que cela s’est un peu amélioré avec le temps
      Google pourrait aussi rétrograder les sites qui proposent des liens vers des exécutables, et il le fait probablement déjà
    • Je trouve que Google et les autres moteurs de recherche sont horribles, sauf pour des termes techniques très spécifiques et inhabituels comme “weak neutral currents”
      Pour des recherches plus courantes, on finit par fouiller dans un tas d’ordures qui ne contient même pas les termes recherchés
      Même la recherche “verbatim” relève de la loterie : soit elle est ignorée, soit elle ne renvoie aucun résultat
    • Ce que je retiens surtout de cet article, c’est qu’“au lieu de s’appuyer sur les impressions des autres ou sur le mème disant que X est mauvais et Y est bon, chacun peut construire ses propres tests”
      Imiter une expérience de non-spécialiste sans aucun contournement ne correspond pas à un usage normal. Chacun a sa propre façon de tirer davantage de valeur des outils qu’il apprécie
      Mais cet article montre comment structurer une expérience, par exemple “pourquoi ces requêtes ont été choisies” ou “comment les arnaques ont été évaluées”
      J’aimerais que les gens, dans le même esprit, évaluent si leur choix actuel d’outils n’est pas coincé dans un optimum local

  • Je comprends pourquoi les gens trouvent les résultats de recherche mauvais
    Dire que d’excellents résultats pour « Download youtube videos » seraient « idéalement, les premiers résultats devraient être yt-dlp ou une fine surcouche graphique »…
    Moi, je veux juste un site où je colle un lien et qui télécharge sur mon disque dur. Je me fiche du package utilisé
    Je ne m’inquiète pas non plus des malwares comme dans les années 90, et 99,999 % des gens ne touchent pas à la programmation
    Ça montre à quel point les résultats de recherche sont subjectifs. Leurs résultats « excellents » sont pour moi tous « affreux »

    • Les malwares des années 90, ou plus exactement les vrais virus, étaient assez risibles
      Surtout parce que les ordinateurs étaient des objets isolés. Les ordinateurs connectés étaient l’exception
    • Je viens d’essayer et le premier résultat de Kagi était exactement un site de ce genre
      Il a traité la vidéo très vite et m’a permis de la télécharger
      Pourquoi une personne raisonnable préférerait-elle youtube-dl ?

  • Ce qui me laisse toujours perplexe dans l’attitude « la recherche est devenue tellement mauvaise », c’est que cela repose souvent, au mieux, sur des preuves anecdotiques, et au pire sur des souvenirs anecdotiques
    J’ai moi aussi l’impression que la recherche s’est dégradée ces dernières années, mais comment savoir si c’est vraiment le cas ?
    Cela devrait être une affirmation vérifiable. Il suffirait d’essayer les N principales requêtes sur Google Trends, par exemple, et d’évaluer les performances
    Ça semble assez facile de construire un benchmark, pourtant personne parmi ceux qui se plaignent de ce problème ne semble vouloir le faire
    Dan a commencé à apporter de vraies preuves et à proposer des critères pour noter les résultats, mais même lui n’a examiné que 5 exemples. C’est un échantillon vraiment minuscule pour formuler une affirmation générale
    Je me demande donc pourquoi il y a autant de textes sur ce ressenti d’une recherche dégradée, mais personne pour vérifier cette affirmation

    • Le fond du problème semble être que les pages de résultats des moteurs de recherche grand public sont un champ de mines d’arnaques que le grand public ne peut pas traverser en sécurité
      Si la question ne portait que sur la pertinence, la critique sur la petite taille de l’échantillon serait valable, mais si l’accent est mis sur le préjudice, un petit échantillon garde du sens
      Si on dit « j’ai trouvé des seringues usagées dans 3 aires de jeux sur 5 », on ne demande généralement pas des p-values et des barres d’erreur
    • Je ne trouve pas que ce soit une critique équitable
      1. L’étape consistant à évaluer « à quel point ça marche bien » est inévitablement subjective
      2. On peut concevoir une étude et recruter des participants, mais ce n’est pas le travail d’un blogueur
      3. L’article renvoie aussi vers un sondage montrant que les gens sont d’accord pour dire que les résultats se sont dégradés. Il y a un problème d’échantillon, mais c’est mieux que rien
        Ici, en particulier, l’auteur répond à la question « quels résultats sont les meilleurs selon mes goûts ? »
    • Je ne peux pas parler au nom des autres, j’essaie juste de trouver quelque chose en ligne
      Je ne cherche ni à créer un moteur de recherche concurrent de Google ni à écrire un article de recherche
      Ce problème a été soulevé plusieurs fois ici au fil des ans, mais les réponses ont toujours été des explications, jamais des solutions
      La dégradation de la qualité ne se produit pas du jour au lendemain, elle progresse sur plusieurs années
      Google a commencé à afficher « did you mean... ? » pour certaines requêtes sous prétexte qu’elles seraient moins courantes, m’obligeant à un second clic pour faire la recherche voulue, puis ça a empiré quand il a commencé à ignorer même les qualificateurs destinés à neutraliser ça
      J’ai atteint ma limite quand j’ai réalisé qu’une requête simple et soigneusement choisie de trois mots renvoyait des milliers de résultats sans un seul pertinent. Ça peut varier selon les personnes
    • Dan a abordé le problème sous un angle qualitatif
      Si davantage de gens adoptaient cette approche au lieu du maximalisme quantitatif, on aurait peut-être moins de produits qui nous rendent fous
      Ce qui compte, c’est l’écrasante sensation que la recherche s’est dégradée, pas un énième tableur qui nous a menés jusqu’ici
    • Pour faire cela, il faudrait une définition globale de la « qualité », et ce n’est pas du tout simple, sans compter qu’une partie en restera forcément subjective
      Il est aussi difficile d’inclure les omissions dans une définition de la qualité, et il est subjectif de décider ce qui doit être omis
      Par exemple, quand on cherche « Gaza », certains moteurs peuvent se concentrer uniquement sur les événements récents, tandis que d’autres peuvent ignorer l’actualité récente et ne fournir que des informations générales
      Lequel est de meilleure qualité ? En pratique, cela dépend de ce qu’on cherche
      Au final, on ne peut guère faire autrement que dresser une liste subjective de ce qu’on juge important et noter en conséquence, ce qui revient presque à une évaluation anecdotique avec des étapes supplémentaires

  • Si vous voulez comprendre pourquoi Google, ou n’importe quel moteur de recherche, est médiocre, il suffit de voir comment il mesure ses propres résultats
    La plupart des entreprises de recherche font à grande échelle quelque chose de très proche de ce qu’a fait l’auteur, selon des consignes très précises
    Google, par exemple, dispose d’un guide de 168 pages pour ses évaluateurs de la qualité de la recherche
    https://static.googleusercontent.com/media/guidelines.raterh...
    On y explique notamment comment comprendre le sens d’une requête, juger l’intention de l’utilisateur, évaluer la « qualité » d’un site web et noter son utilité par rapport au sens et à l’intention de la requête
    Autrement dit, les entreprises de recherche ne font pas moins que l’auteur, elles ont simplement des critères différents
    Ces critères correspondent peut-être mieux aux utilisateurs que ceux de l’auteur, mais peut-être pas, et ce ne sera pas forcément toujours le cas

    • J’ai du mal à considérer que ce soit vrai
      La page 29 du document lié décrit le « Lowest Quality Content »
      La plupart des résultats que l’auteur a jugés spammy ou frauduleux correspondent clairement à ces consignes
      Si c’est le cas, soit les évaluateurs ne connaissent pas assez bien le sujet pour identifier les sites nuisibles ou trompeurs, soit ils les ont correctement évalués mais cela ne produit pas l’effet attendu
    • C’est peut-être lié à la façon dont Google comprend la recherche du « grand public »
      Google en est venu à être vu comme un moteur de recherche de produits et un comparateur de prix, et dans ce domaine il est excellent
      Pour n’importe quel produit qu’on pourrait envisager d’acheter, il trouve des produits très pertinents ; Google s’est peut-être optimisé dans cette direction
      La plupart de mes recherches portent sur l’IT, la programmation, le logiciel et l’informatique en général, mais le grand public cherche surtout des produits, des actualités et les horaires des commerces
      Google est plutôt bon pour ça, et l’argent est dans le fait « d’aller acheter quelque chose »
      Les annonces de recherche produit de Google sont toujours bien plus précises que les vrais résultats de recherche
      Je pense que Google s’est optimisé pour la vente de produits
    • Pourquoi l’utilisateur moyen voudrait-il des résultats de recherche remplis de spam de blogs ?
      J’espère qu’avec l’amélioration des grands modèles de langage, on pourra mieux filtrer les résultats renvoyés