Search My Site – un moteur de recherche open source pour les sites web personnels et indépendants

 (searchmysite.net)
3 points par GN⁺ 2025-03-26 | 1 commentaires | Partager sur WhatsApp
  • Search My Site est un moteur de recherche conçu pour trouver le véritable contenu des sites web personnels, en mettant en avant les contenus web indépendants souvent noyés dans les grands moteurs de recherche
  • Il limite son index aux sites soumis et examinés par les utilisateurs, ce qui le distingue d’un index du web entier mêlant spam, contenus conçus pour le SEO et clickbait
  • Il n’affiche pas de publicités et encourage des pages de résultats sans publicité, afin de réduire les incitations qui favorisent le spam et le capitalisme de surveillance
  • Son objectif est de couvrir ses coûts d’exploitation non par la publicité mais via des fonctionnalités de search as a service, pour éviter les conflits entre les besoins des utilisateurs et les intérêts des annonceurs
  • C’est un projet open source qui rend transparents les processus de recherche, de classement et d’indexation, et qui accorde une grande importance à la vie privée en n’utilisant pas de modèle de collecte de données personnelles fondé sur la publicité

Recherche centrée sur les sites web personnels

  • searchmysite.net est un moteur de recherche boutique pour les sites web personnels
    • Il cible les contenus web personnels et indépendants, également appelés indieweb, small web ou digital gardens
  • On peut utiliser la recherche publique pour trouver les expériences personnelles de personnes sur des sujets, passe-temps ou centres d’intérêt précis
  • Son principal différenciateur est d’éviter les sites marketing et le spam de blogs que l’on rencontre souvent sur les grands moteurs de recherche

Un modèle de fonctionnement sans publicité

  • L’index ne couvre pas tout l’internet, mais uniquement les sites soumis et examinés par les utilisateurs
    • C’est une approche différente d’un index du web entier où se mélangent spam, contenus optimisés pour les moteurs de recherche et clickbait
  • Il n’affiche pas de publicités et encourage des pages de résultats de recherche sans publicité
    • Le but est de supprimer les incitations qui encouragent le spam et le capitalisme de surveillance
  • Il vise un modèle durable et centré sur l’utilisateur, où les coûts d’exploitation sont couverts non par la publicité mais par des fonctionnalités de search as a service
  • Comme il ne repose pas sur la collecte de données personnelles destinées à être vendues aux annonceurs, il vise un niveau élevé de respect de la vie privée pour un moteur de recherche

Open source et participation de la communauté

  • Le service est entièrement open source
    • Cela renforce la transparence des processus de recherche, de classement et d’indexation
    • Cela permet à la communauté de participer davantage à l’amélioration du service

À lire aussi

1 commentaires

 
GN⁺ 2025-03-26
Avis de Hacker News

  • Wiby mérite aussi d’être mentionné. C’est un moteur de recherche qui cherche à créer un « web composé de pages web de l’époque des débuts d’Internet », et ses critères d’indexation se rapprochent de HTML simple, d’une préférence pour les sites non commerciaux, d’un minimum de scripts/CSS décoratifs, de l’absence de publicités intrusives recouvrant le contenu, et de l’exclusion des pages de type portail menant vers des sites web trop lourds
    https://wiby.me

    • Ce n’est pas le même objectif. Le critère d’indexation n’est pas « il faut que ce soit un site indépendant/personnel », mais plutôt « il faut que ce soit proche d’un document HTTP ordinaire »
      Search My Site cherche à faire émerger les sites web personnels/indépendants, tandis que Wiby cherche à faire émerger des documents au style minimaliste : leurs objectifs sont différents

  • Il y a aussi Marginalia. Il a déjà été présenté plusieurs fois sur HN
    https://marginalia-search.com/
    https://news.ycombinator.com/item?id=35611923
    https://news.ycombinator.com/item?id=31536626

  • Autres sites liés : https://nownownow.com/, https://omg.lol/, https://indieweb.org/, https://ooh.directory/, https://neocities.org/, https://aboutideasnow.com/, https://indieblog.page/, https://wiby.me/, https://80.style/
    En général, je parcours Internet pour trouver des pages, et je place les résultats dans https://github.com/rumca-js/Internet-Places-Database. Les pages personnelles reçoivent le tag « personal »

    • Il y a aussi https://minifeed.net/, que j’exploite moi-même. Il devrait bientôt atteindre 1 000 blogs personnels indexés

  • J’aime la simplicité de https://pagefind.app/

    • Je l’utilise sur mon blog personnel Astro et c’est excellent
    • Intéressant. Est-ce que c’est une sorte de variante plus aboutie de fuse.js ? Pour l’instant, j’ai simplement greffé fuse.js sur un blog statique Jekyll
    • J’aime tellement Pagefind que je l’utilise sur tous mes sites statiques

  • Pour un outil de recherche de sites web personnels, Postgres me semble être une base de données un peu grosse. Mais je vais quand même l’essayer, et on a besoin de davantage d’outils de ce genre

    • Postgres ne sert qu’à l’administration du site. Il sert à suivre les soumissions, l’état des validations, les abonnements, etc., tandis que le véritable index de recherche se trouve dans Apache Solr
      En théorie, on pourrait aussi stocker les données d’administration dans Solr, mais utiliser un stockage de documents à la Solr pour les données maîtres n’est généralement pas recommandé. Quelque chose de plus léger comme SQLite serait possible, mais l’outil est pensé pour un déploiement serveur, et Postgres ne consomme pas non plus énormément de ressources

  • J’aime beaucoup. J’ai perdu une heure à parcourir exactement ce genre de sites web personnels aléatoires mais soignés qui avaient rendu le web formidable

    • C’est précisément ce que searchmysite.net cherche à faire : rendre le « surf sur le web » à nouveau amusant comme activité de loisir
      Lorsqu’il était passé sur HN il y a presque trois ans, beaucoup de gens avaient vu le champ de recherche et pensé qu’il s’agissait d’une alternative à Google, puis avaient été déçus en découvrant que ce n’était pas le cas. Aujourd’hui, il semble plus utile que jamais d’avoir un moyen de trouver du contenu web créé par des humains plutôt que par l’IA
      https://news.ycombinator.com/item?id=31395231

  • Les projets de ce genre sont vraiment utiles pour trouver des blogs intéressants et des sites peu connus. Celui que j’utilise surtout est Marginalia Search
    https://marginalia-search.com/

  • C’est prometteur. Ironiquement, quand on pense à la domination de Google ces dix dernières années, j’ai le fort sentiment que l’un des grands gagnants dans l’IA sera un moteur de recherche backend
    La recherche web moderne est trop polluée par toutes les techniques visant à atteindre la première page de Google, et une grande partie du bon contenu finit enterrée. Maintenant que les grands modèles peuvent appeler le web, cette lourdeur se retrouve aussi dans la recherche par IA. Il faut un véritable moteur data-first, sans publicité, davantage centré sur les données structurées que sur la mise en avant visuelle

  • En explorant le projet, l’article de blog qui m’a paru le plus éclairant sur les détails techniques du moteur de recherche est celui-ci
    https://blog.searchmysite.net/posts/searchmysite.net-buildin...

  • Je suis un peu perdu. Solr est le moteur de recherche, mais un modèle LLM est aussi chargé. Je me demande ce que le modèle LLM apporte à cette solution

    • Le LLM servait à expérimenter de la génération augmentée par recherche, c’est-à-dire une interface du type « discuter avec mon site web », en utilisant Apache Solr comme stockage vectoriel
      Pour maîtriser les coûts, les tests ont été faits avec un petit LLM auto-hébergé, mais les résultats n’étaient pas assez bons pour déployer toute la fonctionnalité. Le LLM a donc été désactivé, et il sera probablement complètement supprimé