Marginalia, le moteur de recherche qui donne la priorité aux contenus non commerciaux

 (marginalia-search.com)
4 points par GN⁺ 2025-01-28 | 1 commentaires | Partager sur WhatsApp
  • Marginalia Search est un moteur de recherche axé sur l’exploration d’un Web moins optimisé commercialement et sur la redécouverte de sites anciens tombés dans l’oubli
  • Au-delà de la recherche, il propose des parcours pour explorer et découvrir des sites, et l’ancienne version reste accessible sur old-search.marginalia.nu
  • Le projet est publié en open source et met en avant son propre index, son crawler et une architecture technique simple sans IA
  • Le code source est publié sous licence AGPL, et les ressources du projet ainsi que l’accès à la communauté sont disponibles via le dépôt Git et le Discord du projet
  • Il respecte le RGPD en ne collectant pas d’informations personnelles, et l’usage des cookies ainsi que la conservation des journaux IP sont également limités

Un moteur de recherche axé sur l’exploration du Web non commercial

  • Marginalia Search est un moteur de recherche qui donne la priorité aux contenus non commerciaux
  • Il met l’accent sur la capacité à retrouver des sites anciens tombés dans l’oubli, et propose aussi des outils de recherche et de découverte
  • L’ancienne version reste disponible sur old-search.marginalia.nu

Projet open source et canaux d’exploitation

  • Le projet est publié en open source
    • Il utilise son propre index et son propre logiciel de crawler
    • Il met en avant une architecture technique simple qui n’utilise pas l’IA
    • La licence est AGPL
  • Liens associés

Protection des données personnelles et politique de logs

  • Par défaut, le service vise la protection de la vie privée
    • Il filtre le suivi
    • Il ne partage pas de données avec des tiers
    • Il ne conserve pas les IP sur le long terme
  • Le site respecte le RGPD en ne collectant pas d’informations personnelles
  • Les cookies ne sont pas utilisés à d’autres fins que la fourniture des fonctionnalités du service, conformément à la directive européenne sur les cookies
  • Les journaux d’accès contenant des adresses IP sont conservés au maximum 24 heures
  • Des journaux anonymisés, dont l’adresse d’origine a été supprimée, peuvent être conservés plus longtemps afin d’aider au diagnostic des bugs
  • Le contact est contact@marginalia-search.com
  • Les informations de géolocalisation IP utilisent les données IP2Location LITE, sous licence CC-BY-SA 4.0

À lire aussi

1 commentaires

 
GN⁺ 2025-01-28
Avis de Hacker News

  • J’ai récemment écrit un essai sur ce moteur de recherche et son algorithme de classement.
    Les premières versions de Marginalia utilisaient Personalized PageRank, une variante intéressante de PageRank abordée dans l’article original, et je crois que le classement actuel des pages se fait avec BM25.
    Personalized PageRank semble encore utilisé dans la nouvelle fonctionnalité de Marginalia de classement des pages par similarité, et paraît déjà intégré au site, même s’il n’y avait auparavant qu’une page de test (https://explore2.marginalia.nu/).
    Quoi qu’il en soit, j’ai beaucoup de respect pour son créateur, et il a été intéressant de lire comment Marginalia a beaucoup grandi, ainsi que les billets de blog (https://www.marginalia.nu/log/).
    Article lié : https://www.marginalia.nu/log/26-personalized-pagerank/.

    • J’utilise bien Personalized PageRank pour le classement des domaines, mais son influence est très faible.
      Il affecte surtout l’ordre physique des résultats dans l’index et, comme le temps d’exécution des requêtes est limité, il sert principalement à faire en sorte que les résultats mieux classés soient trouvés plus tôt.
      Explore2 et l’outil de découverte de sites web intégré au moteur de recherche utilisent la similarité cosinus des vecteurs de liens entrants.
      J’ai aussi écrit un billet sur cette technique, intitulé « Creepy Website Similarity » :-) https://www.marginalia.nu/log/69-creepy-website-similarity/.
    • Où se trouve l’essai récent ?

  • Je suis le créateur. J’ai récemment déplacé le site de search.marginalia.nu vers marginalia-search.com et je l’ai aussi un peu peaufiné visuellement.
    J’avais l’impression qu’il fonctionnait trop bien pour rester comme un sous-domaine bizarre de mon blog.
    Le moteur de recherche lui-même reste le même :-)

    • Ces temps-ci, dans les petites communautés du web, il y a pas mal d’inquiétude à cause du crawl agressif d’OpenAI et d’acteurs similaires.
      À quelle fréquence Marginalia recrawle-t-il les sites indexés ?
    • Le bouton random de l’ancienne version ne semble plus fonctionner. La fonctionnalité a-t-elle été supprimée ?
    • Y a-t-il une raison de ne pas utiliser un nom de domaine plus court ? Ce que vous avez créé est vraiment impressionnant.

  • Pour ceux qui n’ont pas suivi ce projet, c’est le projet passion d’une seule personne, et son objectif n’est pas de concurrencer Google/Bing/DDG.
    C’est plutôt une façon de trouver des choses intéressantes sur le « petit web ».
    C’est bon de garder cela en tête quand on l’essaie.
    Pour info, je ne suis pas le créateur.

    • Je ne sais pas si les choses ont changé depuis, mais en 2023, le créateur a quitté son emploi pour développer le moteur de recherche à plein temps https://www.marginalia.nu/log/83_full_time/.
      C’est bien un projet passion, mais ce n’est pas seulement un side project.
    • Exact. Cela dit, dans certains créneaux, par exemple Linux et les logiciels open source, ou l’histoire, Marginalia m’a souvent donné de bien meilleurs résultats que Google ou DDG.
      Les moteurs de recherche grand public semblent avoir une étape qui abêtit la saisie : si l’on entre un terme peu familier, ils semblent le traiter comme une faute de frappe ou un souvenir erroné, puis le remplacer par une expression que je n’ai pas cherchée avant de l’envoyer au backend.
      Ils semblent aussi s’efforcer de privilégier les médias d’entreprise plutôt que le contenu original et faisant autorité.
      Le créateur répète que c’est « pour trouver des choses intéressantes sur le petit web », mais pour moi ce n’était pas seulement intéressant, c’était réellement utile.
      Cela dit, depuis que je suis passé à Kagi il y a presque trois ans, je n’ai plus eu besoin de maintenir ce genre de contournements avec des moteurs de recherche spécialisés par sujet.
      En toute transparence, d’autres répondent souvent que les résultats de Google sont bons ou que ceux de Kagi sont mauvais, mais dans mon cas j’ai plus de dix ans d’expérience où Google échoue régulièrement même sur des requêtes simples ; tant mieux si Google fonctionne bien pour vous, mais pour moi il n’a pas été fiable depuis plus de dix ans et j’en ai eu assez.

  • Je n’ai rien de particulièrement nouveau à ajouter, mais j’aime voir ce projet apparaître sur HN à chaque fois.
    C’est un projet qui montre bien ce qu’on peut construire avec patience et affection.

    • Je me suis déjà dit que j’aimerais un jour faire quelque chose de similaire, mais ceci dépasse mes attentes. C’est vraiment bien réalisé, et j’aimerais savoir s’il existe un moyen de contribuer.

  • Je suis surpris qu’il ne semble pas y avoir de bang Marginalia sur DDG pour le moment.
    <https://duckduckgo.com/bangs?q=marginalia>
    Je l’ai soumis en suggestion.

  • J’ai relancé quelques recherches que j’avais faites récemment sur Google, par exemple « celery », « Wardian case », « ferry from Italy to Greece », et dans tous les cas le premier résultat semblait assez pertinent.
    Je pense que je vais l’essayer.

  • C’est l’une des choses les plus agréables, utiles et saines que j’aie vues sur le web depuis longtemps.
    Techniquement, cela semble aussi très solide, et l’expérience utilisateur est impeccable.
    Merci beaucoup de nous ramener aux jours glorieux d’Internet.

  • J’ai essayé quelques requêtes relativement simples dans des domaines qui m’intéressent, par exemple « attention is all you need paper », « sip rfc », « klatt speech synthesizer », « crafting interpreters book », « Scott Alexander Substack », et je n’ai pas vraiment obtenu les résultats attendus.
    Marginalia est plutôt correct quand on veut apprendre quelque chose, mais ne semble pas adapté quand on veut trouver un objet précis.
    Si l’on veut lire ce que les gens pensent du Substack de Scott Alexander, les résultats sont corrects ; si l’on veut trouver la newsletter elle-même, non.

    • Oui, les requêtes de navigation donnent des résultats assez variables.
      J’ai l’impression que Google fait déjà très bien cela, donc ce n’est pas une grande priorité.
      Je me suis surtout concentré sur ce que Google fait mal : trouver du contenu produit par des personnes sur un sujet donné.

  • Du point de vue d’un administrateur de site, j’ai particulièrement apprécié le fait que les backlinks découverts soient rendus publics
    Grâce à ce service, j’ai découvert quelques backlinks que je ne connaissais pas

    • J’ai regardé les backlinks de mon site web, et j’étais assez perplexe, car aucun ne pointait réellement vers mon site

  • Le sujet avait déjà été beaucoup discuté à l’époque de l’ancien domaine, marginalia.nu
    Phrase matching in Marginalia Search - https://news.ycombinator.com/item?id=41696046 - septembre 2024, 24 commentaires
    Marginalia: 3 Years - https://news.ycombinator.com/item?id=39501061 - février 2024, 44 commentaires
    Interview with Viktor Lofgren from Marginalia Search - https://news.ycombinator.com/item?id=38470832 - novembre 2023, 21 commentaires
    Moving Marginalia to a new server - https://news.ycombinator.com/item?id=37800753 - octobre 2023, 39 commentaires
    Marginalia.nu API - https://news.ycombinator.com/item?id=35871186 - mai 2023, 22 commentaires
    Marginalia: DIY search engine that focuses on non-commercial content - https://news.ycombinator.com/item?id=35611923 - avril 2023, 193 commentaires
    Marginalia Search has received an NLNet grant - https://news.ycombinator.com/item?id=34945541 - février 2023, 17 commentaires
    A Theoretical Justification (2021) - https://news.ycombinator.com/item?id=32586273 - août 2022, 22 commentaires
    The Evolution of Marginalia's Crawling - https://news.ycombinator.com/item?id=32565052 - août 2022, 22 commentaires
    Marginalia Goes Open Source - https://news.ycombinator.com/item?id=31536626 - mai 2022, 72 commentaires
    Uncertain Future for Marginalia Search - https://news.ycombinator.com/item?id=31200319 - avril 2022, 37 commentaires
    Marginalia Search: 1 Year - https://news.ycombinator.com/item?id=30823481 - mars 2022, 29 commentaires
    Show HN: Marginalia – Exploration Mode - https://news.ycombinator.com/item?id=30047455 - janvier 2022, 53 commentaires
    A search engine that favors text-heavy sites and punishes modern web design - https://news.ycombinator.com/item?id=28550764 - septembre 2021, 717 commentaires
    https://news.ycombinator.com/user?id=marginalia_nu

    • Très bien. C’est moi qui ai publié le tout premier post
      J’aime ce projet, et j’aimerais essayer d’en faire un similaire dans un avenir proche