3 points par GN⁺ 2023-09-01 | 2 commentaires | Partager sur WhatsApp
  • Améliorations majeures du moteur de recherche marginalia, réduisant les besoins en RAM, éliminant les temps d’arrêt du système lors des mises à niveau et augmentant les limites du nombre de documents et de mots-clés indexés
  • Le moteur de recherche a été interrompu pendant une semaine en raison de problèmes de mise à l’échelle causés par la dernière version
  • L’auteur a apporté des modifications à la base de données des URL afin de gérer les temps d’arrêt du système lors des bascules d’index
  • Afin de simplifier les données et de réduire l’usage de la RAM, l’auteur a fusionné en une seule les deux tables de la base de données des URL
  • L’auteur a également modifié le processus de construction de l’index inversé afin de réduire l’usage de la RAM et d’améliorer les performances
  • Ces changements ont fortement réduit les besoins en RAM et amélioré l’efficacité opérationnelle
  • L’auteur se dit surpris par le succès de ces changements et reconnaît que, dans certains cas, une conception préalable est nécessaire

2 commentaires

 
GN⁺ 2023-09-01
Avis Hacker News
  • Le succès du projet Marginalia est discuté autour de l’idée que le monde évolue dans une autre direction.
  • Le succès du projet est considéré comme une histoire positive et inspirante.
  • Le créateur limite volontairement le matériel et la RAM du projet, ce qui est perçu comme contribuant à son efficacité.
  • L’article suggère que l’auto-limitation peut être bénéfique pour les résultats à long terme.
  • L’optimisation est comparée à la correction de bugs, et est considérée comme plus facile que beaucoup ne le pensent.
  • L’importance de l’optimisation des performances est soulignée, et il est affirmé qu’un logiciel dépourvu d’analyse de performance sérieuse peut comporter de nombreux bugs reproductibles.
  • L’auteur du commentaire remercie pour les mises à jour sur Marginalia et espère voir davantage de publications.
  • L’auteur du commentaire mentionne son propre projet amateur de moteur de recherche et pose une question sur le filtre temporel dans la recherche de Marginalia.
  • Une discussion a lieu sur la question de savoir si un SSD doit effacer et réécrire une page entière lorsqu’un seul octet est mis à jour.
  • L’auteur du commentaire évoque une expérience similaire avec son propre projet, Mojeek, et dit se reconnaître dans les contraintes et le processus de prise de décision.
  • Il s’interroge sur la raison pour laquelle Marginalia a choisi SQLite plutôt qu’un magasin clé-valeur.
  • L’auteur du commentaire apprécie l’idée que la créativité puisse naître du travail sous contrainte.