- Un projet DIY qui a mis en place un moteur de recherche nommé Searcha Page/Seek Ninja sur un serveur personnel installé dans une buanderie, offrant une expérience comparable à Google
- Le projet est parti d’un index d’environ 2 milliards de pages et vise 4 milliards de documents d’ici six mois, en combinant des méthodes d’indexation traditionnelles avec l’extension de mots-clés et la compréhension du contexte fondées sur les LLM
- L’équipement, assemblé à partir de pièces de serveur d’occasion, repose sur un AMD EPYC 7532 (32 cœurs) et 0,5 To de RAM, pour un investissement total de 5 000 dollars, avec une stratégie d’arbitrage de mise à niveau (upgrade arbitrage) pour réduire les coûts
- Tout en minimisant la dépendance au cloud, l’inférence LLM utilise Llama 3 de SambaNova, et Seek Ninja est une version axée sur la confidentialité qui ne stocke pas de profil et n’utilise pas la localisation
- L’introduction de l’IA a rendu possible une montée en charge à faible coût, et sa base de code de 150 000 lignes a pu accélérer le développement itératif via les LLM, lui permettant de bâtir seul un système de grande ampleur
- Bien qu’il s’agisse d’une configuration personnelle et peu coûteuse, le système assure la précision et la rapidité de la recherche locale ; il envisage aussi un passage en colocation si le trafic augmente, montrant ainsi la possibilité expérimentale d’une recherche alternative
Contexte : une expérience de recherche « presque comme Google » avec un petit matériel
- En contraste avec l’histoire de Google, qui avait démarré à Stanford avec des serveurs dans un boîtier en Duplo, c’est un exemple qui montre qu’un serveur ancien peut malgré tout approcher une expérience de recherche moderne
- Il y a 30 ans, Google a commencé sous le nom de Backrub sur le campus de Stanford, en utilisant un serveur expérimental logé dans un boîtier fait de briques Duplo et contenant 40 Go de données
- Grâce à des dons d’IBM et d’Intel, l’installation a ensuite évolué vers un petit rack de serveurs, mais en 2025, Google Search a atteint une échelle qui ne peut plus tenir dans un seul datacenter
- Le Searcha Page de Ryan Pearce reproduit une expérience de recherche moderne avec une machine à peu près de la taille des premiers serveurs de Google
- Le serveur a été installé à côté de la machine à laver et du sèche-linge, après avoir été déplacé depuis la chambre pour atténuer les problèmes de chaleur et de bruit
- Malgré les contraintes d’une buanderie, la qualité réelle des résultats de recherche est jugée subjectivement proche du haut du panier
- La taille de l’index est actuellement d’environ 2 milliards de documents, avec une projection à 4 milliards de documents sous 6 mois
- Points de comparaison : Google comptait 24 millions de pages en 1998, puis 400 milliards de pages en 2020
- L’échelle absolue reste modeste, mais elle est très importante pour un serveur unique auto-hébergé
Technologie clé : indexation traditionnelle + assistance LLM
- L’architecture globale suit la structure classique d’un moteur de recherche, avec une conception hybride où les LLM aident à l’extension des mots-clés et à l’interprétation du contexte
- Cela rappelle l’intégration historique de l’IA dans les grands moteurs de recherche via RankBrain et d’autres systèmes, en soulignant que, indépendamment du rejet actuel des LLM, l’IA est déjà un élément central de la recherche
- Les LLM sont utilisés comme outils pratiques pour la construction de jeux de données et la contextualisation, afin d’améliorer la vitesse de développement et la scalabilité
- L’exploitant a d’abord implémenté certains éléments avec des LLM avant de les remplacer par une logique traditionnelle au fil des itérations ; la base de code a ainsi atteint environ 150 000 lignes
- En comptant le développement itératif, il estime la charge réelle de travail à l’équivalent de 500 000 lignes
Infrastructure : indexation en autonomie et « arbitrage de mise à niveau » avec des serveurs d’occasion
- Le matériel repose sur un serveur d’occasion basé sur AMD EPYC 7532 (32 cœurs), en tirant activement parti de la chute des prix d’un CPU qui valait plus de 3 000 dollars à sa sortie et se négocie aujourd’hui à moins de 200 dollars
- Le coût total de l’installation tourne autour de 5 000 dollars, dont environ 3 000 dollars pour le stockage
- Avec une configuration de 0,5 To de RAM, l’ensemble est capable de gérer plusieurs centaines de sessions simultanées
- Avec une approche d’auto-hébergement visant à limiter l’usage du cloud au minimum, seule l’inférence LLM passe par SambaNova (Llama 3) pour un accès rapide et peu coûteux
- Le projet utilise des corpus web publics, dont Common Crawl, pour accélérer le crawler et l’indexeur, avec l’intention de réduire cette dépendance à long terme
Produit : Searcha Page et Seek Ninja
- Searcha Page : une UX SERP traditionnelle proche de Google, avec des résultats pertinents aussi pour la recherche locale
- Au lieu de la meta description, il est fait mention de résumés générés par LLM pour mieux expliquer la pertinence entre requête et document
- Seek Ninja : une variante priorité à la confidentialité, sans stockage de profil et sans usage de la localisation
- Une approche légère et minimaliste, adaptée comme alternative au mode navigation privée
- Côté monétisation, le projet teste des publicités d’affiliation discrètes plutôt que des bannières envahissantes, et prévoit un passage en colocation si le trafic augmente
Cas de comparaison : l’approche cloud et vecteur de Wilson Lin
- Dans une autre expérimentation individuelle contemporaine, Wilson Lin poursuit une stratégie cloud-native combinée à son propre moteur vectoriel (CoreNN) pour viser une exploitation à très bas coût
- Il génère un résumé LLM pour chaque document afin d’exprimer autrement la mise en relation entre requête et document
- Il partage l’idée que le principal obstacle relève davantage du marché et des canaux que de la technologie elle-même
- Pearce a lui aussi essayé à un moment une base de données vectorielle, mais il juge les résultats flous et presque artistiques, au point de revenir aux méthodes traditionnelles du point de vue de la précision du classement
Enjeux d’exploitation : chaleur, bruit et contraintes physiques d’une buanderie
- Le serveur, qui provoquait des problèmes de vie quotidienne à cause de la chaleur dans la chambre, a été déplacé vers une pièce technique, avec des perçages pour les câbles afin de préserver la connectivité
- Si la porte reste fermée trop longtemps, l’accumulation de chaleur peut devenir problématique, ce qui fait de la ventilation un élément important
- Bien qu’il soit plutôt sceptique vis-à-vis du cloud, il envisage un passage vers la colocation en datacenter sur la base de seuils déclencheurs, en tenant compte des limites liées aux LLM et au trafic
Portée : l’expérience d’un développeur solo pour rattraper Google, et le rôle concret des LLM
- Contrairement à l’idée reçue selon laquelle les LLM seraient des outils qui dégradent la qualité de la recherche, ils apparaissent ici comme des accélérateurs de développement et de montée en charge, donnant à un individu la capacité réelle de construire un moteur de recherche
- Le compromis indexation traditionnelle + assistance LLM constitue une approche pragmatique qui cherche à concilier précision et capacité d’explication
- La combinaison serveur d’occasion à bas coût + corpus publics + API LLM bon marché montre qu’il est possible de tenter une recherche alternative sans disposer des ressources massives des Big Tech
- Des défis subsistent, comme l’extension à d’autres langues, le coût du crawling continu ou la résistance au spam, mais le projet montre une compétitivité expérimentale dans les domaines de la recherche de niche et de la protection de la vie privée
Aucun commentaire pour le moment.