MemoryCache : le projet de Mozilla pour renforcer l’IA locale dans le navigateur

• Le texte fourni provient de la page d’accueil de Mozilla New Products et n’inclut pas le texte de présentation de MemoryCache mentionné dans le titre Hacker News
• Mozilla New Products est un espace pour découvrir, tester et explorer de nouveaux produits, et invite les utilisateurs à participer à la construction des technologies de nouvelle génération
• Les produits actuellement visibles sont Solo pour créer des sites web, 0din pour le bug bounty de sécurité IA, et Tabstack comme API d’exécution web et de transformation de données pour les systèmes d’IA
• La newsletter donne un accès anticipé aux derniers produits et fonctionnalités de Mozilla, permet de suivre les mises à jour et de partager des retours
• Ce texte seul ne permet pas de confirmer l’architecture de MemoryCache, la manière dont il renforce l’IA locale dans le navigateur, son mode d’utilisation ou ses contraintes

---

Le texte fourni est la page d’accueil de Mozilla New Products

• Mozilla New Products est présenté comme un espace pour découvrir, tester et explorer des produits innovants destinés à améliorer la productivité, développer une activité et construire des produits
• Mozilla met en avant la création de solutions centrées sur les personnes et invite les utilisateurs à participer aux tests de nouveaux produits afin de façonner ensemble les technologies de nouvelle génération
• Mozilla défend une vision selon laquelle l’avenir d’Internet doit être ouvert, accessible et privacy-first

Produits vérifiables et moyens de participation

• Solo : produit permettant de créer gratuitement un site web et d’y connecter un domaine personnalisé
• 0din : programme de bug bounty de sécurité IA qui récompense la découverte de vulnérabilités dans des modèles LLM
• Tabstack : API d’exécution web et de transformation de données conçue pour aider les systèmes d’IA à lire le web de manière fiable et à y agir
  • Destinée aux développeurs qui créent des agents IA, des outils de recherche, des pipelines de données et des workflows autonomes
• La newsletter Mozilla New Products offre un accès anticipé aux derniers produits et fonctionnalités, le suivi des mises à jour et le partage de retours
• Le texte fourni ne contient aucune explication sur MemoryCache ; il est donc impossible d’en vérifier les fonctionnalités ou les détails d’implémentation

[ndrgrd]

Tout cela est très bien, mais j’aimerais qu’on évite de transformer sans cesse le navigateur en une brocante hétéroclite.
Il devrait pourtant y avoir des leçons à tirer des anciennes internet suites.

Le navigateur reste un navigateur. L’IA reste l’IA. Il suffit de les lancer séparément quand on en a besoin.

[GN⁺]

Avis Hacker News

• Au lieu que les données aillent vers le modèle, c’est le modèle qui devrait venir aux données locales, et les données devraient rester en local
  Il existe beaucoup d’outils open source qui importent des données personnelles, mais ils ne gèrent pas encore très bien les images ou les vidéos. À l’avenir, chacun pourrait avoir son propre modèle, mais pour l’instant, même si la technologie existe, il manque des produits ou des projets open source qui permettent facilement à tout le monde d’avoir son propre QLORA, RAG ou outil de résumé
  Au-delà des messages ou des documents, ce que nous lisons et écrivons, ainsi que nos pensées, font aussi partie de ce qui nous constitue. L’historique de navigation en dit long sur ce que l’on lit, mais il est très peu exploité en dehors de l’usage qu’en fait Google pour la publicité. Il devrait être possible de regrouper les sites d’actualité, réseaux sociaux et vidéos YouTube que l’on consulte chaque jour pour dire : « voici le résumé du jour pour ces 3 sources »
  Hier, en regardant https://www.youtube.com/watch?v=zHLCKpmBeKA, je me suis demandé pourquoi, près de 30 ans plus tard, nous n’avons toujours pas d’assistant informatique qui ait un temps d’avance sur nous

  • À propos du passage « il existe beaucoup d’open source qui importe des données personnelles, mais pas pour les images ou les vidéos », les modèles locaux pour les images deviennent plutôt bons
    LLaVA est un grand modèle de langage doté de capacités multimodales pour les images, et il tourne assez bien même sur mon ordinateur portable : https://simonwillison.net/2023/Nov/29/llamafile/
    Des modèles comme Salesforce BLIP peuvent aussi servir à générer des légendes d’images, et j’ai même créé un petit outil CLI pour cela : https://github.com/simonw/blip-caption
  • C’est exactement ce genre de chose qu’ils construisent chez https://software.inc
    Ils rassemblent des données sur l’utilisateur — des informations provenant de l’ordinateur et d’Internet — dans une base de données locale, puis apprennent au modèle à les exploiter. Le modèle peut être local ou basé dans le cloud, et les requêtes peuvent être routées selon la sensibilité des données ou les fonctionnalités nécessaires
    Si ça vous paraît intéressant, ils recrutent aussi
  • Même sans IA, un simple archiveur permettant de retrouver par une recherche traditionnelle toutes les pages web visitées serait déjà un grand progrès
    Une bonne partie de mes recherches consiste à retrouver quelque chose que j’ai déjà vu, et je suis souvent bloqué parce que la page a disparu, qu’elle est mal classée par les moteurs de recherche, ou qu’elle est noyée sous l’optimisation pour la recherche, comme de vieux documents accessibles uniquement en HTTP
  • Je considère que GitHub Copilot fonctionne exactement de cette façon. Il commence par scanner et indexer toute la base de code ainsi que les dépendances, puis utilise fortement le contexte du code au moment de l’autocomplétion, ce qui rend Copilot utile
    Je suis d’accord avec l’idée que le modèle doit venir vers nos données. Si une intelligence du type Copilot pouvait fonctionner entièrement sur l’appareil et parcourir des traces personnelles comme les messages, l’historique de navigation ou le contenu des pages web, ce serait un game changer
  • J’imaginais quelque chose de plus ambitieux que de simplement résumer les sites consultés aujourd’hui. Il faudrait un modèle qui utilise l’historique de recherche et le comportement pour déduire comment formuler des requêtes de recherche
    Les requêtes de recherche de Bing Chat ressemblent à ce que taperait un oncle à qui l’on vient tout juste d’expliquer ce qu’est un moteur de recherche. Il faudrait utiliser des opérateurs avancés comme site: ou filetype:, et au minimum des parenthèses ainsi que AND/OR
    On pourrait l’affiner pour imiter les démarches de recherche d’excellents chercheurs, d’assistants juridiques, et d’adolescents autistes capables de vérifier instantanément l’histoire d’Ellis Island racontée par leur grand-père en retrouvant les registres d’arrivée et des preuves de naturalisation à Chicago

• C’est une bonne idée. Mozilla se fait beaucoup critiquer, à juste titre, pour sa mauvaise gestion de Firefox et ses prêches politiques, mais je pense qu’ils ont encore la capacité de créer des technologies respectueuses de la vie privée et agréables pour l’utilisateur
  J’utilise souvent le traducteur hors ligne intégré à Firefox, et c’est presque magique. Je n’aurais pas pensé qu’un tel outil puisse tourner localement sans matériel digne d’une ferme de serveurs
  J’espère que cette expérimentation ira dans le même sens

• Ce n’est pas vraiment adapté à ma façon de naviguer. Je n’ai pas envie de « discuter » avec mon historique de navigation ; j’aimerais simplement que le navigateur indexe le contenu des favoris dans le système d’exploitation afin de pouvoir chercher dans le contenu réel des pages
  Je pense que la boucle de rétroaction obtenue avec ChatGPT sera toujours nettement meilleure que celle d’un équivalent local de GPT
  Mais je mets souvent en favori des pages qui contiennent des informations importantes et que je voudrai revoir au moins deux fois plus tard. J’ai donc commencé à créer une solution qui parcourt les favoris du stockage local du navigateur, télécharge les pages correspondantes et les ajoute à l’index de recherche du système d’exploitation
  C’est une démangeaison que je traîne depuis des années

  • Sur les petits jeux de données, la recherche plein texte a facilement une mauvaise rappel. Si l’IA ajoute un peu de recherche floue intelligente, l’expérience avec des favoris indexés localement pourrait devenir nettement meilleure
  • Chrome ne faisait-il pas quelque chose comme ça à ses débuts ? J’ai un vague souvenir que c’était une fonctionnalité
    Personnellement, je serais déjà satisfait si les navigateurs arrêtaient simplement d’oublier l’historique. Firefox comme Safari conservent l’historique pendant une durée beaucoup trop courte
  • N’est-ce pas tout simplement Safari ? En supposant qu’on utilise des puces récentes

• J’aimerais vraiment qu’il existe un moyen de « discuter » avec l’historique de navigation et le contenu des pages. Je me demande s’il existe une façon d’enregistrer automatiquement les pages visitées pour les traiter plus tard
  J’ai cherché il y a plus de dix ans, mais je n’avais pas trouvé de bonne solution

  • Memex de WorldBrain (https://github.com/WorldBrain/Memex) semble promettre cela. L’idée me semblait intéressante, mais il me semble qu’il y avait une raison pour laquelle j’avais fini par ne pas l’utiliser
  • Recoll et Recoll-WE valent peut-être le détour : https://addons.mozilla.org/en-US/firefox/addon/recoll-we/
  • Zotero pourrait aussi convenir, mais comme il est centré sur la recherche académique, cela reste plutôt une solution très imparfaite
  • Rewind.ai sert à peu près à cela. Je viens de l’installer et, pour l’instant, j’en suis assez satisfait

• Les signets traditionnels ont échoué parce que l’organisation fondée sur la mémoire ne passe pas à l’échelle. Ce type d’interface peut être scalable et, si elle est bien conçue, remplacer complètement les signets.
  À y réfléchir, on pourrait aussi l’appliquer à l’ensemble des fichiers locaux, ce qui fonctionnerait comme une meilleure version de l’ancienne idée d’utiliser le « système de fichiers comme une base de données ». Cela convient aussi à une base de connaissances spécifique, par exemple sous la forme d’un Zotero basé sur un grand modèle de langage.

  • On dirait qu’on vient d’inventer une version moderne de Windows Longhorn
  • N’était-ce pas l’idée du « Networked Environment for Personal, Ontology-based Management of Unified Knowledge », autrement dit le bureau sémantique Nepomuk ?
    Si l’on peut faire en sorte que les grands modèles de langage remplissent correctement du RDF, et avec beaucoup plus de mémoire et de stockage, bien plus rapides qu’à l’époque, ça pourrait fonctionner.
  • Quelque chose comme Orbit semblerait parfaitement adapté
    https://withorbit.com/

• Mozilla semble avoir mis le doigt sur quelque chose
  Plutôt que d’échanger des prompts avec les géants du secteur et de les enrichir un peu plus à chaque fois, il s’agit d’utiliser des modèles locaux plus petits, d’une manière bien plus respectueuse de la vie privée.
  Avec un tel modèle de fonctionnement, je serais prêt à contribuer à l’open source, voire à financer le projet.
  Honnêtement, je ne suis pas un grand fan de l’organisation Mozilla, mais on ne peut qu’aimer l’underdog.

  • À l’avenir, leur IA parlera à notre IA. Parce que nous aurons besoin d’un bouclier.
  • C’est similaire à ce qu’Apple fait depuis quelques années. Reste à savoir quelle part de tout cela relève vraiment de l’« IA ». Il est donc naturel que quelqu’un d’autre s’engouffre dans cette niche.

• Pour ceux que ça intéresse, le dépôt de PrivateGPT est ici : https://github.com/imartinez/privateGPT
  Il ne semble pas être lié depuis le site officiel.

  • Il est lié depuis le dépôt MemoryCache en bas de l’article : https://github.com/Mozilla-Ocho/Memory-Cache
  • Je me demande ce que PrivateGPT utilise comme modèle local, et d’où il vient.
    Mise à jour : après avoir cherché moi-même, il semble utiliser llamacpp en mode local : https://github.com/imartinez/privateGPT/blob/main/private_gp...

• Ayant vécu l’époque Firefox OS comme ancien stagiaire, cela me donne l’impression d’être une manière pour Mozilla de revenir dans la course en vue de proposer à nouveau son propre système d’exploitation.
  On disait qu’Internet était né pour connecter les gens, mais mettre toutes ces fonctionnalités sophistiquées dans le navigateur n’est pas forcément optimal.
  Firefox OS était essentiellement composé d’un petit noyau Linux, de Gecko et de HTML5 pour le rendu. Comme iOS et iPadOS, Mozilla pourrait proposer un système d’exploitation similaire pour des appareils ou des plateformes.
  Comme ils ont aussi investi dans l’AR et la VR ces cinq dernières années, je ne serais pas surpris qu’ils misent finalement sur un autre Firefox OS.

• Est-ce qu’ils voulaient peut-être pointer vers un dépôt forké ?
  https://memorycache.ai/developer-blog/2023/11/30/we-have-a-w... mène à https://github.com/misslivirose/Memory-Cache
  L’intention était-elle de pointer vers https://github.com/Mozilla-Ocho/Memory-Cache ?

• Avec le seul lien partagé, je n’avais presque aucune idée de ce que cela voulait dire.
  En remontant un peu vers le site officiel, on lit que « MemoryCache est un projet de développement expérimental visant à transformer l’environnement de bureau local en agent IA sur l’appareil ».
  Il y a aussi un billet de novembre : Introducing Memory Cache
  https://memorycache.ai/developer-blog/2023/11/06/introducing...