Une extension Chrome pour exécuter de l’IA générative en local dans le navigateur
(github.com/tantara)Description du projet
Il s’agit d’un projet d’extension Chrome basé sur Transformers.js, qui exécute des modèles d’IA générative en JavaScript.
Il existe de nombreuses façons d’exécuter localement des modèles d’IA générative, comme Ollama ou llama.cpp, mais le processus de configuration est fastidieux et il est contraignant de devoir changer d’écran à chaque fois. Pour résoudre ce problème, l’extension a été conçue avec Transformers.js afin de pouvoir être lancée directement depuis le panneau latéral de Chrome.
L’un des avantages de l’exécution locale est de pouvoir l’utiliser même sans connexion Internet. Je l’ai trouvé particulièrement utile pour effectuer de petites tâches dans des environnements où la connexion est mauvaise ou inexistante, comme dans un avion ou en camping.
Modèles pris en charge
Comme le projet utilise Transformers.js, il peut théoriquement exécuter presque tous les modèles de Hugging Face, mais pour l’instant seuls les modèles ci-dessous sont pris en charge.
- LLM : Llama 3, Phi 3.5, Qwen 2.5, SmolLM2
- Raisonnement : DeepSeek R1 (sur un MacBook M1, DeepSeek R1 (1.5B) génère 30 tokens/s)
- LLM multimodal : Janus
- Speech to Text : Whisper
Fonctionnalités supplémentaires
Les fonctions Summarize et Rewrite ont également été ajoutées. Si vous sélectionnez un texte visible dans le navigateur puis lancez l’extension par clic droit, elle peut résumer ce texte (Summarize) ou le reformuler sous forme de sortie LLM (Rewrite). La vidéo de démonstration ci-dessous aidera probablement à mieux comprendre (segment de 1 min 10 s à 1 min 25 s).
Vidéo de démonstration : https://www.youtube.com/watch?v=MSCDdFG5Lls&t=70s
Lancer l’extension
Vous pouvez soit compiler vous-même le projet GitHub, soit le télécharger depuis le Chrome Web Store.
Chrome Web Store : https://chromewebstore.google.com/detail/private-ai-assistant-runn/…
2 commentaires
J’ai bien lu.
Il me semble qu’il faudrait indiquer clairement qu’il ne s’agit pas de Deepseek R1 mais d’un modèle distillé. Techniquement, ce sont deux modèles totalement différents.
Merci pour votre remarque. Le modèle 1.5B que j’ai testé étant un modèle distillé, il me semble que distilled est une formulation plus précise. Comme il semble impossible de modifier l’article, je l’intégrerai lors de la prochaine mise à jour.