Secret Llama - implémentation d’un chatbot Llama 3 dans le navigateur, propulsé par WebGPU

• Un chatbot LLM préservant la confidentialité, fonctionnant entièrement dans le navigateur
• Prend en charge des modèles open source comme Llama 3 et Mistral
• Les données de conversation ne quittent jamais l’ordinateur, garantissant une confidentialité totale
• Comme il fonctionne dans le navigateur, il ne nécessite ni serveur ni installation et marche aussi hors ligne
• Offre une interface facile à utiliser, d’un niveau comparable à ChatGPT, mais pour les LLM open source
• Modèles actuellement pris en charge
  • TinyLlama-1.1B-Chat-v0.4-q4f32_1-1k 600MB
  • Llama-3-8B-Instruct-q4f16_1 4.3GB
  • Phi1.5-q4f16_1-1k 1.2GB
  • Mistral-7B-Instruct-v0.2-q4f16_1 4GB

[bizring]

Est-ce qu’il est possible d’avoir une conversation en coréen ?