Anything-LLM - assistant IA de bureau open source tout-en-un

• Une application IA full stack permettant de créer un ChatGPT privé à l’aide de LLM commerciaux ou open source, ainsi que de solutions de base de données vectorielle
  • Hébergement possible en local ou à distance
  • Transforme tous les documents et ressources que vous fournissez en contexte exploitable comme référence
• Permet de choisir le LLM ou la base de données vectorielle à utiliser, avec prise en charge de la gestion multi-utilisateur et des autorisations
  • OpenAI, llama.cpp, AWS Bedrock, ANthropic, Google Gemini, Ollma, Together, Mistral, Groq, Cohere..
• Prise en charge multimodale (à la fois pour les LLM commerciaux et open source)
• Fournit un widget de chat personnalisé intégrable à votre site web (version Docker)
• Les documents sont divisés en objets appelés Workspaces et encapsulés pour fonctionner comme un seul fil de discussion
  • Le partage est possible, mais ils ne dialoguent pas entre eux, ce qui permet de conserver le contexte propre à chaque workspace

Structure des composants dans le monorepo

• frontend : frontend construit avec viteJS + React
• server : serveur NodeJS express chargé de la gestion de la base de données vectorielle et des interactions avec le LLM
• collector : serveur NodeJS express qui traite et analyse les documents
• docker : commandes Docker et informations sur le processus de build
• embed : sous-module de création et de gestion du widget d’intégration web
• browser-extension : sous-module d’extension de navigateur Chrome

[xguru]

Avis sur Hacker News

• J’essaie de déployer une instance AnythingLLM personnalisée dans un environnement d’entreprise. TimC et l’équipe de développement sont excellents et très réactifs. J’attends l’intégration EntraID, qui devrait couvrir la plupart des cas d’usage de base. Merci à TimC et à l’équipe.
• Au début, je pensais que ce serait un simple wrapper pour Ollama/WebGenUI, mais en réalité cela prend en charge bien plus de fonctionnalités. Pas seulement les LLM, mais aussi les modèles d’embedding, les bases de données vectorielles et le TTS/STT. Cela inclut tout ce qu’il faut pour construire un chatbot vocal complet.
• Très bien. Je trouve le terme « Language Learning Model » amusant. Je plaisante en disant que l’auteur a lancé le projet sans connaître la signification de LLM.
• Je l’ai téléchargé et essayé, et jusqu’ici c’est très bien. Je l’ai utilisé avec GPT-4o pour lire des PDF réglementaires. Premiers retours :
  • Les citations sont un peu incertaines. Les réponses sont globalement exactes, mais le contenu de la fenêtre de citation est un peu confus.
  • J’aimerais qu’ils ajoutent une fonction de recherche textuelle dans l’historique des discussions. Par exemple, si je recherche des girafes pendant une conversation, j’aimerais pouvoir basculer vers l’échange correspondant.
• En tant que personne qui ne sait pas ce que sont les embeddings ou les vecteurs, c’est le seul outil d’IA hors ligne que je peux installer et utiliser sur un PC bureautique standard.
• À l’avenir, les LLM seront gratuits et open source, comme les frameworks web. Il y aura aussi des options payantes, mais pour la plupart des tâches, les options gratuites seront suffisantes.
• J’ai essayé de configurer AnythingLLM à l’échelle entreprise et j’ai été très impressionné par la plupart des fonctionnalités. J’aimerais qu’il y ait une option permettant d’inclure correctement du CSS personnalisé. L’interface par défaut paraît un peu datée. Continuez l’excellent travail.
• J’ai rencontré une erreur pendant l’installation sur Linux, mais elle a été résolue avec les commandes suivantes :

  sudo chown root:root /home/hn/AnythingLLMDesktop/anythingllm-desktop/chrome-sandbox
  sudo chmod 4755 /home/hn/AnythingLLMDesktop/anythingllm-desktop/chrome-sandbox
  

  À part cela, cela fonctionne très bien.
• AnythingLLM rend l’utilisation des LLM en local et via API très simple. Il y a de nombreux choix pour les embedders et les vector stores. Le packaging desktop en installation unique est très propre. J’attends avec impatience les nouvelles fonctionnalités à venir.