Vous voulez créer votre propre chatbot open source ?

• L’intelligence artificielle (IA) transforme le web et influence la vie des gens.
• Mozilla s’engage en faveur d’une IA digne de confiance, fondée notamment sur la transparence, la protection de la vie privée, l’autonomie des utilisateurs et l’équité.
• Les chatbots d’IA générative sont populaires, mais la plupart sont contrôlés par de puissantes entreprises technologiques.
• Mozilla croit à la force de l’open source et cherche à empêcher que la technologie ne soit contrôlée par quelques entreprises, tout en redonnant du pouvoir aux utilisateurs.
• Mozilla a récemment organisé un hackathon pour créer en interne des prototypes de chatbots.
• L’équipe a utilisé des grands modèles de langage (LLM) open source et s’est heurtée à des questions liées à l’hébergement, à l’environnement d’exécution, au choix du modèle, aux biais et à l’extension des connaissances du chatbot.
• Ils ont décidé d’héberger le chatbot sur l’infrastructure cloud de Mozilla afin de préserver la confidentialité et le contrôle.
• Ils ont utilisé le projet open source llama.cpp pour exécuter des modèles basés sur l’architecture LLaMA.
• Ils ont évalué les modèles sur la toxicité, les biais, la désinformation et les contenus dangereux, puis ont retenu le modèle LLaMA 2 de Facebook.
• Ils ont intégré des connaissances internes propres à Mozilla à l’aide de techniques d’embedding et de recherche vectorielle.
• Ils ont développé une solution manuelle en Python avec diverses bibliothèques.
• Dans le développement d’un chatbot, le prompt engineering est essentiel pour fournir du contexte et améliorer les réponses.
• Le system prompt et la fenêtre de contexte sont essentiels pour les capacités du chatbot et le contexte conversationnel.
• LangChain est un outil d’orchestration de référence dans l’univers des modèles de langage, mais il peut être complexe à apprendre et à utiliser.
• Des interfaces de chatbot open source comme chatbot-ui et Companion permettent de créer le front-end de modèles de langage.
• Mozilla a développé un prototype de chatbot qui reflète ses valeurs et est hébergé en toute sécurité au sein de l’organisation.
• Les chatbots open source sont encore en évolution, et il reste difficile d’évaluer les modèles et de faire les bons choix.
• Mozilla s’efforce de faciliter la participation des développeurs à l’écosystème open source du machine learning et leur contribution à la communauté.

[GN⁺]

Commentaires sur Hacker News

• Les chatbots sont perçus comme une compensation au manque de bonnes pratiques UX sur les sites web.
• Certaines personnes trouvent les chatbots agaçants et ne pensent pas que toutes les entreprises devraient en avoir un.
• Le web est de plus en plus contrôlé par un petit nombre d’entreprises, ce qui provoque une lutte pour la visibilité et la communication.
• Les chatbots sont utilisés lorsque les sites web ont une UI confuse ou cachent des informations importantes.
• Le véritable objectif des chatbots est de remplacer le web et les applications mobiles comme premier moyen de contact avec une entreprise.
• L’auteur ne construit pas réellement un chatbot open source, mais fait plutôt la promotion de l’utilisation de bibliothèques open source.
• Mettre en place un serveur à l’intérieur de l’infrastructure de Google n’est pas réellement privé et n’est pas sous le contrôle de Mozilla.
• Certaines personnes ont eu des expériences positives avec les chatbots, les trouvant plus utiles que les méthodes de recherche traditionnelles.
• Des ressources sont fournies pour développer des modèles de chat basés sur des bases de données vectorielles et étendre la recherche par similarité sémantique.