Open source - client mobile LLM basé sur Ollama

Cette année, j’ai consacré pas mal de temps à des travaux autour du LLM-RAG lié à la vidéo. Cela a produit quelques sous-produits, et j’en ai regroupé une partie dans une application que j’ai mise en ligne en open source.

Comme j’avais besoin, pour la démo, d’une interface de chat utilisable à la fois sur app et sur web, je l’ai développée sur la base de flutter_chat_ui de Flutter. Comme c’était dommage d’en rester à une simple démo, j’en ai fait une application client Ollama utilisable sur mobile.

ChatGPT et Claude offrent de bonnes performances, mais si le coût ou la sécurité vous préoccupent, installer Ollama sur votre propre ordinateur et y déployer le LLM adapté à vos besoins est aussi une très bonne option.
Comme le code source est en Flutter, vous pouvez le compiler et l’utiliser sur iPhone et téléphone Android.

---

Présentation

Ollama est un logiciel open source qui permet d’exécuter facilement de grands modèles de langage (Large Language Models, LLMs) sur un ordinateur local. Avec MyOllama, vous pouvez vous connecter à Ollama et exploiter différents LLM. Avec MyOllama, les LLM s’exécutent sur votre propre ordinateur via le programme Ollama, ce qui permet de dialoguer avec des modèles d’IA sans frais d’utilisation supplémentaires.

Fonctionnalités principales

• Accès distant aux LLM : connexion à l’hôte Ollama via une adresse IP
• Prompt personnalisé : prise en charge de la configuration d’Instruction personnalisées
• Prise en charge de divers LLM open source (Llama, Gemma, Qwen, Mistral, etc.)
• Configuration possible d’Instruction personnalisées
• Prise en charge de la reconnaissance d’images (uniquement pour les modèles qui la prennent en charge)
• Interface utilisateur intuitive au format chat
• Historique des conversations : sauvegarde et gestion des sessions de chat
• Prise en charge d’iOS et d’Android
• Prise en charge du coréen, de l’anglais et du japonais

Mode d’emploi

• Installez Ollama sur votre ordinateur (prise en charge de macOS, Windows et Linux). La procédure d’installation est disponible sur le GitHub d’Ollama.
• Téléchargez le code source puis compilez-le avec Flutter, ou téléchargez l’application MyOllama depuis l’App Store.
• Installez dans Ollama le modèle de votre choix. Téléchargement des modèles
• Modifiez la configuration d’Ollama pour autoriser l’accès à distance.
• Lancez l’application MyOllama et saisissez l’adresse IP de l’ordinateur sur lequel Ollama est installé.
• Sélectionnez le modèle d’IA souhaité et commencez la conversation.

Avantages

• Cette application a été conçue pour les développeurs et chercheurs qui veulent exploiter efficacement des LLM open source. Elle peut servir à divers essais techniques, comme les appels d’API, le prompt engineering ou les tests de performance des modèles.
• Utilisation gratuite de fonctionnalités d’IA avancées
• Prise en charge de nombreux modèles LLM
• Protection de la vie privée (exécution sur un ordinateur local)
• Utilisable pour la programmation, les tâches créatives, les questions du quotidien et bien d’autres usages
• Conçue pour permettre de conserver le contexte des échanges

Points à noter

• Pour utiliser cette application, un ordinateur sur lequel Ollama est installé est indispensable.
• La configuration et l’administration de l’hôte Ollama relèvent de la responsabilité de l’utilisateur. Veillez aux paramètres de sécurité.

[chungjungsoo]

J’exploite aussi actuellement une application similaire, même si l’objectif est différent, et Ollama a également récemment déployé une mise à jour qui prend cela en charge.
À l’étranger, il y a notamment beaucoup de demandes autour d’Ollama.

https://fr.news.hada.io/topic?id=15375

[rtlink]

Lien GitHub
https://github.com/bipark/my_ollama_app