5 points par rtlink 2024-07-13 | Aucun commentaire pour le moment. | Partager sur WhatsApp

[LLM]
Les LLM (Large Language Models) sont désormais devenus difficiles à imaginer absents. Du point de vue d’un développeur, j’utilisais déjà très bien Github Copilot comme assistant de codage depuis deux ans, mais ChatGPT et Claude en sont arrivés à produire un code encore meilleur. Et récemment, la génération augmentée par recherche (RAG – Retrieval-Augmented Generation) est devenue un mot-clé important pour les développeurs, au point qu’il était impossible de ne pas se pencher sur la structure et les API des MML, ce qui m’a conduit à commencer à les étudier.

J’ai toujours pensé que la façon la plus rapide d’apprendre est d’enseigner ou de fabriquer quelque chose. Du coup, quand j’étudie un sujet, j’ai tendance à lancer un nouveau projet pour le mettre en pratique. Le projet que j’ai créé cette fois en étudiant les LLM s’appelle MirrorOn.

[Outil de requêtes multi-LLM MirrorOn]

MirrorOn est un outil de requête qui permet d’obtenir des réponses de plusieurs LLM à partir d’une seule question. Son nom s’inspire de « Miroir, miroir… ». ^^ Si l’on allume le miroir (On!), il vous dira qui est la plus belle au monde.

Actuellement (V 0.1.0), il est possible d’utiliser ChatGPT, Claude et Ollama. ChatGPT et Claude nécessitent une clé API. L’utilisateur doit obtenir lui-même une clé API, la saisir dans les paramètres, puis entrer sa question pour consulter les résultats des requêtes API. L’outil est conçu pour conserver le contexte de la conversation, et le menu permet d’effectuer des actions comme copier, supprimer ou partager.

[LLM local]

Ollama(https://ollama.com) est un programme qui aide à exécuter des LLM sur l’ordinateur de l’utilisateur. En installant Ollama via le lien puis le modèle souhaité, il est possible de poser des questions gratuitement (!). On peut exécuter différents modèles, dans la limite de la capacité de son ordinateur.
En utilisant MirrorOn comme client Ollama, on peut réduire les coûts mensuels liés aux LLM.

[RAG – Retrieval-Augmented Generation]

Du point de vue des développeurs d’applications, la génération augmentée par recherche (RAG) semble destinée à devenir une fonctionnalité indispensable à l’avenir. Les MML ne peuvent pas tout savoir, mais les besoins des utilisateurs sont variés, et le RAG est une manière d’y répondre.

Dans MirrorOn V0.1.0, j’ai mis en place des fonctions de base. Pour l’instant, cela se limite à l’envoi de documents PDF, à leur résumé et à la recherche, mais j’ai l’intention d’ajouter plus tard des fonctions comme la vectorisation.
Il existe aussi des fonctions spécifiques pour utiliser les LLM, comme téléverser une image afin de poser des questions sur son contenu, ou fournir des instructions au LLM. Pour le détail des fonctionnalités, veuillez consulter le lien. L’anglais et le japonais sont pris en charge, ainsi que la documentation.

[Description détaillée des fonctionnalités]

https://github.com/bipark/MirrorOn

[Téléchargement]

Pour le moment, seule une version Mac existe. J’ai essayé pendant plusieurs semaines de la publier sur le Mac App Store, mais Apple a suspendu l’approbation à cause de la fonction de saisie de clé API. Je l’ai donc mise en ligne pour téléchargement via Git Release. J’espère qu’elle sera aussi disponible sur l’App Store une fois l’approbation d’Apple obtenue. Une version Windows est également en cours de développement.

https://github.com/bipark/MirrorOn/releases/tag/MirrorOn

Aucun commentaire pour le moment.

Aucun commentaire pour le moment.