Ailoy : un outil simple pour créer des agents d’IA on-device
(github.com/brekkylab)Il s’agit d’une bibliothèque appelée ailoy, qui permet de créer facilement des agents LLM.
Elle existe en deux versions, python et javascript(node), et j’affirme que c’est la plus simple parmi les outils actuellement disponibles.
Son avantage est qu’elle permet d’en créer même sans être expert en machine learning.
Comme Google, OpenAI et Anthropic cherchent au final à faire utiliser davantage leurs API, ce qui peut vite coûter très cher, j’ai essayé de créer une solution permettant d’exécuter des agents d’IA on-device.
Si vous passez via les liens GitHub ou Discord, je vous aiderai pour les points qui vous bloquent. N’hésitez pas à l’essayer et à me laisser votre avis !
4 commentaires
Je me demande quelle est la performance réelle perçue, vu la petite taille du modèle.
On sent quand même que c’est un peu décevant par rapport à la série GPT ou à DeepSeek R1. Le modèle 30B est clairement correct, mais l’inconvénient ici, c’est que pour le faire tourner en on-device, il faut un GPU du niveau d’une 5090...
Du coup, si l’on veut obtenir des performances proches des modèles d’OpenAI tout en optimisant les tokens, la meilleure approche me semble être une méthode hybride : utiliser OpenAI et réserver les tâches simples à un modèle local.
Cela reste quand même utilisable, et j’ai l’impression que pour des tâches peu complexes comme la traduction ou le résumé, la différence n’est pas si grande... haha
D'accord ^^ Merci pour votre réponse.