- Permet d’exécuter facilement des LLM sur la plupart des ordinateurs sans installation, avec un seul fichier
- Un framework qui combine
llama.cpp et Cosmopolitan Libc
- Un seul build peut s’exécuter sur plusieurs OS et diverses architectures CPU
- Fournit en exemple le modèle LLaVA capable de discuter et de reconnaître des images
- Il suffit de télécharger et d’exécuter le fichier de 4 Go
llava-v1.5-7b-q4-server.llamafile
- Sur Mac/Linux/BSD, faites
chmod +x puis exécutez-le directement
- Sous Windows, ajoutez simplement
.exe après l’extension pour l’exécuter immédiatement
- Une fois lancé, le navigateur s’ouvre automatiquement et affiche l’interface de chat
- Propose aussi d’autres llamafiles comme Mistral-7B-Instruct et WizardCoder-Python-13B
4 commentaires
curl --location https://huggingface.co/jartine/llava-v1.5-7B-GGUF/… > llamafileJe suis vraiment impressionné qu’une seule commande
curlsuffise pour pouvoir l’exécuter immédiatement..Waouh, c'est énorme 😂
C'est vraiment très simple à exécuter.
C’était paru sur GN⁺, mais comme la présentation par le résumé IA semblait insuffisante et que cela n’a pas été très populaire, je l’ai réorganisé une fois de plus. Je trouve que c’est une tentative assez intéressante.
Déployer et exécuter un LLM sous forme de fichier unique avec "Llamafile"
Le modèle de base, LLaVA: Visual Instruction Tuning
À l’époque de leur publication, Cosmopolitan et RedBean avaient un côté assez facétieux, mais les voir utilisés ainsi est remarquable. Cela pourrait être un excellent cas d’usage.