Dalai - Le moyen le plus simple d’exécuter LLaMA sur votre ordinateur
(cocktailpeanut.github.io)- Il est possible d’exécuter le modèle LLaMA 7B en local avec seulement 2 lignes
npx dalai llama
npx dalai serve - Basé sur llama.cpp + le CDN llama-dl
- Web app intégrée et personnalisable (inclut une API JavaScript et une API Socket.io)
- Accès via localhost:3000
2 commentaires
Quand il y en a un qui sort, toute une série de choses arrivent à la suite, comme une tige de patates douces qu’on tire sans fin.
Dalai Lama, sérieusement… quel sens du naming…
llama.cpp - Inférer le modèle LLaMA de Facebook en pur C/C++