talk-llama - discuter avec LLaMA dans le terminal
(github.com/ggerganov)- Démonstration de Whisper Medium (Whisper.cpp) + LLaMA v2 13B Q8_0 sur un M2 Ultra
- Reconnaissance vocale avec Whisper, envoi de la question à LLaMA, puis restitution de la réponse via la synthèse vocale de MacOS à l’aide de la commande
say - Prise en charge de la gestion de session, permettant des conversations continues basées sur l’historique des échanges
1 commentaires
Le 13B semble bien fonctionner sur l’Ultra. Je me demande ce que ça donne sur le M3 Max.