10 points par xguru 2023-11-11 | 1 commentaires | Partager sur WhatsApp
  • Démonstration de Whisper Medium (Whisper.cpp) + LLaMA v2 13B Q8_0 sur un M2 Ultra
  • Reconnaissance vocale avec Whisper, envoi de la question à LLaMA, puis restitution de la réponse via la synthèse vocale de MacOS à l’aide de la commande say
  • Prise en charge de la gestion de session, permettant des conversations continues basées sur l’historique des échanges

1 commentaires

 
ragingwind 2023-11-13

Le 13B semble bien fonctionner sur l’Ultra. Je me demande ce que ça donne sur le M3 Max.