11 points par xguru 2023-09-07 | Aucun commentaire pour le moment. | Partager sur WhatsApp
  • Portage en C++ d’un modèle initialement implémenté en Python, à l’aide de la bibliothèque GGML
  • Le code allégé permet une utilisation dans des contextes variés
  • GGML, nommé d’après son auteur original Georgi Gerganov, est une bibliothèque de tenseurs prenant en charge la quantification, utilisée pour créer llama.cpp et whisper.cpp
    • Optimisée pour le CPU plutôt que pour le GPU, en particulier sur Apple Silicon M1/M2

Aucun commentaire pour le moment.

Aucun commentaire pour le moment.