Pi-C.A.R.D
Sommaire
- Présentation
- Utilisation
- Matériel
- Configuration
Présentation
- Pi-card est un assistant vocal basé sur l'IA qui fonctionne entièrement sur un Raspberry Pi.
- Il peut accomplir tout ce qu'un LLM standard comme ChatGPT peut faire dans un cadre de conversation général.
- Si une caméra est installée, vous pouvez demander à Pi-card de prendre une photo, de décrire ce qu'il voit et de répondre à des questions sur cette image.
Pourquoi Pi-card ?
- C'est l'acronyme de Raspberry Pi - C amera A udio R ecognition D evice.
- Il est demandé de soumettre une issue ou une pull request si vous trouvez un meilleur acronyme.
Comment cela fonctionne-t-il ?
- Pi-card s'exécute entièrement sur le Raspberry Pi.
- Lorsque le programme principal est lancé, le système commence à écouter le mot d'activation.
- Une fois le mot d'activation prononcé, la conversation démarre et il n'est pas nécessaire de le répéter en continu pendant l'échange.
- Il continue à écouter les commandes jusqu'à ce que vous disiez quelque chose comme « stop », « quitter » ou « salut ».
- Pendant la conversation, le système conserve la mémoire, ce qui lui permet de reprendre des sujets précédents ou de les détailler davantage.
- Le système est conçu pour fonctionner entièrement en local, mais il est possible d'y connecter des API ou services externes afin d'enrichir la conversation ou de contrôler des appareils externes.
- Par exemple, si vous dites « prends une photo » ou « que vois-tu », la caméra s'active.
Dans quelle mesure est-ce utile ?
- Ce système a été conçu comme un projet amusant, tout en restant un assistant IA utile dans une certaine mesure.
- Comme tout se fait en local, il n'est ni aussi rapide ni aussi performant qu'un système basé sur le cloud.
- Il reste néanmoins encore beaucoup de possibilités d'amélioration.
Pourquoi pas une application ?
- L'objectif était de créer un assistant vocal entièrement hors ligne, ne nécessitant aucune connexion à Internet.
- Cela vise à protéger la vie privée des utilisateurs et à empêcher que leurs données ne soient envoyées à des serveurs tiers.
Utilisation
- Après avoir téléchargé le dépôt, installé les dépendances et suivi les autres instructions de configuration, vous pouvez lancer le programme principal avec la commande suivante :
python assistant.py
- Une fois le programme lancé, vous pouvez commencer à parler avec l'assistant en prononçant le mot d'activation.
- Le mot d'activation par défaut est « hey assistant », mais il peut être modifié dans le fichier
config.py.
Matériel
- Raspberry Pi 5 Model B
- Micro USB
- Haut-parleur
- Caméra
Configuration
Logiciel
- Pour garder le système aussi rapide et léger que possible, l'implémentation cpp est utilisée pour la transcription audio et pour le modèle de langage visuel.
- La transcription audio utilise la bibliothèque whipser.cpp, et le modèle de langage visuel utilise la bibliothèque llama.cpp.
- Vous devez cloner chaque dépôt à l'emplacement de votre choix et ajouter les chemins dans le fichier
config.py.
- Après le clonage, allez dans chaque dépôt et suivez les instructions de configuration pour exécuter les modèles.
Matériel
- La configuration matérielle est très simple.
- Il vous faut un Raspberry Pi 5 Model B, un micro USB, un haut-parleur et une caméra.
- Le micro USB et le haut-parleur peuvent être branchés sur les ports USB du Raspberry Pi.
- La caméra peut être branchée sur le port caméra du Raspberry Pi.
- Matériel utilisé :
- Kit Raspberry Pi 5
- Micro USB
- Haut-parleur
- Caméra
- Connecteur de caméra
- Le Pi 5 dispose d'un nouveau port caméra, il faut donc un nouveau connecteur de caméra.
L'avis de GN⁺
- Pi-card est un projet intéressant autour du Raspberry Pi, qui permet d'explorer diverses possibilités en combinant IA et matériel.
- Comme il fonctionne entièrement hors ligne, il présente un avantage important en matière de protection de la vie privée.
- Ses performances peuvent être inférieures à celles des systèmes basés sur le cloud, mais l'exécution en local renforce la sécurité des données.
- Parmi les autres projets offrant des fonctions similaires, on peut citer Mycroft AI et Jasper.
- L'adoption de cette technologie peut demander une configuration matérielle et logicielle assez complexe, ce qui nécessite une préparation suffisante en amont.
Aucun commentaire pour le moment.