Torchchat - rendre possible la conversation avec des LLM partout

• Une petite base de code qui permet d’exécuter des LLM PyTorch en local (serveur, bureau, mobile)
  • Exécuter des LLM dans des applications maison (C/C++) (bureau ou serveur) ainsi que sur iOS et Android en utilisant Python
• Interaction en ligne de commande avec des LLM populaires comme Llama 3/2, Mistral, etc.
• Prise en charge de matériel et d’OS populaires : Linux (x86), Mac OS (M1/M2/M3), Android (appareils compatibles XNNPACK), iOS 17+ (iPhone 13 Pro+)
• Divers types de données : float32, float16, bfloat16
• Prise en charge de divers schémas de quantification (Quantization)
• Plusieurs modes d’exécution : Python (Eager, compilé) ou natif (AOT Inductor (AOTI), ExecuTorch)