ExecuTorch Alpha : donner les moyens au déploiement en périphérie des grands modèles de langage et de l’IA grâce à la collaboration de la communauté

• PyTorch présente ExecuTorch Alpha, avec un accent mis sur le déploiement des grands modèles de langage (LLM) et des grands modèles de ML sur des appareils en périphérie, la stabilisation des API et le renforcement du processus d’installation.

• ExecuTorch Alpha prend en charge le Llama 2 de Meta et offre une prise en charge précoce de Llama 3, permettant d’exécuter efficacement ces LLM sur des appareils en périphérie comme l’iPhone ou les téléphones Samsung Galaxy.

• Pour optimiser les performances sur des appareils edge aux ressources limitées, ExecuTorch Alpha utilise des techniques de quantification et s’appuie sur la prise en charge des formes dynamiques de XNNPack ainsi que sur de nouveaux dtype pour une vaste compatibilité avec les appareils CPU.

• Le SDK ExecuTorch fournit des outils de débogage et de profilage améliorés, permettant aux développeurs de remapper les nœuds d’opérateurs vers le code source Python d’origine afin de résoudre plus efficacement les anomalies et d’ajuster les performances.

• La collaboration avec des partenaires comme Arm, Apple, Qualcomm Technologies, Google, Unity et Meta a joué un rôle clé dans l’avancement d’ExecuTorch, que Meta utilise déjà pour le suivi des mains et pour divers modèles sur appareil.