Présentation de torchtune : une bibliothèque Python pour affiner les grands modèles de langage

• torchtune est une nouvelle bibliothèque PyTorch conçue pour faciliter l’affinage des grands modèles de langage (LLM). Elle fournit des briques de construction configurables et modulaires afin que les utilisateurs puissent personnaliser le processus d’entraînement et adapter les LLM à des cas d’usage spécifiques.

• torchtune prend en charge l’ensemble du workflow d’affinage, du téléchargement des jeux de données et des checkpoints de modèles à l’enregistrement de la progression et des métriques, en passant par la quantification des modèles et l’évaluation sur des benchmarks populaires.

• Elle offre également une compatibilité avec des systèmes d’inférence de production populaires et permet l’inférence locale pour tester les modèles affinés.

• torchtune a été conçu avec l’évolutivité, la démocratisation et l’interopérabilité à l’esprit, ce qui le rend accessible aux utilisateurs de tous niveaux d’expertise et permet une intégration fluide avec l’écosystème open source des LLM.

• Il propose des intégrations avec Hugging Face Hub, PyTorch FSDP, Weights & Biases, LM Evaluation Harness d’EleutherAI, ExecuTorch et Torchao pour une inférence efficace et la quantification.