TorchTune - bibliothèque PyTorch de Meta pour le fine-tuning des LLM

• Bibliothèque de fine-tuning native PyTorch pour créer, affiner et expérimenter facilement avec des LLM
• Implémentations PyTorch natives de LLM populaires
• Prise en charge de checkpoints dans divers formats, y compris les checkpoints au format HF
• Fournit des recettes d'entraînement pour des techniques de fine-tuning largement utilisées, avec des benchmarks de référence et des vérifications de précision complètes
• Évaluation des modèles entraînés via le harnais d'évaluation EleutherAI
• Intégration avec les jeux de données HuggingFace pour l'entraînement
• Prise en charge de l'entraînement distribué avec FSDP de PyTorch Distributed
• Configuration YAML pour paramétrer facilement l'exécution de l'entraînement
• [À venir] prise en charge des dtype basse précision et des techniques de quantification de TorchAO
• [À venir] prise en charge de l'intégration avec divers moteurs d'inférence