- Affinage avec LoRA et Adapter à l’aide de Lit-Parrot, une implémentation open source basée sur nanoGPT
- Prend en charge des LLM comme StableLM, Pythia et RedPajama
- Utilise FlashAttention de PyTorch
- Dans l’exemple, le modèle RedPajama-INCITE est affiné sur le jeu de données d’instructions Dolly 2.0 de Databricks
Aucun commentaire pour le moment.