- Au CRFM de Stanford, le LLaMA 7B de Meta a été affiné à l’aide de 52K données de suivi d’instructions
- Se comporte de façon similaire à GPT-3.5 d’OpenAI (
text-davinci-003), tout en étant bien plus petit et moins coûteux
- La recette d’entraînement et les données sont publiées, et les poids du modèle devraient aussi être publiés ultérieurement
- Publié uniquement à des fins de recherche, utilisation commerciale interdite
- Le fine-tuning a pris 3 heures sur 8 A100 de 80 Go, et peut être réalisé dans le cloud pour moins d’environ 100 dollars
Aucun commentaire pour le moment.