Alpaca : un puissant modèle open source de suivi d’instructions au niveau de GPT-3.5

• Au CRFM de Stanford, le LLaMA 7B de Meta a été affiné à l’aide de 52K données de suivi d’instructions
• Se comporte de façon similaire à GPT-3.5 d’OpenAI (text-davinci-003), tout en étant bien plus petit et moins coûteux
• La recette d’entraînement et les données sont publiées, et les poids du modèle devraient aussi être publiés ultérieurement
• Publié uniquement à des fins de recherche, utilisation commerciale interdite
• Le fine-tuning a pris 3 heures sur 8 A100 de 80 Go, et peut être réalisé dans le cloud pour moins d’environ 100 dollars

[xguru]

Repo : https://github.com/tatsu-lab/stanford_alpaca
Démo web : https://crfm.stanford.edu/alpaca/

La publication de LLaMA est vraiment en train de créer un moment Stable Diffusion. Les choses évoluent à une vitesse impressionnante.