- Un grand modèle de langage au style assistant
- Les données collectées, la procédure de collecte, le code d’entraînement, les poids finaux du modèle, etc. sont tous publiés
- Entraîné sur 800k données (code/histoires/conversations) générées par GPT 3.5 Turbo
- Utilise comme jeu de données de base LAION OIG, les questions de programmation de Stack Overflow et l’ajustement par instructions de Big-Science/P3
- S’inspire notamment de Stanford Alpaca et a procédé à la curation et au nettoyage des données en les important dans ATLAS
Aucun commentaire pour le moment.