The Pile, un jeu de données open source diversifié de 825 gigaoctets pour la modélisation du langage (2020)

The Pile : un jeu de données de 800 Go de textes variés pour la modélisation du langage

• The Pile est un jeu de données open source diversifié de 825 GiB pour la modélisation du langage, créé en combinant 22 petits jeux de données de haute qualité.
• Ce jeu de données est hébergé par une organisation appelée Eye, et compressé avec zstandard au format de données jsonlines.
• Si vous utilisez The Pile ou si vous évaluez un modèle avec celui-ci, il est demandé d'en informer les développeurs.

Pourquoi utiliser The Pile comme jeu d'entraînement

• Des recherches récentes montrent que, surtout pour les grands modèles, la diversité des sources de données améliore les connaissances générales inter-domaines du modèle ainsi que ses capacités de généralisation sur des tâches en aval.
• Selon les évaluations, les modèles entraînés sur The Pile montrent des améliorations modérées sur les benchmarks traditionnels de modélisation du langage, et des améliorations significatives sur Pile BPB.

Pourquoi utiliser The Pile comme benchmark

• Pour obtenir un bon score sur Pile BPB (bits per byte), un modèle doit être capable de comprendre une grande variété de domaines, notamment les livres, les dépôts GitHub, les pages web, les journaux de chat, la médecine, la physique, les mathématiques, l'informatique et les articles de philosophie.
• Pile BPB est une métrique qui mesure les connaissances du monde et les capacités de raisonnement dans ces domaines, et constitue un benchmark solide des capacités générales de modélisation de texte inter-domaines des grands modèles de langage.

Citation

• Si vous utilisez The Pile ou l'un de ses composants, il est demandé de le citer comme suit.

@article{pile,
  title={The {P}ile: An 800GB Dataset of Diverse Text for Language Modeling},
  author={Gao, Leo and Biderman, Stella and Black, Sid and Golding, Laurence and Hoppe, Travis and Foster, Charles and Phang, Jason and He, Horace and Thite, Anish and Nabeshima, Noa and Presser, Shawn and Leahy, Connor},
  journal={arXiv preprint arXiv:2101.00027},
  year={2020}
}

Classement

• Le classement indique la possibilité de chevauchement avec le jeu de test, et Zero-shot signifie qu'aucun des composants de The Pile n'a été inclus dans les données d'entraînement.
• GPT-3 (Zero-Shot)* et GPT-2 (Zero-Shot)* ont été classés par OpenAI le 1er janvier 2021, avec des Test BPB de 0.7177 et 1.225 respectivement.
• Le code d'évaluation est fourni par EleutherAI 2021.

Avis de GN⁺

• Le jeu de données The Pile reflète les résultats récents de la recherche selon lesquels la diversité des données est importante pour l'entraînement et le benchmarking des modèles de langage. Cela contribue à permettre aux modèles de langage de comprendre et de traiter une grande variété de textes du monde réel.
• La taille et la diversité du jeu de données permettent aux modèles d'apprendre un éventail de connaissances plus large et d'acquérir de meilleures capacités de généralisation. Cela peut être considéré comme une avancée importante, en particulier dans le domaine de l'IA.
• Cependant, pour exploiter efficacement de tels jeux de données à grande échelle, des ressources de calcul considérables sont nécessaires, ce qui soulève des questions de coût et d'impact environnemental.
• Parmi les autres projets offrant des fonctionnalités similaires figurent les grands modèles de langage comme GPT-3 d'OpenAI, qui eux aussi apprennent à partir de sources de données variées.
• Avant d'utiliser The Pile, il est nécessaire de bien comprendre l'origine et la qualité des données, ainsi que le contenu que le modèle apprendra. L'avantage de choisir ce jeu de données est l'acquisition de connaissances variées par le modèle, mais il faut également prendre en compte les coûts de traitement et de stockage des données.