BloombergGPT - un grand modèle de langage pour la finance

• Un modèle de langage de 50 milliards (50B) de paramètres entraîné sur de vastes données financières
• Constitution d’un jeu de données de 363 milliards de tokens basé sur les sources de données de Bloomberg, renforcé par 345 milliards de tokens de données générales
• Aucune dégradation des performances sur les benchmarks généraux des LLM, avec des résultats nettement supérieurs à ceux des modèles existants pour les tâches financières
• Présentation également des choix de modélisation, du processus d’entraînement et de la méthodologie d’évaluation
• Prochaine étape : publication prévue d’un journal d’entraînement (chronique) détaillant l’expérience d’entraînement de BloombergGPT