Meta dévoile Llama 2, son modèle de langage de nouvelle génération

• Un grand modèle de langage open source utilisable à la fois pour la recherche et les usages commerciaux
• Entraîné sur 2 billions de tokens de données, soit 40 % de plus que Llama 1
• Longueur de contexte doublée : 4096
• Trois tailles de modèle : 7B, 13B, 70B
• Excellentes performances, supérieures à celles d'autres modèles de langage open source, dans de nombreux benchmarks tels que le raisonnement, le code, la maîtrise et les tests de connaissances (MPT, Falcon, Llama-1)
• Entraîné à partir de sources de données publiques, et la version fine-tunée Llama-2-chat s'appuie également sur des jeux d'instructions publics ainsi que sur plus d'un million d'annotations humaines
  • Utilise le Reinforcement Learning from Human Feedback (RLHF), y compris le Rejection Sampling et le Proximal Policy Optimization (PPO)
• Inclus dans le téléchargement
  • Code du modèle
  • Poids du modèle
  • README (guide d'utilisation)
  • Guide d'utilisation responsable
  • Licence
  • Politique d'utilisation acceptable
  • Fiche du modèle

[GN⁺]

Avis sur Hacker News

• Llama 2 dépasse et rattrape GPT-3.5 sur certains benchmarks
• Llama 2 affiche d’excellentes performances sur les tests AI2 Reasoning Challenge, HellaSwag et MMLU
• Llama 2 offre des performances similaires à GPT-3.5 avec moins de paramètres
• Llama 2 peut être facilement testé et intégré à des applications
• Llama 2 est proposé sous une licence non open source critiquée par certains utilisateurs
• Llama 2 est accessible via divers outils et plateformes
• Llama 2 dispose de garde-fous qui peuvent être contournés dans certains cas
• La sortie de Llama 2 est considérée comme une évolution positive et bénéfique pour l’industrie
• L’entraînement de Llama 2 sur 2T tokens a amélioré ses performances par rapport à Llama 1
• L’évolution de l’échelle des modèles Llama pourrait permettre d’obtenir des modèles puissants sur des GPU grand public