Meta dévoile Llama 2, son modèle de langage de nouvelle génération

• Un grand modèle de langage open source utilisable à la fois pour la recherche et des usages commerciaux
• Entraîné sur 2 billions de tokens, soit 40 % de plus que Llama 1
• Longueur de contexte doublée : 4096
• Trois tailles de modèle : 7B, 13B, 70B
• De meilleures performances que d’autres modèles de langage open source sur de nombreux benchmarks, notamment en raisonnement, en code, en maîtrise et en tests de connaissances (MPT, Falcon, Llama-1)
• Entraîné à partir de sources de données publiques, et le modèle affiné Llama-2-chat s’appuie également sur des jeux d’instructions publics et plus d’un million d’annotations humaines
• Inclus dans le téléchargement
  • Code du modèle
  • Poids du modèle
  • README (guide utilisateur)
  • Guide d’utilisation responsable
  • Licence
  • Politique d’utilisation acceptable
  • Model Card

[kuroneko]

Cette fois encore, quelqu’un va-t-il diffuser un lien magnet torrent au nom de l’« intérêt général » ?

[tpdns90321]

Cette fois, pas besoin de cela, c'est publié directement.

[xguru]

Il y a des différences selon les domaines, mais les évaluations le placent globalement au niveau de GPT-3.5, voire au-dessus.

Cela semble totalement open source, mais il y a une contrainte importante : si c’est un « service dépassant 700 millions de MAU », il faut demander une licence à Meta, qui peut la refuser.

On dirait en gros : « Google, TikTok, vous n’avez pas le droit de l’utiliser ! »

Microsoft a rapidement annoncé que Llama 2 pouvait être utilisé sur Azure.
https://blogs.microsoft.com/blog/2023/…

On dirait que Microsoft entretient de bonnes relations aussi bien avec OpenAI qu’avec Meta.