Présentation du modèle Llama 3
- Meta a dévoilé le modèle Llama 3. Les versions préentraînées et ajustées par instruction en 8B et 70B sont toutes deux proposées afin de prendre en charge le développement de diverses applications.
- Llama 3 est intégré à Meta AI et peut être utilisé pour des tâches de code et de résolution de problèmes. Cela permet d’expérimenter directement les performances de Llama 3.
- Llama 3 doit offrir les fonctionnalités et la flexibilité nécessaires au développement d’agents ou d’applications basées sur l’IA.
Amélioration des performances de Llama 3
- Llama 3 est un modèle de pointe en accès ouvert, offrant d’excellentes performances sur des tâches complexes comme les nuances du langage, la compréhension du contexte, la traduction et la génération de conversations.
- Grâce à une meilleure évolutivité et à des performances accrues, Llama 3 peut gérer facilement des tâches en plusieurs étapes. Le processus de post-entraînement amélioré réduit fortement le taux de faux refus, améliore l’alignement des réponses et augmente la diversité des réponses du modèle.
- Il améliore également de manière significative des capacités comme le raisonnement, la génération de code et l’exécution d’instructions. Llama 3 permet de construire l’avenir de l’IA.
Benchmarks du modèle Llama 3
- Le modèle Llama 3 fait passer les données et l’échelle à un niveau inédit. Il a été entraîné sur plus de 15 billions de tokens au sein de deux clusters GPU de 24K récemment annoncés, soit un jeu de données d’entraînement 7 fois plus grand que celui utilisé pour Llama 2, avec 4 fois plus de code.
- Cela a donné naissance au modèle Llama le plus performant à ce jour, avec une longueur de contexte de 8K, soit le double de la capacité de Llama 2.
Une approche globale pour une utilisation responsable de Llama 3
- Avec le lancement de Llama 3, le Responsible Use Guide (RUG) a été mis à jour afin de fournir les informations les plus complètes à ce jour sur le développement responsable utilisant des LLM.
- Des mises à jour ont été apportées aux outils de confiance et de sécurité, notamment Llama Guard 2, Code Shield et Cybersec Eval 2, optimisés pour prendre en charge la nouvelle taxonomie publiée par MLCommons.
- Conformément aux principes énoncés dans le RUG, il est recommandé d’examiner et de filtrer rigoureusement toutes les entrées et sorties des LLM sur la base de lignes directrices de contenu propres aux cas d’usage et aux publics visés.
Avis de GN⁺
- En plus de l’amélioration des performances de Llama 3, il est impressionnant que des lignes directrices pour un développement responsable soient également fournies. Plus un modèle d’IA est puissant, plus les efforts pour l’utiliser correctement doivent aller de pair.
- Toutefois, du fait de la nature open source du projet, il ne semble pas exister de moyen de faire respecter ces lignes directrices de façon contraignante. La coopération volontaire des développeurs sera probablement nécessaire.
- Llama 3 devrait afficher des performances comparables à celles des derniers modèles d’OpenAI comme GPT-4, mais aucun résultat de benchmark objectif n’a encore été publié. Les performances réelles sur diverses tâches suscitent donc la curiosité.
- Puisqu’il s’agit d’un projet open source, on peut s’attendre à ce que diverses organisations et de nombreux développeurs, au-delà de Meta, présentent des projets intéressants fondés sur Llama 3. Ce sera l’occasion de vérifier le potentiel de Llama 3.
1 commentaires
Avis Hacker News
Certains remercient Meta d’avoir adopté une approche open source et de partager les poids du modèle, le tokenizer ainsi que des informations sur les données d’entraînement. Grâce à cette approche ouverte de Meta, il est désormais possible d’exécuter localement des modèles plutôt corrects sur du matériel grand public.
Avec la publication de Llama 3, Meta a également annoncé qu’il sera possible de tester l’IA Meta multimodale sur les lunettes connectées Ray-Ban Meta. Un avis estime que les interfaces informatiques/smartphone traditionnelles, hormis quelques applications de niche, disparaîtront, et qu’à la place chacun disposera de son propre assistant IA avec lequel interagir aussi naturellement qu’avec une autre personne.
Certains disent vouloir voir des modèles bien adaptés aux GPU grand public de 24 Go, par exemple un modèle 20B quantifié en 8 bits ou un modèle 40B pouvant être quantifié en 4 bits. Il est jugé décevant que Meta ait cessé de publier des modèles 30B après Llama 1.
La model card de Llama 3 inclut des résultats de benchmark comparés aux autres modèles Llama. Le gain de performances spectaculaire de Llama 3 par rapport à Llama 2 est jugé impressionnant, et le fait d’avoir doublé la fenêtre de contexte à 8k semble ouvrir de nombreuses nouvelles possibilités.
Il est également signalé que Zuckerberg a donné une interview au sujet de Llama 3.