Meta prévoit de lancer une petite version de Llama 3 la semaine prochaine

• La plus grande version de Llama 3 est prévue pour cet été, tandis que deux petits modèles devraient sortir la semaine prochaine
• La sortie des petits modèles devrait susciter l’attente autour de Llama 3
• Llama 3 devrait intégrer une fonction de questions-réponses à partir d’images, comme GPT-4 d’OpenAI
• La plus grande version sera un modèle multimodal capable de comprendre et de générer à la fois du texte et des images
• En revanche, les deux petits modèles qui sortiront la semaine prochaine ne seront pas multimodaux

Avantages et inconvénients selon la taille du modèle

• Les petits modèles sont généralement moins coûteux à exécuter et plus rapides que les grands modèles
• Cela est de plus en plus jugé précieux compte tenu du coût d’exécution des grands modèles
• Les petits modèles sont aussi utiles aux développeurs qui veulent créer des logiciels d’IA sur des appareils mobiles

État du développement des modèles Llama chez Meta

• Meta avait auparavant lancé trois modèles de Llama 2
  • Le plus grand modèle compte 70 milliards de paramètres
  • Les deux autres modèles comptent respectivement 13 milliards et 7 milliards de paramètres
• La plus grande version de Llama 3 devrait dépasser 140 milliards de paramètres
• Meta utilise Llama 2 pour alimenter les fonctions d’assistant IA dans ses applications
• Ces derniers mois, les équipes de l’activité IA générative de Meta ont travaillé à rendre Llama 3 plus ouvert, estimant que Llama 2 répondait de manière trop conservatrice aux questions controversées

L’avis de GN⁺

• Le lancement de petites versions de Llama 3 par Meta Platforms montre que la concurrence dans le domaine des modèles de langage pour l’IA s’intensifie. Alors que de grands acteurs comme Google et xAI d’Elon Musk publient déjà des modèles open source, cette initiative de Meta peut être interprétée comme une stratégie visant à gagner des parts de marché et à conserver son leadership technologique.
• La sortie de versions plus petites peut constituer une stratégie marketing pour offrir de nouveaux outils aux développeurs et aux chercheurs, tout en renforçant l’intérêt et les attentes autour des versions plus grandes. Elle donne aussi aux utilisateurs la possibilité d’expérimenter avec de petits modèles et de s’y familiariser avant d’utiliser les plus grands.
• Le lancement de grands modèles de langage est techniquement très complexe, et leur entraînement ainsi que leur maintenance efficaces exigent d’importantes ressources informatiques et une expertise spécialisée. Meta dispose de ces ressources, mais les questions d’usage éthique des modèles et de biais restent des considérations majeures.
• On ignore encore comment le modèle Llama 3 de Meta se différenciera des autres modèles open source, ainsi que les nouvelles fonctionnalités ou innovations qu’il apportera. Cela pourrait devenir un sujet de discussion intéressant au sein de la communauté technologique.
• La sortie de modèles open source favorise la démocratisation de la technologie et permet davantage d’innovation. Mais à mesure que l’influence de ces modèles grandit, les inquiétudes liées à la désinformation, aux atteintes au droit d’auteur et à la protection de la vie privée augmentent elles aussi.