Chameleon : le nouveau LLM multimodal de Meta

• Chameleon est une famille de modèles multimodaux mixtes à base de tokens et à fusion précoce, capable de comprendre et de générer des images et du texte dans un ordre arbitraire
• Cette famille de modèles inclut une approche d’apprentissage stable, une recette d’alignement et des paramètres d’architecture pour une configuration multimodale mixte à base de tokens et à fusion précoce
• Une approche d’apprentissage stable a été adoptée dès le départ, et la recette d’alignement ainsi que les paramètres d’architecture ont été conçus pour une configuration multimodale mixte à base de tokens et à fusion précoce
• Le modèle a été évalué sur un ensemble complet de tâches, dont les réponses visuelles à des questions, la génération de légendes d’images, la génération de texte, la génération d’images et la génération multimodale mixte longue
  • Il affiche des performances de pointe sur la tâche de génération de légendes d’images
  • Sur les tâches uniquement textuelles, il dépasse Llama-2 et montre des performances compétitives face à des modèles comme Mixtral 8x7B et Gemini-Pro
  • Il dispose d’excellentes capacités de génération d’images et peut accomplir diverses tâches avec un seul modèle
  • Lors de l’évaluation de la génération multimodale mixte en format long, lorsque le prompt ou la sortie contient une séquence mixte d’images et de texte, il égale ou dépasse les performances de modèles bien plus grands comme Gemini Pro et GPT-4V
• Chameleon représente une avancée importante dans la modélisation unifiée de documents entièrement multimodaux
• Il établit une nouvelle référence pour les modèles multimodaux unifiés dotés de capacités complètes sur des tâches variées

L’avis de GN⁺

• Les modèles multimodaux peuvent traiter simultanément différents types d’entrée, ce qui les rend très utiles dans des applications réelles. Ils offrent par exemple de grands avantages pour des systèmes de question-réponse visuelle ou la génération de légendes d’images.
• Chameleon affiche des performances compétitives par rapport à Llama-2, Mixtral 8x7B et Gemini-Pro. Cela démontre sa flexibilité et ses performances sur des tâches variées.
• Lors de l’adoption d’une nouvelle technologie, il faut prendre en compte la stabilité du modèle, le coût d’entraînement et les besoins en données. Dans le cas de Chameleon, l’approche de fusion précoce est stable, mais son déploiement réel peut nécessiter suffisamment de données et de ressources de calcul.
• Les performances en génération multimodale mixte longue sont particulièrement intéressantes. Elles ouvrent de grandes possibilités pour la génération de documents complexes ou la production de contenus multimédias.
• Il existe dans l’industrie divers modèles multimodaux, comme GPT-4 d’OpenAI ou BERT de Google. Il est important de comparer les caractéristiques, avantages et limites de chaque modèle afin de choisir celui qui convient le mieux.

[fastkoder]

Points de contrôle du modèle : https://ai.meta.com/resources/models-and-libraries/…
Blog : https://ai.meta.com/blog/meta-fair-research-new-releases/
Dépôt GitHub : https://github.com/facebookresearch/chameleon
Publié il y a 8 heures !

[GN⁺]

Commentaires sur Hacker News

Résumé des commentaires de Hacker News

• Recherche fondamentale et problème du softmax

  • La recherche fondamentale est très intéressante. En particulier, l’analyse des difficultés liées à l’utilisation du softmax dans différents espaces de tokenisation est impressionnante.
  • Le problème est le plus marqué sur le modèle de taille 34b. Cela rappelle que l’entraînement de modèles à grande échelle fait émerger de nouveaux problèmes.

• Multimodalité et Mirasol3B

  • Par rapport à Mirasol3B, il ne prend pas en charge l’audio. Le Mirasol3B de Google permettait une démonstration en convertissant l’audio en images.
  • Meta avance également dans la direction de la multimodalité. Il est probable que le nouveau mode vocal de GPT utilise la même architecture.
  • L’ajout de nouvelles modalités améliore les performances du modèle à taille de paramètres égale.

• Temps et coût d’entraînement

  • Le temps d’entraînement est de 4 282 407 heures, ce qui représente environ 1 GWh de consommation électrique avec des GPU de 200 W. Le coût est d’environ 100 000 $.
  • Avec un seul GPU, il faudrait 500 ans d’entraînement et 100 000 $ de coûts énergétiques. En pratique, l’entraînement est possible avec 3 000 GPU pendant 2 mois.

• Performances du modèle Chameleon

  • Le modèle Chameleon atteint ou dépasse les performances de modèles plus grands comme Gemini Pro et GPT-4V. Il montre d’excellents résultats dans les évaluations de génération multimodale mixte.
  • Il constitue une avancée importante dans la modélisation unifiée de documents multimodaux.

• Vitesse du progrès technologique

  • Les progrès technologiques sont extrêmement rapides. Il y a beaucoup d’éléments intéressants et ils sont faciles à comprendre.
  • Cela peut toutefois provoquer une certaine fatigue, et avec tout l’argent investi, une grande partie peut sembler relever de l’arnaque. Mieux vaut creuser un sujet en profondeur et lire les articles de recherche associés.

• Adoption des modèles multimodaux

  • Ces derniers temps, les modèles multimodaux ont été largement adoptés, mais ils utilisent encore des encodeurs ou décodeurs séparés selon les modalités.
  • Par exemple, Gemini Pro utilise des image tokens, et GPT-4V fait quelque chose de similaire. Deux tokenizers différents sont préentraînés.

• Modèle unifié et compétition entre modalités

  • Le modèle unifié est intéressant, mais la découverte de la « compétition entre modalités » suggère qu’à court terme, il pourrait être préférable d’entraîner des modèles spécialisés pour chaque modalité.

• Projet open source de Meta

  • On se demande si Meta prévoit de publier ces modèles en open source.
  • Question sur la possibilité de télécharger le modèle.