J’ai résumé l’article publié par Apple sur MM1, son LLM multimodal.

Apple a publié les résultats de ses recherches sur un LLM multimodal appelé MM1. (Le code du modèle et ses poids n’ont pas été publiés, et il semble peu probable qu’ils le soient à l’avenir)

Je partage ici un résumé réalisé avec ChatGPT, qui pourra être utile à celles et ceux qui entraînent ou affinent directement des modèles, notamment sur l’Image Encoder, le VL-Connector, ainsi que sur les jeux de données et les méthodes d’entraînement.

Le texte original est disponible sur arXiv sous le titre « MM1: Methods, Analysis & Insights from Multimodal LLM Pre-training ».

---

Leçon sur l’encodeur : la résolution de l’image a l’impact le plus important, suivie par la taille du modèle et la composition des données d’entraînement.

Encoder lesson: Image resolution has the highest impact, followed by model size and training data composition.

Leçon sur le connecteur VL : le nombre de tokens visuels et la résolution de l’image sont les facteurs les plus importants, tandis que le type de connecteur VL a peu d’effet.

VL Connector Lesson: Number of visual tokens and image resolution matters most, while the type of VL connector has little effect.

Leçon sur les données 1 : les données interleaved sont essentielles pour les performances en few-shot et en texte seul, tandis que les données de captioning améliorent les performances en zero-shot.

Data lesson 1: interleaved data is instrumental for few-shot and textonly performance, while captioning data lifts zero-shot performance.

Leçon sur les données 2 : les données text-only aident les performances en few-shot et en texte seul.

Data lesson 2: text-only data helps with few-shot and text-only performance.

Leçon sur les données 3 : un mélange soigneusement dosé de données d’image et de texte permet d’obtenir des performances multimodales optimales tout en conservant de solides performances textuelles.

Data lesson 3: Careful mixture of image and text data can yield optimal multimodal performance and retain strong text performance.

Leçon sur les données 4 : les données synthétiques aident l’apprentissage en few-shot.

Data lesson 4: Synthetic data helps with few-shot learning.