Falcon 2 prêt au décollage

Lancement du modèle de nouvelle génération de la série Falcon 2

• Le Technology Innovation Institute (TII) a lancé la série Falcon 2, sa nouvelle génération de grands modèles de langage (LLM)
  • Falcon 2 11B : un modèle de 11 milliards de paramètres entraîné sur 5,5 billions de tokens, avec une meilleure efficacité et une accessibilité accrue
  • Falcon 2 11B VLM : premier modèle multimodal doté d’une capacité de vision-to-language qui convertit des entrées visuelles en sorties textuelles
• Les deux modèles prennent en charge plusieurs langues, et Falcon 2 11B VLM est notamment le seul modèle de tout premier plan à proposer actuellement une fonction de conversion image-texte

Performances de Falcon 2 11B

• Selon l’évaluation de Hugging Face, Falcon 2 11B a montré de meilleures performances que le Llama 3 8B de Meta, tout en affichant un niveau comparable à Gemma 7B de Google (Falcon 2 11B : 64.28 vs Gemma 7B : 64.29)
• Falcon 2 11B et 11B VLM seront tous deux développés en open source et mis à disposition des développeurs sans restriction
• À l’avenir, la série Falcon 2 devrait s’étendre à des modèles de tailles variées, avec l’introduction de la technologie Mixture of Experts (MoE) afin d’améliorer encore les performances

Caractéristiques de Falcon 2 11B VLM

• Prise en charge multilingue, notamment en anglais, français, espagnol, allemand et portugais
• Intègre une capacité de vision-to-language permettant de reconnaître et d’interpréter les images et les informations visuelles de l’environnement
  • Peut être utilisée dans de nombreux secteurs, comme la santé, la finance, le commerce électronique, l’éducation et le droit
  • Large éventail de cas d’usage, de la gestion documentaire, l’archivage numérique et l’indexation contextuelle jusqu’à l’assistance aux personnes malvoyantes
• Peut fonctionner efficacement sur un seul GPU, avec une excellente scalabilité, et s’intègre facilement dans des infrastructures légères comme les ordinateurs portables

L’avis de GN⁺

• La série Falcon 2 représente une nouvelle génération qui améliore encore les performances et l’efficacité des modèles Falcon existants. Falcon 2 11B VLM revêt en particulier une grande importance en tant que premier grand modèle multimodal multilingue doté d’une capacité de vision-to-language. En permettant un traitement intégré des données visuelles et linguistiques, il devrait ouvrir la voie à des interactions plus naturelles et plus proches de celles des humains.

• Cela dit, l’IA multimodale en est encore à ses débuts et laisse une marge de progression en matière de stabilité et de robustesse. Pour un usage réel, il faudra donc examiner et corriger avec soin des questions comme les biais de données, les enjeux de confidentialité et de sécurité, ainsi que la vulnérabilité face à des entrées erronées.

• Le fait que la série Falcon 2 soit publiée en open source est également un point notable. Cela devrait favoriser une participation active de la communauté des développeurs et accélérer l’amélioration ainsi que l’extension des modèles. Il faut toutefois garder à l’esprit les risques d’usage malveillant propres aux modèles open source ; il semble donc souhaitable d’inclure dans la politique de licence des éléments comme une acceptable use policy afin d’encourager un usage responsable de l’IA.

• Le projet d’introduire la technologie Mixture of Experts (MoE) est lui aussi particulièrement intéressant. Le MoE consiste à combiner plusieurs petits réseaux spécialisés afin de produire des résultats plus précis et personnalisés grâce à une collaboration entre domaines d’expertise ; cette approche devrait contribuer de façon significative à l’amélioration future des performances de la série Falcon 2. Cette orientation de recherche peut être vue comme un effort visant non seulement à augmenter la taille des modèles, mais aussi à concevoir des systèmes d’IA plus efficaces et plus intelligents.

[GN⁺]

Avis Hacker News

• Il est souligné que les résultats de benchmark du modèle Falcon 2 11B sont d’un niveau comparable à ceux de Mistral 7B et de Llama 3 8B. Compte tenu de l’augmentation de la taille du modèle, cela ne semble pas si impressionnant.

• Il y a un problème avec la licence. Ils ont modifié la licence Apache 2 pour y inclure des clauses supplémentaires, dont l’exigence de respecter une politique d’usage acceptable. Le problème, c’est qu’on ne sait pas comment cette politique pourra évoluer à l’avenir. Indépendamment de son contenu actuel, elle pourrait être modifiée plus tard de n’importe quelle façon, et il faudrait s’y conformer. Il est relevé que la tendance à qualifier ce type de licence d’« open source » ne correspond pas à la définition de l’OSI.

• À l’affirmation selon laquelle « Falcon 2 11B surpasse le Llama 3 8B de Meta et affiche des performances équivalentes à celles du Gemma 7B de Google », certains répondent qu’ils ont au contraire eu la nette impression que Llama 3 8B dépasse Gemma 7B sur presque tous les plans.

• À propos de l’expression « le seul modèle d’IA doté d’une fonctionnalité Vision-to-Language », des doutes sont exprimés : en quoi est-ce vraiment différent de ce que font GPT-4 Vision ou LLaVA ?

• Il est de nouveau souligné que le modèle Falcon n’est pas particulièrement ouvert. À l’origine, Falcon n’était pas aussi performant que ses benchmarks le laissaient penser. Il avait été présenté comme une avancée majeure, mais certains disent ne pas avoir eu le sentiment qu’il surpassait les modèles concurrents.

• La communication autour du fait que le modèle 11B serait plus performant que les modèles 7B et 8B « de la même catégorie » semble un peu exagérée. Certains comptent tout de même l’essayer pour de l’inférence locale, mais leur intuition pour l’instant est qu’un Llama 3 8B finement ajusté reste le meilleur choix.

• Si l’entraînement a été fait majoritairement sur des jeux de données publics, avec du matériel AWS et des algorithmes et techniques bien connus, certains se demandent en quoi ce modèle se distingue d’autres modèles que n’importe qui pourrait entraîner avec assez d’argent. Une vision sceptique et critique estime qu’il s’agit surtout d’un effort pour paraître pertinent et d’un simple « flex ».

• Il est affirmé que Falcon 2 11B est supérieur à Llama 3 8B, mais comme il a davantage de paramètres, la comparaison n’est pas équitable. Le meilleur modèle open source semble plutôt être Llama 3 70B ; dès lors, certains s’interrogent sur la raison de revendiquer une supériorité sur Llama 3 sans dépasser son meilleur modèle.