Gemma - les modèles ouverts de pointe de Google

• Google affirme sa conviction de construire une IA utile pour tous et a contribué à l’innovation de la communauté open source avec des avancées comme Transformers, TensorFlow, BERT, T5, JAX, AlphaFold et AlphaCode
• Gemma est une famille de modèles ouverts légers et de pointe, conçus à partir des mêmes recherches et technologies que celles utilisées pour créer les modèles Gemini
  • Développée par Google DeepMind et d’autres équipes, elle s’inspire de « gemma », un mot latin signifiant « joyau »
• Disponible dès aujourd’hui dans le monde entier, avec les poids des modèles, des outils pour soutenir l’innovation des développeurs, favoriser la collaboration et guider une utilisation responsable des modèles Gemma
• En partageant les composants technologiques et d’infrastructure de Gemini, Gemma 2B et 7B atteignent les meilleures performances de leur catégorie au regard de leur taille par rapport aux autres modèles ouverts
• Ils peuvent être exécutés directement sur l’ordinateur portable ou le PC de bureau d’un développeur, tout en surpassant des modèles bien plus grands sur les principaux benchmarks et en respectant des normes strictes pour produire des résultats sûrs et responsables
• Fournit, via Keras 3.0 natif, une toolchain pour l’inférence et le SFT (supervised fine-tuning) sur tous les principaux frameworks, dont JAX, PyTorch et TensorFlow
• Il est facile de démarrer avec Gemma grâce à l’intégration avec les notebooks Colab et Kaggle ainsi qu’avec des outils populaires comme Hugging Face, MaxText, NVIDIA NeMo et TensorRT-LLM
• Les modèles Gemma préentraînés et instruction-tunés peuvent être facilement déployés sur Vertex AI et Google Kubernetes Engine (GKE) pour s’exécuter sur un notebook, une station de travail ou Google Cloud
• Des optimisations pour plusieurs plateformes matérielles IA, notamment les GPU NVIDIA et les TPU Google Cloud, garantissent des performances de premier plan dans l’industrie
• L’utilisation et le déploiement commerciaux sont autorisés, pour les organisations de toute taille, conformément aux conditions d’utilisation

Conçus de manière responsable

• Gemma a été conçu en donnant la priorité aux principes de l’IA, avec des techniques automatisées pour filtrer les informations personnelles et autres données sensibles des ensembles d’entraînement
• En outre, l’apprentissage par renforcement à partir de retours humains (RLHF) a été largement utilisé pour les modèles ajustés par instruction afin de les aligner sur un comportement responsable
• Des évaluations robustes ont été menées pour comprendre et réduire le profil de risque des modèles Gemma, notamment via du red teaming manuel, des tests adversariaux automatisés et l’évaluation des capacités du modèle concernant les activités dangereuses

Optimisés à travers frameworks, outils et matériel

• Les modèles Gemma peuvent être affinés sur vos propres données pour répondre aux besoins d’applications spécifiques et prennent en charge divers outils et systèmes
• Outils multi-framework : accès aux frameworks privilégiés comme Keras 3.0, PyTorch natif, JAX et Hugging Face Transformers. Des implémentations de référence sont fournies
• Compatibilité cross-device : exécution possible sur des appareils populaires, notamment ordinateurs portables, PC de bureau, IoT, mobile et cloud
• Plateformes matérielles de pointe : grâce à un partenariat avec NVIDIA, les optimisations pour les GPU NVIDIA — du data center au cloud en passant par les RTX AI PC locaux — garantissent des performances de premier plan et une intégration avec les technologies les plus avancées
• Optimisé pour Google Cloud : Vertex AI fournit un vaste ensemble d’outils MLOps et diverses options d’ajustement, avec un déploiement en un clic grâce aux optimisations d’inférence intégrées

Crédits gratuits pour la recherche et le développement

• Gemma a été conçu pour la communauté des développeurs et chercheurs qui fait avancer l’innovation en IA, et il est possible de commencer dès aujourd’hui grâce à l’accès gratuit sur Kaggle, au niveau gratuit des notebooks Colab et à un crédit de 300 $ pour les nouveaux utilisateurs de Google Cloud
• Les chercheurs peuvent demander jusqu’à 500 000 $ de crédits Google Cloud pour accélérer leurs projets

[dodok8]

Maintenant, il n’y a plus que l’IA ouverte qui soit fermée.

[xguru]

Avis sur Hacker News

• Un point notable dans les conditions d’utilisation de Gemma de Google est la clause selon laquelle les utilisateurs doivent faire des efforts raisonnables pour utiliser la dernière version de Gemma. Cela annule un avantage important de l’exploitation de son propre modèle, à savoir être protégé du risque que des mises à jour du modèle cassent des prompts soigneusement testés, ce qui rend cette clause particulièrement insatisfaisante.
• Les résultats de benchmark de Gemma 7B apparaissent à un niveau comparable à Mistral 7B. Des tests comme MMLU, HellaSwag et HumanEval montrent que les performances de Gemma 7B sont compétitives par rapport à Mistral 7B.
• Les modèles Gemma présentent quelques particularités :
  • la taille cachée du feedforward est 16 fois d_model, contrairement à la plupart des modèles où elle est de 4 fois ;
  • la taille du vocabulaire est de 256K, soit 10 fois plus que les 32K de Mistral ;
  • le nombre de tokens d’entraînement est de 6T, soit 3 fois plus que les 2T de Llama2 ;
  • en dehors de cela, ils utilisent aussi des variantes classiques du transformer comme MQA, RoPE et RMSNorm ;
  • une question est posée sur la taille de batch qui a permis d’entraîner le modèle aussi rapidement.
• Une interrogation est soulevée sur la possibilité d’obtenir le modèle sans « aligment » (qui semble désigner un fine-tuning idéologique). Il est souligné que les réponses du modèle Gemini deviennent souvent inutilisables à cause de ce fine-tuning idéologique.
• Avis personnel selon lequel les modèles de Google ne sont pas fiables. À une question sur l’époque Heian au Japon, le modèle a fourni des informations totalement absurdes, avec des erreurs si évidentes qu’elles ressemblaient à une blague ou à une parodie. Il est mentionné que les modèles Llama ont montré des performances bien meilleures.
• Un avis positif souligne qu’il est louable que l’équipe Gemma participe à la section des commentaires pour répondre aux questions.
• Le modèle Gemma a donné des informations erronées sur la plus haute structure artificielle du monde, le pays le plus riche du monde et le nombre de centimètres par pied. Ces erreurs soulèvent des doutes sur la précision du modèle.
• Le modèle Gemma-7B est listé dans le leaderboard Vectara HHEM avec un taux de réponse de 100 % et un taux d’hallucination de 7,5 %. C’est une performance assez bonne pour un modèle de 7B paramètres.
• Il est fait mention des benchmarks impressionnants de Gemma, en estimant que même le modèle 2B semble plutôt correct. Une attente enthousiaste est exprimée à l’idée de consacrer le week-end à explorer ce modèle.
• Il est rappelé que si, il y a 5 ans, on avait demandé qui d’OpenAI, Meta ou Google serait le plus ouvert en matière d’IA, la plupart auraient probablement choisi OpenAI. Pourtant, il est jugé paradoxal qu’aujourd’hui, ce soient Meta et Google, des entreprises valant des milliers de milliards de dollars, qui publient des modèles open puissants utilisables commercialement.