Présentation de Gemini 2.5 Pro Preview : le modèle d’IA de Google encore plus performant pour le code

• Google a lancé en avance Gemini 2.5 Pro Preview (I/O Edition), avant l’événement I/O officiel, afin d’intégrer les retours des développeurs et d’améliorer les performances
• Le modèle affiche des performances particulièrement solides en développement frontend et UI, avec des progrès en transformation de code, édition et jugement d’abstraction
• Grâce à une performance de 84,8 % sur le benchmark VideoMME, il devient possible de générer automatiquement des applications d’apprentissage à partir de vidéos
• Le raisonnement sur le design permet aussi de créer facilement des UI adaptées au style souhaité et d’y ajouter des fonctionnalités
• La version du 25 mars sera automatiquement mise à jour vers celle du 6 mai, ce qui permet de bénéficier du modèle amélioré sans travail supplémentaire

---

Excellentes performances en développement frontend

• Gemini 2.5 Pro occupe la 1re place du classement WebDev Arena
• Il démontre des performances de tout premier plan dans les évaluations de préférence humaine, selon des critères d’UI esthétiques et de complétude fonctionnelle
• En collaboration avec Cognition et Replit, Google élargit les possibilités de la programmation agentique

Combinaison de compréhension du code et de capacité de raisonnement

• Vidéo → code

  • Avec une performance de 84,8 % sur le benchmark VideoMME, le modèle atteint un niveau SOTA en compréhension vidéo
  • Il peut générer automatiquement des applications d’apprentissage interactives à partir de vidéos YouTube
  • Il produit des résultats avec une UI globale et un niveau d’interaction améliorés par rapport à la version précédente

• Automatisation du développement de fonctionnalités

  • Jusqu’ici, il fallait ouvrir les fichiers du designer et transformer manuellement en CSS les couleurs, polices, marges, etc.
  • Gemini 2.5 Pro peut générer automatiquement des composants adaptés au style souhaité
  • Exemple : il peut automatiser l’ajout d’une fonction de lecteur vidéo cohérente avec le style de l’application Gemini 95

• Accélération du passage de l’idée à l’application

  • Comme dans l’exemple de l’application de dictée de démarrage, il peut créer des applications en prenant en compte à la fois la fonctionnalité et la qualité esthétique
  • Génération automatique d’éléments UI détaillés comme des animations de forme d’onde, du design responsive et des effets au survol de la souris
  • Même sans intervention directe de l’utilisateur sur le design, il génère par défaut des résultats visuellement soignés

Prise en compte des retours développeurs et mode d’utilisation

• Par rapport à la version précédente, le modèle réduit le taux d’erreur des appels de fonction et améliore le déclenchement des appels
• La version 03-25 pointera automatiquement vers la version 05-06 → application sans mise à jour séparée
• Disponible immédiatement dans Google AI Studio et Vertex AI
• La fiche du modèle a également été mise à jour avec les dernières informations
• La mise à jour vers la dernière version est automatique, sans changement de prix

Cas d’usage et attentes

• Replit, Cursor, Cognition et d’autres envisagent ou appliquent déjà son adoption comme agent de code de nouvelle génération
• Du développeur individuel aux entreprises, il devrait contribuer à la diffusion des flux de développement agentiques

[GN⁺]

Avis sur Hacker News

• Par le passé, le principal reproche quand on utilisait ce type de modèles pour programmer était leur tendance à inventer des API inexistantes. Les modèles Gemini 2.5, en particulier les versions Pro et Flash, souffrent moins de ce problème que les autres modèles

  • Il reste toutefois des limites importantes, et il est actuellement impossible pour les modèles d’aborder l’abstraction et l’architecture comme le ferait un humain
  • Cependant, les modèles Gemini sont désormais capables de remplacer la recherche et Stack Overflow dans la programmation au quotidien

• Gemini 2.5 Pro a pris la première place du classement WebDev Arena

  • Il serait probablement plus logique de renommer WebDev Arena en React/Tailwind Arena
  • Le prompt système exige ces technologies, et l’ensemble de l’outil ne fonctionne pas quand on demande du JS vanilla ou d’autres frameworks
  • C’est problématique que les modèles se mesurent sur une définition aussi étroite du développement web

• Quand on demande du code à Gemini 2.5, il produit trop de commentaires

  • Cela inclut une quantité excessive de commentaires de section, d’étape, de bloc et en ligne

• Gemini 2.5 excelle dans les tâches agentiques, mais a encore du mal à générer des diffs parfaits pour l’édition de code

  • L’ancien Gemini 2.5 génère des diffs corrects avec une précision de 92 %
  • On s’attend à ce que ce taux monte à 95-98 %

• Question à un représentant de Google : je me demande si Gemini-2.5-pro-exp (version gratuite) a aussi été mis à jour, ou s’il va disparaître

  • D’après le billet de blog, l’ancienne version (03-25) pointe vers la version la plus récente (05-06), et aucune action supplémentaire n’est nécessaire pour utiliser le modèle amélioré
  • Je me demande si Gemini-2.5-pro-preview-03-25 utilise désormais la 05-06, et si c’est aussi le cas pour Gemini-2.5-pro-exp-03-25

• En comparant les benchmarks de l’expérimental 03-25 et de l’expérimental 05-06, la nouvelle version obtient des scores légèrement inférieurs partout sauf sur LiveCodeBench

• J’utilise Gemini pour presque tout, mais la model card ne le compare qu’à o3-mini

  • Sur les benchmarks connus, o3 reste toujours devant

• Gemini 2.5 Pro est excellent, mais l’interface a encore des problèmes de défilement qui la rendent difficile à utiliser

  • Il vaut mieux attendre quelques minutes après la fin de la sortie de l’IA
  • Il est aussi fiable de chercher l’élément ms-code-block dans les outils de développement et d’afficher $0.textContext

• Gemini 2.5 Pro est excellent, mais son coût est très élevé et la visibilité sur les coûts reste opaque

  • Récemment, beaucoup de gens ont reçu des factures inattendues, certains atteignant 500 $ pour un usage normal
  • J’ai moi aussi été touché, et j’ai retiré ma clé API de l’outil

• Ce modèle est moins performant que la 03-25 sur 10 benchmarks sur 12

  • Ils ont continué à l’entraîner sur le code, tout s’est dégradé, et ils ont peut-être essayé de le cacher à cause du coût irrécupérable

• Je me demande pourquoi ils ne peuvent pas utiliser un numéro de version au lieu de « nouvelle preview »

  • Par exemple, l’appeler Gemini Pro 2.5.1 serait bien