AlphaEvolve : un agent de codage avancé basé sur Gemini pour concevoir des algorithmes

• AlphaEvolve, dévoilé par Google DeepMind, est un agent de codage évolutif qui combine les modèles Gemini et des évaluateurs automatiques pour découvrir et optimiser des algorithmes
• Gemini Flash explore un large espace d’idées, Gemini Pro se charge de propositions plus approfondies, et les programmes candidats sont exécutés, validés et notés avant d’évoluer vers des variantes prometteuses
• Les algorithmes découverts au cours de l’année écoulée ont été déployés pour la planification des datacenters, la conception des TPU et l’optimisation de Gemini, et, dans Borg, récupèrent durablement en moyenne 0,7 % des ressources de calcul mondiales de Google
• Le kernel de multiplication matricielle de Gemini est devenu 23 % plus rapide, réduisant le temps d’entraînement de 1 %, tandis qu’une implémentation du kernel FlashAttention a atteint jusqu’à 32,5 % de gain de vitesse
• Dans le domaine des mathématiques, AlphaEvolve a trouvé un algorithme effectuant une multiplication de matrices complexes 4x4 avec 48 multiplications scalaires, et a amélioré le meilleur résultat connu sur environ 20 % de plus de 50 problèmes ouverts

---

Comment AlphaEvolve fait évoluer les algorithmes

• AlphaEvolve est un agent de codage évolutif visant la découverte et l’optimisation d’algorithmes à usage général
• Il associe la capacité de résolution créative des grands modèles de langage à des évaluateurs automatiques qui vérifient les réponses, puis améliore continuellement les idées prometteuses via un cadre évolutif
• En 2023, Google DeepMind avait montré que les LLM pouvaient découvrir de nouvelles connaissances démontrables sur des problèmes scientifiques ouverts via la génération de fonctions en code ; AlphaEvolve étend cette approche d’une fonction unique à des bases de code entières et à des algorithmes plus complexes
• L’architecture du modèle répartit les rôles entre largeur d’exploration et qualité des propositions
  • Gemini Flash : modèle rapide et efficace pour explorer un espace d’idées plus large
  • Gemini Pro : modèle plus puissant fournissant des propositions plus pertinentes
• Les programmes générés sont exécutés, validés et notés à l’aide de métriques d’évaluation automatiques, ce qui convient particulièrement aux problèmes de mathématiques et d’informatique où précision et qualité peuvent être mesurées quantitativement

Résultats appliqués à l’infrastructure de Google

• Au cours de l’année écoulée, les algorithmes découverts par AlphaEvolve ont été déployés dans l’ensemble des datacenters, du matériel et des logiciels de Google
• Des optimisations ponctuelles, une fois appliquées à une infrastructure d’IA et de calcul à grande échelle, permettent de traiter davantage de tâches avec les mêmes ressources

• Planification des datacenters

  • AlphaEvolve a découvert une heuristique simple mais efficace qui aide Borg à orchestrer plus efficacement les vastes datacenters de Google
  • Cette solution fonctionne en production depuis plus d’un an et récupère durablement en moyenne 0,7 % des ressources de calcul mondiales de Google
  • Implémentée en code lisible par des humains, elle offre aussi interprétabilité, facilité de débogage, prévisibilité et simplicité de déploiement

• Conception matérielle

  • AlphaEvolve a proposé une réécriture en Verilog supprimant des bits inutiles dans des circuits arithmétiques hautement optimisés pour la multiplication matricielle
  • Les modifications proposées doivent passer des procédures de vérification rigoureuses afin de confirmer qu’elles préservent la correction fonctionnelle du circuit
  • Cette proposition a été intégrée dans de futurs Tensor Processing Unit personnalisés de Google pour l’IA
  • En proposant des modifications dans le langage standard utilisé par les concepteurs de puces, l’approche s’intègre aussi à la manière dont collaborent IA et ingénieurs hardware

Optimisation de l’entraînement et de l’inférence de Gemini

• AlphaEvolve a trouvé comment diviser de grands calculs de multiplication matricielle en sous-problèmes plus petits, rendant un kernel clé de l’architecture Gemini 23 % plus rapide
• Cette amélioration du kernel a réduit de 1 % le temps d’entraînement de Gemini et diminué les ressources de calcul nécessaires au développement de modèles d’IA générative
• Le temps d’ingénierie nécessaire à l’optimisation des kernels est passé de plusieurs semaines de travail d’experts à quelques jours d’expérimentations automatisées
• L’optimisation de commandes GPU de bas niveau fait aussi partie des cibles
  • Dans ce domaine, les compilateurs effectuent généralement déjà des optimisations poussées, ce qui fait que les ingénieurs humains modifient rarement directement ce code
  • Sur l’implémentation du kernel FlashAttention de modèles d’IA basés sur les Transformers, AlphaEvolve a obtenu jusqu’à 32,5 % d’amélioration de vitesse
• Ces optimisations aident les experts à identifier les goulots d’étranglement de performance et à intégrer plus facilement les améliorations dans la base de code

Découverte en mathématiques et en algorithmique

• AlphaEvolve peut proposer de nouvelles approches pour des problèmes mathématiques complexes même lorsqu’on ne lui fournit qu’une structure de code minimale
• En concevant plusieurs composants d’une nouvelle procédure d’optimisation à base de gradient, il a découvert de nouveaux algorithmes pour la multiplication matricielle
• Dans l’exemple présenté, plusieurs composants ont été modifiés — optimiseur, initialisation des poids, fonction de perte, recherche d’hyperparamètres — et le processus évolutif a nécessité 15 mutations
• La procédure d’AlphaEvolve a trouvé un algorithme réalisant une multiplication de matrices complexes 4x4 avec 48 multiplications scalaires
  • Cela améliore le algorithme de Strassen de 1969, qui était jusqu’ici le meilleur connu dans cette configuration
  • AlphaTensor, spécialisé dans les algorithmes de multiplication matricielle, n’avait trouvé une amélioration en 4x4 que pour l’arithmétique binaire
• AlphaEvolve a aussi été appliqué à plus de 50 problèmes ouverts en analyse mathématique, géométrie, combinatoire et théorie des nombres
  • La plupart des expériences pouvaient être configurées en quelques heures
  • Dans environ 75 % des cas, il a redécouvert l’état de l’art connu
  • Dans environ 20 % des cas, il a amélioré le meilleur résultat existant, faisant progresser ces problèmes ouverts
• Sur le kissing number problem, il a découvert un agencement de 593 sphères extérieures en 11 dimensions, établissant une nouvelle borne inférieure

Plan d’ouverture et champ d’application

• AlphaEvolve illustre une évolution qui dépasse la découverte d’algorithmes dans des domaines spécifiques pour aller vers le développement d’algorithmes complexes répondant à des problèmes réels
• Google DeepMind estime qu’AlphaEvolve continuera de progresser à mesure que les capacités de codage des grands modèles de langage s’amélioreront
• Avec la People + AI Research team, l’entreprise construit une interface conviviale pour interagir avec AlphaEvolve
• Un Early Access Program est prévu pour certains utilisateurs académiques sélectionnés, et une ouverture plus large est également à l’étude
• Les inscriptions d’intérêt seront recueillies via ce formulaire
• Les domaines d’application actuels sont les mathématiques et l’informatique, mais l’approche peut s’appliquer à tout problème dont la solution peut être exprimée sous forme d’algorithme et vérifiée automatiquement
• Google DeepMind estime qu’AlphaEvolve pourrait aussi avoir un impact en science des matériaux, découverte de médicaments, durabilité et dans des usages technologiques et business plus larges
• Ressources liées
  • Lire le white paper en détail
  • S’inscrire pour manifester son intérêt pour AlphaEvolve
  • Voir les résultats mathématiques d’AlphaEvolve sur Google Colab