FunSearch : de nouvelles découvertes en mathématiques et en sciences grâce aux LLM

FunSearch : utiliser les grands modèles de langage pour faire de nouvelles découvertes en mathématiques et en sciences

• Les grands modèles de langage (LLM) excellent à combiner des concepts et constituent des outils utiles pour aider à résoudre des problèmes par la lecture, l’écriture et le codage.
• Comme les LLM ont parfois tendance à produire des informations non factuelles, ou des « hallucinations », il est difficile d’obtenir des découvertes exactes et vérifiables.
• FunSearch est une méthode qui combine un LLM préentraîné fournissant des solutions créatives et un « évaluateur » automatique chargé d’écarter les mauvaises idées afin d’explorer de nouvelles solutions en mathématiques et en informatique.

Accélérer les découvertes grâce à une évolution pilotée par les modèles de langage

• FunSearch utilise une méthode évolutionnaire qui fait progresser les idées ayant obtenu les meilleurs scores, ces idées étant représentées sous forme de programmes informatiques pouvant être exécutés et évalués automatiquement.
• L’utilisateur formule le problème sous forme de code, composé d’une procédure d’évaluation du programme et d’un programme de départ servant à initialiser le pool initial de programmes.
• FunSearch fonctionne selon une procédure itérative : à chaque itération, certains programmes du pool courant sont sélectionnés puis fournis au LLM, qui génère de nouveaux programmes ensuite évalués.

Ouvrir de nouvelles voies en mathématiques

• FunSearch a découvert une nouvelle solution au problème des cap sets, qui tourmente les mathématiciens depuis des décennies.
• Le problème des cap sets consiste à trouver le plus grand ensemble de points dans une grille de grande dimension tel qu’aucune droite ne contienne trois points de l’ensemble ; il s’agit d’un modèle important en combinatoire extrémale.
• Dans certaines configurations, FunSearch a découvert les plus grands cap sets trouvés depuis vingt ans.

FunSearch privilégie des programmes concis et interprétables par l’humain

• FunSearch ne se contente pas de générer une solution au problème : il produit un programme qui explique aussi comment cette solution a été obtenue.
• FunSearch privilégie la recherche de solutions au moyen de programmes à faible complexité de Kolmogorov, c’est-à-dire très concis.
• Les sorties produites par les programmes de FunSearch sont faciles à comprendre pour les chercheurs et leur apportent des pistes d’action concrètes.

Relever des défis notoirement difficiles en informatique

• Après son succès sur le problème théorique des cap sets, FunSearch a été appliqué au problème du « bin packing », un défi pratique important en informatique.
• FunSearch a réussi à emballer le même nombre d’éléments dans moins de bacs que les heuristiques existantes.

Ouvrir la voie à des découvertes pilotées par les LLM pour la science et au-delà

• Si l’on parvient à empêcher les hallucinations des LLM, il sera possible d’exploiter la puissance de ces modèles non seulement pour réaliser de nouvelles découvertes mathématiques, mais aussi pour mettre au jour des solutions à fort impact pour des problèmes concrets importants.
• On peut s’attendre à ce que l’usage d’approches pilotées par les LLM pour générer des algorithmes efficaces et sur mesure devienne une pratique courante pour de nombreux problèmes scientifiques et industriels.

L’avis de GN⁺

• FunSearch montre de nouvelles possibilités pour l’intelligence artificielle dans la résolution de problèmes mathématiques. En particulier, en proposant une nouvelle solution à un problème resté non résolu pendant longtemps, comme celui des cap sets, le rôle de l’IA dans les mathématiques devrait devenir encore plus important.
• Le fait que cette technologie soit appliquée à des problèmes industriels réels, par exemple l’amélioration de l’efficacité des centres de données, montre que l’IA peut aussi contribuer à la résolution de problèmes pratiques.
• Les programmes générés par FunSearch sont interprétables par l’humain, ce qui aidera les chercheurs à obtenir des insights plus profonds et à résoudre des problèmes en collaboration avec l’IA.

[GN⁺]

Discussion sur Hacker News

• Question sur la nécessité des LLM :

  • Le but du LLM semble être de générer une fonction Python conforme à une signature de type donnée.
  • Même sans LLM, il devrait être possible de générer aléatoirement des fonctions Python correctes correspondant à une signature de type donnée.
  • Cela suggère qu’un langage restreint pourrait être plus efficace, avec des langages comme PushGP cités en exemple.
  • La question est de savoir si le LLM apporte réellement de la valeur, s’il est compétitif par rapport à d’autres techniques de programmation génétique, et s’il existe une différence de coût de calcul par rapport aux approches traditionnelles.

• Contexte important sur la découverte en combinatoire :

  • Il a été montré qu’un certain nombre en combinatoire se situe dans un intervalle plus étroit que ce que l’on connaissait auparavant.
  • Cette découverte n’a pas été obtenue par une preuve mathématique centrée sur la logique, mais en trouvant une séquence de nombres dotée de propriétés particulières.
  • Une approche utilisant des algorithmes génétiques et des LLM peut donc être intéressante et utile.

• Commentaire connexe sur l’« auto-confrontation » :

  • FunSearch utilise une méthode évolutive avec un LLM pour faire progresser les idées obtenant les meilleurs scores.
  • L’utilisateur décrit le problème sous forme de code et crée un pool de programmes servant à l’évaluation et à l’initialisation.
  • À chaque itération, FunSearch sélectionne quelques programmes du pool actuel, puis le LLM génère de nouveaux programmes à partir de ceux-ci, qui sont automatiquement évalués. Les meilleurs programmes sont réinjectés dans le pool existant, créant ainsi une boucle d’auto-amélioration.

• Expérience personnelle d’utilisation de la recherche web :

  • Utilisation de pplx.ai et phind.com pour poser des questions et trouver des liens web.
  • Affinage des questions ou questions de suivi pour trouver des références différentes ou plus approfondies.
  • Les contenus de Tech Twitter sont également utiles, et il y a de l’attente autour de l’usage de Grok pour la recherche.

• Publication sur Twitter à propos de la découverte de DeepMind :

  • Si les réseaux neuronaux peuvent réellement produire de nouvelles connaissances, ce serait la découverte la plus importante depuis celle du feu.
  • Cela soulève la question de savoir pourquoi tout le monde n’en parle pas si c’est effectivement vrai.
  • Impression positive sur ce qui a été réalisé avec Palm 2, et attentes élevées quant au potentiel de cette méthode dans les futurs modèles.

• Résumé d’une publication Twitter :

  • Les capacités de l’IA continuent d’augmenter, et la productivité personnelle s’améliore de 20 à 30 % grâce à l’autocomplétion par IA, au refactoring et à la génération de diff pour les revues de code.
  • Si l’on relie certaines parties d’un flux métier à des modèles d’IA, « améliorer » le système devient aussi simple que remplacer le modèle.
  • Il y a l’attente que, pendant plusieurs années après les premières intégrations, tout s’améliore comme par magie.

• Résumé sur la génération de programmes :

  • À partir d’un modèle/squelette de programme et d’une fonction d’aptitude donnés, un LLM génère une population de programmes.
  • Un prompt est utilisé pour créer de nouveaux programmes, puis ceux-ci sont exécutés sur des entrées afin d’être notés par la fonction d’aptitude.
  • Un modèle en îles est utilisé pour l’évolution, et le nombre d’appels au LLM reste relativement faible, autour de 1e6.
  • Réflexion sur le compromis entre profondeur et largeur dans l’évaluation/la notation des programmes.

• Approche du problème des cap sets :

  • Le problème des cap sets consiste à trouver le plus grand ensemble de points dans une grille de grande dimension tel qu’aucun triplet de points ne soit aligné.
  • FunSearch génère pour ce problème une solution sous forme de programme découvrant un cap set maximal.
  • Cela représente la plus forte augmentation de la taille des cap sets au cours des 20 dernières années.

• Expression d’une curiosité quant à la possibilité d’intégrer les LLM et le raisonnement symbolique.

• Indépendamment de la question de savoir si de nouvelles connaissances sont réellement produites, intérêt pour ce cas d’étude lorsqu’on envisage des restrictions d’accès à l’IA fondées sur la taille des modèles ou d’autres mesures réglementaires.

• En lien avec le théorème d’approximation universelle, mention du fait qu’un réseau de neurones artificiels utilisant ReLU peut approximer exactement une fonction.

  • Cette approche est similaire, mais fournit finalement du code.