10 avancées en mathématiques et en informatique théorique

 (openai.com)
1 points par GN⁺ 2 시간 전 | 1 commentaires | Partager sur WhatsApp
  • La prochaine grande version de modèle d’OpenAI, une version interne d’Astra, a produit de nouveaux résultats sur 10 problèmes ouverts qui n’avaient connu aucune avancée majeure depuis au moins 10 ans, couvrant un large éventail allant de la géométrie en grande dimension à la complexité quantique et à la cryptographie sur réseaux
  • La recherche de solutions a utilisé pour environ 2 000 dollars de tokens aux tarifs de l’API Sol ; des humains ont ensuite préparé des articles avec le même modèle, puis le modèle a formalisé chaque argument sous forme de certificats Lean
  • Parmi les principales réalisations figurent la preuve de l’existence de groupes non sofiques, la réfutation de la conjecture de rigidité de Connes, une borne inférieure n⁴/log n pour les formules arithmétiques calculant le permanent, ainsi qu’un théorème de répétition parallèle exponentielle pour les jeux quantiques généraux à deux joueurs
  • Le modèle a amélioré les bornes pour les empilements de sphères et les codes binaires et sphériques, résolu la difficulté d’approximation à facteur polynomial du problème du vecteur le plus proche ainsi que la conjecture du volume d’Ehrhart, et répondu aux problèmes 146, 180 et 183 d’Erdős
  • OpenAI indique que, même si des humains sont responsables de la préparation des articles, de la formalisation Lean et de l’exactitude, les arguments mathématiques ayant été générés par l’IA, ils ne doivent pas être présentés comme une œuvre humaine et la contribution de l’IA doit être attribuée honnêtement

10 résultats générés par Astra

  • Afin d’accélérer les découvertes des scientifiques et des mathématiciens, OpenAI fournit gratuitement son meilleur modèle ChatGPT à 100 000 personnes via ChatGPT for Academic Researchers et continue, au cours du développement, d’évaluer ses modèles sur des problèmes de recherche ouverts
  • En mai, OpenAI a publié une réfutation générée par IA de la conjecture des distances unitaires d’Erdős, découverte lors de l’évaluation d’un modèle non publié, ce qui a ensuite conduit à des travaux de suivi en mathématiques et en informatique théorique
  • Les problèmes sélectionnés n’avaient connu aucune avancée sur leur résultat central depuis au moins 10 ans, et souvent depuis bien plus longtemps, et suscitaient un intérêt considérable dans les communautés mathématiques concernées
  • Une version interne d’Astra a trouvé les solutions, pour un coût total de recherche d’environ 2 000 dollars aux tarifs de l’API Sol
  • Les 10 résultats sont les suivants
    1. Empilements de sphères en grande dimension : abaissement de la nouvelle borne supérieure de la densité d’empilement jusqu’au point critique de Cohn–Elkies
    2. Codes binaires et sphériques : amélioration exponentielle des bornes sur la taille maximale des codes binaires à distance minimale donnée, avec des résultats analogues pour les codes sphériques en grande dimension
    3. Groupes non sofiques : proposition d’une construction établissant l’existence de groupes non sofiques, résolvant un problème ouvert central en théorie des groupes
    4. Conjecture de rigidité de Connes : réfutation d’une conjecture ancienne selon laquelle certains groupes seraient déterminés de manière unique par les algèbres de von Neumann
    5. Complexité des circuits arithmétiques : obtention de nouvelles bornes inférieures pour le calcul du permanent par circuits et formules arithmétiques, avec une borne inférieure pour les formules arithmétiques de l’ordre de n⁴/log n
    6. Répétition parallèle quantique : preuve d’un théorème de répétition parallèle exponentielle pour les jeux quantiques généraux à deux joueurs, étendant un principe fondamental de la théorie classique de la complexité
    7. Problème du vecteur le plus proche : établissement de la difficulté d’approximation à un facteur polynomial pour un problème central de réseaux lié à la cryptographie post-quantique
    8. Conjecture du volume d’Ehrhart : détermination, dans toutes les dimensions, du volume maximal possible d’un corps convexe dont le barycentre est le seul point de réseau intérieur
    9. Nombres de Ramsey multicolores : obtention d’une borne inférieure super-exponentielle pour les nombres de Ramsey de triangles multicolores, résolvant le problème 183 d’Erdős
    10. Conjectures en théorie extrémale des graphes : résolution des problèmes 146 et 180 d’Erdős grâce à des résultats sur les conjectures de compacité et de dégénérescence
  • Parmi les travaux de recherche ayant suivi la réfutation de la conjecture des distances unitaires figurent un contre-exemple à la conjecture somme-produit sur les réels, les nombres premiers de décomposition et le problème d’Elekes–Rónyai, la nécessité d’un temps quadratique pour les paires de points les plus éloignées en dimension super-constante sous SETH, la complexité de communication des incidences point-droite sur les réels et les distances répétées dans les réseaux de Minkowski

Attribution des travaux et rôle de la communauté mathématique

  • L’émergence de systèmes d’IA capables de contribuer à la recherche mathématique soulève des questions auxquelles une seule entreprise technologique peut difficilement répondre ; OpenAI affirme respecter les préoccupations sur l’impact de l’IA, notamment celles des signataires de la déclaration de Leiden sur l’IA et les mathématiques
  • La manière dont les résultats ont été produits doit être reflétée honnêtement dans la mention des auteurs et l’attribution des contributions
    • Présenter des preuves entièrement générées par l’IA comme des œuvres humaines déformerait à la fois la contribution du système et le travail intellectuel réel des humains
    • Les humains ont aidé à préparer les articles et la formalisation Lean, et assument la responsabilité de l’exactitude, mais les arguments mathématiques eux-mêmes ont été générés par le système d’IA
  • OpenAI espère que la communauté mathématique examinera les résultats, les remettra en contexte, puis développera ces idées en nouvelles recherches et découvertes
  • Alors que l’IA devient un partenaire de recherche plus sophistiqué, une large accessibilité est indispensable pour que scientifiques et mathématiciens puissent explorer et définir l’avenir de leurs domaines

À lire aussi

1 commentaires

 
GN⁺ 2 시간 전
Commentaires Hacker News

  • Le principal reproche est le manque de transparence sur l’ensemble de l’expérience et de sa configuration. Il est difficile de croire qu’on a simplement fait résoudre ces 10 problèmes une seule fois au modèle ; les 2 000 dollars annoncés sans publier le protocole expérimental complet peuvent donc être interprétés à tort comme du p-hacking.
    J’aimerais connaître le nombre total de problèmes soumis au modèle, la proportion et le coût de ceux qu’il n’a pas réussi à résoudre avant abandon, le nombre de tentatives par problème, ainsi que les coûts de l’environnement d’exécution, y compris l’accès éventuel à des clusters de calcul.

    • Je me souviens qu’avant même l’engouement pour l’IA, on discutait déjà en didactique des mathématiques de l’importance non seulement des problèmes et de leurs solutions, mais aussi de l’échafaudage périphérique (scaffolding) qui aide à les trouver.
    • Le coût ne me semble au contraire pas vraiment pertinent pour cette critique. Même s’ils avaient dépensé 1 million de dollars sur 10 problèmes, cela correspondrait grosso modo au coût annuel de 10 à 20 chercheurs en mathématiques, et il n’est pas évident qu’on obtiendrait le même résultat en versant cette somme à des humains.
    • Je me demande aussi si des chercheurs sans lien avec OpenAI ou d’autres développeurs de LLM ont déjà obtenu des résultats comparables.
      Il faut aussi vérifier la possibilité qu’OpenAI ait embauché un chercheur en combinatoire compétent pour résoudre les problèmes, le modèle n’ayant été utilisé qu’accessoirement.
    • L’attitude consistant à ne rien accepter sans essai contrôlé randomisé (RCT) obligatoire pour chaque sujet est également excessive. Ce n’est pas une pique : il devrait être possible de faire preuve d’un scepticisme raisonnable sans mettre en scène un RCT.
    • Comparer l’absence de publication du coût total d’exécution au p-hacking est injuste. Omettre de rapporter un prix n’a rien à voir avec une fraude scientifique ou une manipulation des résultats.

  • Le plus surprenant, c’est que cet article ne soit même pas monté tout en haut de la première page de HN. Même si ce sont des résultats meilleurs qu’avant, cela montre qu’on n’est désormais plus vraiment surpris par l’idée que l’IA produise des avancées importantes en mathématiques et en informatique.

    • Des gens psychologiquement incapables d’accepter les progrès de l’IA l’ont activement signalé, ce qui a fait baisser son classement. Hacker News n’est plus un site d’élite.
    • Plusieurs amis mathématiciens universitaires, qui sont le public visé, m’ont dit que le titre ressemblait à un récapitulatif de résultats du mois dernier plutôt qu’à 10 nouveaux résultats, et qu’ils étaient donc passés à côté.
    • Les camps sont extrêmement polarisés selon les intérêts des entreprises et le fait que ce soit open source ou non, entre autres.
    • Dans ce cas, je me demande ce qu’il en est de la recherche en IA elle-même. Il faut aussi se demander si OpenAI est proche du stade où elle automatisera ses employés humains et supprimera leurs postes.
    • Honnêtement, je suis un peu lassé de ce genre d’articles.

  • L’influence de l’IA est désormais difficile à nier, et il reste très peu d’endroits où déplacer les buts. La prochaine fois, il faudra les sortir du stade.
    Plus vite les gens sortiront du déni et commenceront à prendre cela au sérieux, mieux ce sera.

    • J’ai du mal à comprendre la critique selon laquelle on déplace les buts. La science progresse et apprend en réajustant ses attentes ; si l’on ne change jamais les objectifs, on ne fait que répéter les mêmes résultats.
    • Le problème n’est pas le déni, mais l’indifférence. La plupart des gens s’en fichent, mais peuvent tout raconter sur Kim Kardashian.

  • Je ne suis pas spécialiste des domaines dans lesquels OpenAI affirme avoir progressé, donc je ne veux pas déprécier trop vite les résultats, mais je crains que la formulation du blog ait été exagérée à des fins marketing.
    Il est vrai qu’il n’existait auparavant pas d’approche computationnelle capable de résoudre ces problèmes de manière fiable, mais la question clé est de savoir si ces preuves apportent une idée nouvelle aux mathématiques, ou s’il s’agit d’une recherche à grande échelle de la bonne combinaison d’outils dans la littérature existante.
    J’aimerais savoir si ces problèmes avaient au départ une réponse intuitive et une preuve qui semblait possible, mais n’étaient pas assez importants pour que des experts y consacrent du temps, ou s’ils étaient intrinsèquement difficiles et si l’IA a fait davantage que produire une énorme solution.

    • Dans les historiques de citations, une recherche de rupture peut se définir comme un travail qui est beaucoup cité tout en reliant des lignées de citations qui n’apparaissaient pas ensemble auparavant. À l’inverse, une recherche incrémentale ordinaire combine des citations existantes déjà proches.
      Autrement dit, l’innovation peut se mesurer assez concrètement par le degré auquel elle relie des idées et des domaines jusque-là non connectés. Puja Ohlhaver a fait une présentation à ce sujet, et j’ai aussi mené une expérience que j’ai soutenue : https://www.youtube.com/watch?v=guLDNMAOn24
    • Les problèmes de CVP et de complexité des circuits en informatique sont des sujets très importants, étudiés depuis 30 à 40 ans par les meilleurs chercheurs, dont certains lauréats du Turing Award. Les résoudre vaudrait probablement un prix du meilleur article dans plusieurs des conférences les plus prestigieuses.
    • J’ai du mal à comprendre qu’on s’inquiète d’une exagération marketing simplement parce que le mot advanced a été utilisé. Des chercheurs de niveau doctorat ont consacré une part importante de leur carrière à ces problèmes, donc l’expression est appropriée.

  • L’une des premières projections d’accélération forte de l’IA était qu’un système capable de résoudre des problèmes ouverts de mathématiques avancées améliorerait aussi radicalement les performances logicielles grâce à de nouvelles découvertes en mathématiques et en informatique.
    Les résultats actuels se situent au niveau des mathématiques de pointe qui correspondrait, chez des humains, au top 100 à 1 000 mondial, environ le top 0,00001 % ; et on voit aussi de grands progrès côté logiciel, comme lorsqu’OpenAI a corrigé un problème de kernel GPU et amélioré les performances d’environ 15 %. Les deux sont liés par les lois d’échelle et la généralisation de l’intelligence, en ce sens que de grands modèles acquièrent à la fois des capacités en mathématiques et en génie logiciel impossibles à petite échelle.
    Mais je juge désormais moins probable qu’avant que les découvertes en mathématiques et en sciences débloquent directement des gains de performance logicielle. Les entreprises tech confient elles aussi de l’ingénierie logicielle, plutôt que des mathématiques pures, à des docteurs en maths ; et si ces personnes excellent, c’est souvent grâce à leur intelligence générale plutôt qu’à des découvertes académiques récentes.
    C’est donc bien une preuve que les modèles s’améliorent, mais il est difficile d’y voir le signe que nous sommes juste avant une accélération explosive (foom) déclenchée par une révolution des mathématiques de pointe.

    • Pour voir les choses ainsi, il faudrait supposer que le modèle a été explicitement surajusté aux mathématiques académiques et que cette capacité ne se transfère absolument pas au génie logiciel pratique. Je ne parierais pas là-dessus.
    • Assimiler le développement de nouvelles mathématiques à un niveau top 100 à 1 000 mondial me semble traduire une incompréhension de ce que font réellement les mathématiciens.

  • Les capacités de cette IA interne, dont le nom n’est même pas public, sont impressionnantes, mais il n’y a nulle part le moindre nom de contributeur humain. Quelqu’un a bien dû au moins préparer un café pour ce modèle.

    • Il est explicitement indiqué que les résultats ont été obtenus avec une version interne d’Astra, le prochain grand modèle.

  • Je me demande quel a été le coût total de cette recherche en incluant les salaires des mathématiciens et des ingénieurs.

    • Il n’y a pas de raison d’inclure l’intégralité des salaires si des humains n’ont pas dû s’en occuper en permanence. Il suffit de compter le temps passé sur l’environnement d’exécution, la configuration des prompts et la vérification des résultats ; les coûts d’entraînement du modèle sont amortis sur d’autres usages.
    • Comme OpenAI rémunère ses employés en actions, le chiffre serait énorme, mais avec l’infrastructure et les modèles entraînés déjà en place aujourd’hui, ce n’est pas un nombre très significatif. Même sans progresser davantage, l’IA a déjà un potentiel de disruption immense.
    • Le coût de génération des preuves des 10 percées serait inférieur à 2 000 dollars aux tarifs de l’API Sol.
      https://x.com/polynoamial/status/2083470822258467194

  • Je me demande ce qui se passera si des entreprises comme OpenAI ne publient pas ce genre de résultats et commencent simplement à les inclure dans les données d’entraînement.

    • Garder des mathématiques pures secrètes n’a presque aucune valeur industrielle ; pour l’entreprise, cela sert seulement à démontrer les capacités du modèle. En pratique, elle est plus susceptible d’arrêter de financer ce type de recherche.
      Même si l’idée était de les utiliser en privé pour améliorer les modèles, quelques preuves correctes apporteraient un bénéfice marginal minime, et elles finiraient probablement par être extraites du modèle et connues à l’extérieur.
    • Comme il s’agissait de problèmes non encore résolus, il n’existait pas de solutions préexistantes ; on ne voit donc pas bien ce que signifie les mettre dans l’entraînement.

  • Des entreprises comme OpenAI peuvent sans doute permettre à des experts de dépenser l’équivalent de millions de dollars de tokens. Comme elles ne vendent pas toute leur capacité de calcul 24 h/24, le coût interne est généralement proche du coût de l’électricité.
    Mais si les ressources de calcul ne sont pas pleinement utilisées, cela pose la question de savoir si les nombreux data centers à venir sont réellement nécessaires.

    • Chez OpenAI, la recherche est du marketing, donc ils ont probablement alloué un budget suffisant.
    • Par rapport au volume total de sortie, c’est probablement de l’ordre de l’erreur d’arrondi. Ils limitent l’usage des modèles publics afin de réserver du calcul à la recherche, et plus il y aura de data centers, plus ces limites pourront être assouplies.
    • L’entraînement par apprentissage par renforcement peut utiliser toute la capacité de calcul, donc je ne vois pas sur quel critère on conclurait qu’elle n’est pas nécessaire.
    • Conclure que les data centers ne sont pas nécessaires parce qu’il y avait de la capacité de calcul disponible pour faire progresser les mathématiques est tiré par les cheveux. Au contraire, la seule conclusion raisonnable à tirer de cette nouvelle est qu’il faut davantage de data centers.