Rien qu’aujourd’hui, c’est déjà la deuxième conversation ChatGPT partagée vraiment intéressante que je vois.
La première était un cas où, en continuant à dire « continue » à ChatGPT, on avait trouvé un contre-exemple à une autre conjecture : https://x.com/DmitryRybin1/status/2079904005652893709
Pour les problèmes sur lesquels un agent serait tenté d’abandonner, « continue » fonctionne effectivement assez souvent. Un LLM ne sait pas intrinsèquement ce qui est impossible.
Pour les prompts difficiles, j’ai tendance à écrire, en guise de condition d’arrêt raisonnable : « Répète ce processus jusqu’à convergence et jusqu’à ce qu’il n’y ait plus d’idée d’optimisation. Tu peux continuer à itérer ».
GPT, en particulier, m’a semblé plus enclin que d’autres modèles à s’arrêter en plein travail, et la version que j’ai utilisée récemment était probablement une 4.X.
Les réponses du type « j’en suis arrivé là et l’étape suivante est claire, mais envoie-moi un message sans contenu utile si tu veux que je continue » revenaient sans cesse, ce qui était assez pénible.
Entrer seulement « continue » sans contexte revient à faire largement confiance au LLM pour éviter les erreurs logiques subtiles et choisir la bonne approche.
Même les modèles récents, sur de simples tâches DevOps, affirment parfois qu’un package déployé ne l’est pas, puis se rétractent aussitôt quand l’utilisateur les contredit. Si ce genre de chose est courant, on peut se demander si, dans une preuve mathématique complexe, répéter seulement « continue » sans vérifier le résultat peut vraiment mener à une conclusion valide.
Par le passé aussi, la méthode qui a réussi à beaucoup de mathématiciens était précisément de continuer.
La scène où, après qu’on lui a dit « les résultats partiels suffisent, concluons par un contre-exemple complet et inconditionnel », il travaille 88 minutes et 24 secondes avant de produire un contre-exemple fini complet est impressionnante.
Les transcriptions de conversations avec l’IA menées par des experts qui vont droit au cœur du sujet sont infiniment fascinantes, et montrent tout ce qu’on peut tirer d’un modèle.
Terence Tao, un peu comme moi quand j’utilise des LLM dans mon domaine, oriente fortement le modèle avec des questions courtes et acérées, mobilisant tout un vocabulaire spécialisé et des outils théoriques. Le LLM semble adapter son ton et le niveau de ses réponses au niveau de l’utilisateur.
Au fond, « apprendre à utiliser l’IA », c’est d’abord maîtriser le domaine du problème.
Comme je développe depuis des décennies, je peux utiliser l’IA pour coder, mais il m’est difficile de l’utiliser en physique théorique, où je ne peux pas évaluer les réponses.
Je n’ai pas compris le contenu mathématique, mais les messages de Tao ressemblaient étonnamment aux conversations que j’ai avec des LLM.
Plutôt que d’essayer d’obtenir le résultat d’un coup, passer par une exploration étape par étape permet de corriger constamment la direction, ce qui est plus efficace et plus satisfaisant. La requête « tout-en-un » semble magique quand elle marche, mais quand elle échoue, il faut repartir du prompt.
Il y a quelques jours, j’ai vécu quelque chose de similaire avec Claude. Même avec des exigences approximatives, ça se passait bien, puis il a échoué sur un point central ; après avoir été plus strict, son comportement a changé dans le projet : même une fois le problème résolu, il vérifiait davantage en amont et me demandait plus souvent des consignes.
C’est un peu agaçant, mais si c’est efficace, ça se tolère.
La conversation ChatGPT de Terence Tao est intéressante pour deux raisons. Le contre-exemple n’est pas une simple recherche par force brute : c’est un polynôme doté d’une structure très précise pour produire le résultat voulu ; et les questions de Tao sont suffisamment précises pour qu’il soit difficile d’obtenir les mêmes informations sans une formation mathématique avancée.
Tao semble comprendre le problème et une partie de la structure du contre-exemple, puis pousser l’IA à explorer le reste.
L’un des humains les plus brillants au monde pose des questions, et le LLM répond comme si « en y réfléchissant, c’est vraiment simple », ce qui donne l’impression de voir un professeur guider un étudiant doué — assez humbling.
Il y a une blague selon laquelle, si l’on n’obtient pas de bons résultats d’un modèle, c’est une « question de niveau », mais il y a aussi une part de vérité. La capacité à utiliser l’IA ne consiste pas seulement à savoir formuler des prompts itératifs compréhensibles par l’agent ; elle exige aussi une connaissance profonde du domaine pour savoir quoi explorer.
Sans l’un ou l’autre, on risque la frustration, voire des résultats encore pires.
Pendant les prochaines années, la capacité à bien discuter de son domaine d’expertise avec un LLM sera une compétence humaine utile, mais elle finira probablement par se diluer elle aussi.
Il est étonnant de voir Tao proposer sans cesse des simplifications et se laisser guider par le processus de découverte. Il cherche à utiliser l’IA pour comprendre quelque chose, l’intégrer efficacement à son propre système de pensée, et trouver des sous-résultats plus simples qui généralisent ou expliquent le phénomène.
Ce qui m’a le plus manqué au JPL et dans le monde universitaire, c’étaient justement ces discussions du type « et si c’était comme ça ? ».
La symbiose entre humains et IA semble être une nouvelle valeur apportée par l’IA. Pendant qu’elle produit des résultats comme des diffs de code, je peux évaluer en continu la solidité de mon système de pensée à l’étape actuelle.
En particulier, je peux choisir avec quel degré de précision je veux moi-même comprendre le problème en cours, une option qui n’existait pratiquement pas avant l’IA.
Cela ressemble à la façon dont les professeurs de mathématiques utilisent les doctorants depuis des siècles.
Les mathématiques ont une densité de jargon et de notation incroyablement élevée et difficile. Dans d’autres domaines scientifiques et techniques, avec l’aide de Google ou de Wikipedia, on peut généralement suivre, mais les mathématiques avancées s’éloignent très vite d’un niveau compréhensible au quotidien.
Même quelqu’un à l’aise dans la tech peut se sentir complètement perdu face à des maths difficiles.
Cela vaut aussi pour presque tous les domaines, y compris l’informatique. Beaucoup de gens évoluent à un niveau superficiel sans avoir conscience du bagage qu’ils ont accumulé.
Même un ingénieur logiciel moyen doit connaître une foule de termes : cache, pile, tas, processus, thread, socket, TCP, HTTP, TLS, interblocage, condition de concurrence, atomicité, boucle d’événements, coroutine, transaction, réplication, sharding, sérialisation, DNS, etc. Rien que « cache » peut désigner un cache CPU, de page, de navigateur, de CDN ou Redis ; et des mots courants comme session, handle, pool, buffer, stream ou channel changent de sens selon le contexte.
En cours de mécanique quantique, quand H Psi = E Psi est apparu au tableau, tout le monde a plaisanté en disant qu’il suffisait de simplifier par Psi, mais d’un côté c’était une multiplication et de l’autre une multiplication matricielle par un opérateur : il fallait donc apprendre une nouvelle notation.
Il m’est aussi arrivé d’être perdu parce que je ne savais pas que le gras d’une variable signifiait une matrice.
Ce que les mathématiciens appellent maturité mathématique ressemble aux prises de conscience successives que l’on a en apprenant la programmation, la musique ou la cuisine, avec des changements de perspective. En mathématiques, le raisonnement abstrait lui-même étant la principale limite, ces étapes sont plus nombreuses que dans d’autres activités.
L’abstraction est indispensable. La mémoire de travail humaine est très limitée ; pour raisonner sur plusieurs problèmes, il faut construire des structures hiérarchiques à plusieurs niveaux, ce qui est proche de l’essence même des mathématiques.
Les mathématiques cherchent à minimiser l’ambiguïté plus que les autres domaines. Les disciplines non mathématiques ont tendance à réutiliser des mots ordinaires en leur donnant un sens spécialisé, et notamment dans les sciences sociales et les humanités, l’absence de symboles inhabituels peut empêcher les non-spécialistes de se rendre compte qu’ils ne comprennent pas.
Je ne peux pas évaluer les mathématiques elles-mêmes, mais plusieurs choses ressortent dans le comportement du modèle. Pour certaines questions, il raisonne ; pour d’autres, il répond directement ; parfois, il avance des conditions ou des modifications et s’en sert pour réfuter
Il a aussi gardé le fil du sujet pendant longtemps, en alternant questions-réponses, lecture de PDF, écriture de code et raisonnement, et Tao semble lui aussi avoir jugé l’échange productif. Les progrès des modèles ressemblent davantage à cela qu’à une hausse d’un chiffre sur un benchmark précis
La formule « cela dit, il y a un point à noter » est une réponse toute faite de la génération actuelle de Codex et Claude
En pratique, il s’agit souvent de choses si évidentes qu’il est difficile de les appeler des points d’attention, mais l’utilisateur en vient à s’attendre à l’existence d’une condition importante. Comme le fait de commencer à chaque fois en promettant de répondre « honnêtement », c’est distrayant, donc je préfère le brider via AGENTS.md
Ce qu’il y a de plus surprenant dans cet échange, c’est que l’agent IA ressemble à un interlocuteur de même niveau que Tao, l’un des plus grands mathématiciens contemporains
Tao donne la direction, mais en même temps il apprend des explications, analyses et raisonnements de l’IA, et s’appuie dessus ; cela donne l’impression d’une scène où il discuterait des résultats avec un doctorant ou un autre professeur. Dans un an, ou après deux nouvelles sorties de modèles, l’IA pourrait clairement devenir plus forte que Tao
Au contraire, cette conversation ressemble plutôt à un contre-exemple à cette perspective. Même en discutant avec une autre IA, il y a peu de chances que l’échange ait été aussi productif qu’avec Tao
Je ne sais pas si cela changera dans un an, mais comme l’échéance visée ne cesse d’être repoussée, je reste sceptique
Il est utile de considérer les LLM comme un miroir. Si l’on parle comme un mathématicien expert, le modèle répondra de la même manière, mais même si le premier prompt de Tao paraît simple, il serait difficile pour un étudiant de première année d’université de l’écrire au même niveau
C’est le phénomène inverse du prompt « tu es un mathématicien professionnel » de l’époque de GPT-3.5. On ne dit pas cela à un véritable expert ; cette phrase révèle donc plutôt au modèle que l’utilisateur n’est pas expert
Si l’on tient compte du fait que la même IA aide aussi pour des recettes, le diagnostic de bruits anormaux sur une voiture, des devoirs de biologie ou de la traduction, on pourrait déjà la considérer comme plus forte que Tao
Même en ne regardant que les mathématiques, le fait qu’elle ait déjà cette profondeur dans presque tous les sous-domaines me fait penser qu’elle est déjà plus forte
La demande « J’ai activé Pro, peux-tu continuer à chercher une explication géométrique de X_3 ~ A3 en évitant les coordonnées ou les constructions forcées ? » incarne à elle seule le client satisfait d’une fonctionnalité payante
Sur les sujets avancés, il semble qu’il suffise de poser des questions très courtes pour obtenir des réponses sans superflu. L’activation de Pro a peut-être encore amélioré cela
Il est étonnant que Terence Tao doive lui aussi payer pour discuter avec ChatGPT. On aurait plutôt l’impression qu’OpenAI devrait payer Tao
Il y a quatre ans, ma conversation avec ChatGPT ressemblait à ceci : https://i.imgur.com/WPaWgzZ.png
Nous vivons une époque où l’on se demande jusqu’où cela ira dans quatre ans
Au Royaume-Uni, l’image ne s’affiche pas ; je me demande ce qu’elle contient
Cela montre à quelle vitesse vieillissent les affirmations du type « les LLM ne raisonnent pas, ils ne font que répéter des phrases basiques, donc ils ne pourront pas devenir intelligents même dans 100 ans »
Même dans une session ChatGPT d’un super-génie, le fait qu’un humain écrive une phrase et que le LLM réponde trois pages est étrangement rassurant
1 commentaires
Avis de Hacker News
Rien qu’aujourd’hui, c’est déjà la deuxième conversation ChatGPT partagée vraiment intéressante que je vois.
La première était un cas où, en continuant à dire « continue » à ChatGPT, on avait trouvé un contre-exemple à une autre conjecture : https://x.com/DmitryRybin1/status/2079904005652893709
Pour les prompts difficiles, j’ai tendance à écrire, en guise de condition d’arrêt raisonnable : « Répète ce processus jusqu’à convergence et jusqu’à ce qu’il n’y ait plus d’idée d’optimisation. Tu peux continuer à itérer ».
Les réponses du type « j’en suis arrivé là et l’étape suivante est claire, mais envoie-moi un message sans contenu utile si tu veux que je continue » revenaient sans cesse, ce qui était assez pénible.
Même les modèles récents, sur de simples tâches DevOps, affirment parfois qu’un package déployé ne l’est pas, puis se rétractent aussitôt quand l’utilisateur les contredit. Si ce genre de chose est courant, on peut se demander si, dans une preuve mathématique complexe, répéter seulement « continue » sans vérifier le résultat peut vraiment mener à une conclusion valide.
Les transcriptions de conversations avec l’IA menées par des experts qui vont droit au cœur du sujet sont infiniment fascinantes, et montrent tout ce qu’on peut tirer d’un modèle.
Terence Tao, un peu comme moi quand j’utilise des LLM dans mon domaine, oriente fortement le modèle avec des questions courtes et acérées, mobilisant tout un vocabulaire spécialisé et des outils théoriques. Le LLM semble adapter son ton et le niveau de ses réponses au niveau de l’utilisateur.
Comme je développe depuis des décennies, je peux utiliser l’IA pour coder, mais il m’est difficile de l’utiliser en physique théorique, où je ne peux pas évaluer les réponses.
Plutôt que d’essayer d’obtenir le résultat d’un coup, passer par une exploration étape par étape permet de corriger constamment la direction, ce qui est plus efficace et plus satisfaisant. La requête « tout-en-un » semble magique quand elle marche, mais quand elle échoue, il faut repartir du prompt.
C’est un peu agaçant, mais si c’est efficace, ça se tolère.
La conversation ChatGPT de Terence Tao est intéressante pour deux raisons. Le contre-exemple n’est pas une simple recherche par force brute : c’est un polynôme doté d’une structure très précise pour produire le résultat voulu ; et les questions de Tao sont suffisamment précises pour qu’il soit difficile d’obtenir les mêmes informations sans une formation mathématique avancée.
Tao semble comprendre le problème et une partie de la structure du contre-exemple, puis pousser l’IA à explorer le reste.
Sans l’un ou l’autre, on risque la frustration, voire des résultats encore pires.
Il est étonnant de voir Tao proposer sans cesse des simplifications et se laisser guider par le processus de découverte. Il cherche à utiliser l’IA pour comprendre quelque chose, l’intégrer efficacement à son propre système de pensée, et trouver des sous-résultats plus simples qui généralisent ou expliquent le phénomène.
Ce qui m’a le plus manqué au JPL et dans le monde universitaire, c’étaient justement ces discussions du type « et si c’était comme ça ? ».
En particulier, je peux choisir avec quel degré de précision je veux moi-même comprendre le problème en cours, une option qui n’existait pratiquement pas avant l’IA.
Les mathématiques ont une densité de jargon et de notation incroyablement élevée et difficile. Dans d’autres domaines scientifiques et techniques, avec l’aide de Google ou de Wikipedia, on peut généralement suivre, mais les mathématiques avancées s’éloignent très vite d’un niveau compréhensible au quotidien.
Même quelqu’un à l’aise dans la tech peut se sentir complètement perdu face à des maths difficiles.
Même un ingénieur logiciel moyen doit connaître une foule de termes : cache, pile, tas, processus, thread, socket, TCP, HTTP, TLS, interblocage, condition de concurrence, atomicité, boucle d’événements, coroutine, transaction, réplication, sharding, sérialisation, DNS, etc. Rien que « cache » peut désigner un cache CPU, de page, de navigateur, de CDN ou Redis ; et des mots courants comme session, handle, pool, buffer, stream ou channel changent de sens selon le contexte.
H Psi = E Psiest apparu au tableau, tout le monde a plaisanté en disant qu’il suffisait de simplifier par Psi, mais d’un côté c’était une multiplication et de l’autre une multiplication matricielle par un opérateur : il fallait donc apprendre une nouvelle notation.Il m’est aussi arrivé d’être perdu parce que je ne savais pas que le gras d’une variable signifiait une matrice.
Je ne peux pas évaluer les mathématiques elles-mêmes, mais plusieurs choses ressortent dans le comportement du modèle. Pour certaines questions, il raisonne ; pour d’autres, il répond directement ; parfois, il avance des conditions ou des modifications et s’en sert pour réfuter
Il a aussi gardé le fil du sujet pendant longtemps, en alternant questions-réponses, lecture de PDF, écriture de code et raisonnement, et Tao semble lui aussi avoir jugé l’échange productif. Les progrès des modèles ressemblent davantage à cela qu’à une hausse d’un chiffre sur un benchmark précis
En pratique, il s’agit souvent de choses si évidentes qu’il est difficile de les appeler des points d’attention, mais l’utilisateur en vient à s’attendre à l’existence d’une condition importante. Comme le fait de commencer à chaque fois en promettant de répondre « honnêtement », c’est distrayant, donc je préfère le brider via
AGENTS.mdCe qu’il y a de plus surprenant dans cet échange, c’est que l’agent IA ressemble à un interlocuteur de même niveau que Tao, l’un des plus grands mathématiciens contemporains
Tao donne la direction, mais en même temps il apprend des explications, analyses et raisonnements de l’IA, et s’appuie dessus ; cela donne l’impression d’une scène où il discuterait des résultats avec un doctorant ou un autre professeur. Dans un an, ou après deux nouvelles sorties de modèles, l’IA pourrait clairement devenir plus forte que Tao
Je ne sais pas si cela changera dans un an, mais comme l’échéance visée ne cesse d’être repoussée, je reste sceptique
C’est le phénomène inverse du prompt « tu es un mathématicien professionnel » de l’époque de GPT-3.5. On ne dit pas cela à un véritable expert ; cette phrase révèle donc plutôt au modèle que l’utilisateur n’est pas expert
Même en ne regardant que les mathématiques, le fait qu’elle ait déjà cette profondeur dans presque tous les sous-domaines me fait penser qu’elle est déjà plus forte
La demande « J’ai activé Pro, peux-tu continuer à chercher une explication géométrique de
X_3 ~ A3en évitant les coordonnées ou les constructions forcées ? » incarne à elle seule le client satisfait d’une fonctionnalité payanteIl y a quatre ans, ma conversation avec ChatGPT ressemblait à ceci : https://i.imgur.com/WPaWgzZ.png
Nous vivons une époque où l’on se demande jusqu’où cela ira dans quatre ans
Même dans une session ChatGPT d’un super-génie, le fait qu’un humain écrive une phrase et que le LLM réponde trois pages est étrangement rassurant