Ajuster un éléphant avec quatre paramètres non nuls

 (arxiv.org)
1 points par GN⁺ 2024-07-15 | 1 commentaires | Partager sur WhatsApp
  • Le problème de « faire tenir un éléphant dans quatre paramètres » part d’une anecdote de 1953 où Enrico Fermi, reprenant une formule de Johnny von Neumann, critiquait le modèle de Freeman Dyson
  • Cette citation a servi de critique pour dire que, même si un modèle semble bien s’ajuster aux données à mesure que le nombre de paramètres augmente, cela ne garantit pas pour autant une signification physique
  • Les tentatives précédentes ne satisfaisaient pas complètement les conditions : Wei a utilisé plus de 20 paramètres, et Mayer et al. semblaient utiliser quatre nombres complexes, mais cela correspond en réalité à 8 paramètres
  • L’approche à un paramètre de Paintadosi permet de dessiner n’importe quelle forme, mais elle encode la forme dans un réel de très grande précision, ce qui ne correspond pas à l’esprit du problème
  • L’article souligne aussi que le problème lui-même n’était pas suffisamment défini, puis propose une tentative pour ajuster une courbe d’éléphant avec seulement quatre paramètres non nuls dans les conditions données

Un problème né d’une critique de Fermi

  • En 1953, Enrico Fermi a critiqué le modèle de Dyson en citant une phrase de Johnny von Neumann
    • “With four parameters I can fit an elephant, and with five I can make him wiggle his trunk.”
  • Cette phrase sert à dire que, même si un modèle est complexe et s’ajuste bien aux données, si cela résulte simplement d’une augmentation du nombre de paramètres, il est difficile de garantir une véritable signification physique
  • La question centrale est de savoir s’il est réellement possible d’ajuster un éléphant avec seulement quatre paramètres

Là où les solutions existantes passent à côté des exigences

  • Wei a tenté d’ajuster un éléphant avec une série de Fourier (Fourier series), mais il lui a fallu plus de 20 paramètres pour obtenir un résultat convenable
    • Le résultat est même jugé susceptible de ne pas satisfaire un « professeur d’arts plastiques de CM1 »
  • Mayer et al. ont ajusté un éléphant avec quatre nombres complexes
    • Comme un nombre complexe possède une partie réelle et une partie imaginaire, cela revient en pratique à utiliser 8 paramètres
    • En comptant aussi les paramètres nuls, on arrive à 20
    • L’image obtenue est jugée belle, dans un style proche de Picasso
  • Paintadosi affirme qu’un seul paramètre suffit et construit une fonction capable de dessiner n’importe quelle forme avec un seul paramètre
    • Mais cela ressemble davantage à un encodage qui associe la forme à un unique réel d’une précision de plusieurs centaines ou milliers de chiffres, ce qui est difficile à considérer comme une solution valable dans ce contexte
    • Son travail met surtout l’accent sur le fait que compter le nombre de paramètres peut être un mauvais indicateur de la complexité d’un modèle
  • L’article commence donc par clarifier les conditions du problème, puis propose, contrairement aux tentatives précédentes, une méthode pour ajuster un éléphant avec quatre paramètres non nuls

À lire aussi

1 commentaires

 
GN⁺ 2024-07-15
Commentaires sur Hacker News

  • J’aime le côté ironique de l’article. Ce serait bien d’ajouter pourquoi Fermi et von Neumann ont dit cela.
    En physique, quand on construit un modèle de la réalité, il ne faut pas ajouter des paramètres un par un pour ajuster les données simplement parce que le modèle ne colle pas aux expériences. Idéalement, il devrait y avoir zéro paramètre, ou le minimum possible ; plus profondément, les paramètres devraient émerger naturellement d’hypothèses simples. Avec 4 paramètres, il devient difficile de savoir si l’on a vraiment capturé un aspect de la réalité, ou si l’on s’est contenté d’ajuster des données expérimentales.

    • C’est déjà dans le premier paragraphe de l’article, et l’article lui-même est globalement humoristique.
      Cela dit, la sagesse de cet aphorisme semble avoir été assez oubliée dans de nombreux domaines. Dans beaucoup de disciplines, les données sont « modélisées » par d’énormes modèles de régression à des dizaines de paramètres, ou par des réseaux de neurones à des milliards de paramètres.

      In 1953, Enrico Fermi criticized Dyson’s model by quoting Johnny von Neumann: “With four parameters I can fit an elephant, and with five I can make him wiggle his trunk.”[1]. This quote is intended to tell Dyson that while his model may appear complex and precise, merely increasing the number of parameters to fit the data does not necessarily imply that the model has real physical significance.

    • Un modèle à zéro paramètre me semble plus proche des mathématiques, puisqu’il peut être dérivé de premiers principes. Par exemple, si l’on suppose un espace euclidien, on obtient des formules comme celle de la surface d’une sphère.
      Je vois la physique comme commençant lorsqu’il existe au moins une constante naturelle à mesurer, comme la courbure de l’espace réel ou l’accélération de la gravité.
    • Hodgkin et Huxley ont réalisé un travail révolutionnaire en modélisant l’activité nerveuse à partir de l’étude de l’axone géant du calmar.
      Ils ont extrait plusieurs paramètres en ajustant des courbes aux potentiels enregistrés et aux courants injectés, et ce n’est que bien plus tard que ces paramètres ont été associés aux canaux sodium. De manière similaire, d’autres processus ont été associés aux canaux potassium. S’il y a plusieurs paramètres, voire 4, et qu’on ne peut pas expliquer le modèle avec 3, je ne pense pas qu’il faille trop s’en inquiéter.
    • Le premier exemple effectivement implémenté était Least square fitting of an elephant de James Wei (1975, Chemtech).

  • Cet article est drôle et bien écrit, mais je pense qu’il va au-delà.
    On fait souvent la blague, ou le constat, que le ML/l’IA n’est que de l’ajustement de courbe. La question de savoir si « juste de l’ajustement de courbe » peut produire quelque chose d’intelligent reste, selon moi, sans réponse, en grande partie parce que le sens du mot « intelligent » varie selon les personnes.
    Ici, on montre un ajustement de courbe très propre et facile à comprendre, mais fondamentalement, c’est le même processus : définir un objectif, optimiser sur une fonction de perte, et espérer que cela généralise. Bien sûr, cet éléphant ne généralise pas, mais il est mignon.
    Cela ramène donc à la question posée par von Neumann : pourquoi faut-il autant de paramètres ? Ironiquement, ces derniers temps, on a réussi beaucoup de choses avec un nombre énorme de paramètres, et la réponse est devenue en quelque sorte : « avec beaucoup de paramètres, on peut faire des choses impressionnantes ».

    • Un ajustement de courbe continu sur le monde réel peut produire de l’intelligence. Ce qui manque n’est pas quelque chose à l’intérieur du modèle, mais un mécanisme pour explorer, rechercher et étendre l’expérience.
      Les LLM actuels ne font que s’appuyer sur l’expérience humaine ; ils n’ont pas vraiment participé à la création de leur propre expérience. C’est pourquoi on parle d’apprentissage par imitation ou de perroquet. Mais si les modèles deviennent davantage des agents, ils pourront générer eux-mêmes des expériences utiles, et AlphaZero l’a montré.
    • En IA, plus il y a de paramètres, mieux c’est ; en physique, c’est l’inverse.
    • Les détails sont essentiels. En apprentissage par renforcement, l’objectif bouge, et en deep learning, on utilise souvent des techniques comme l’arrêt anticipé pour éviter une optimisation excessive.

  • Freeman Dyson revient, dans une interview Web of Life, sur l’anecdote qui a inspiré cet article. Il y a aussi un lien qui mène directement au passage sur l’ajustement de l’éléphant.
    [1] https://youtu.be/hV41QEKiMlM
    [2] https://youtu.be/hV41QEKiMlM?t=118

  • Un seul paramètre suffit : https://aip.scitation.org/doi/10.1063/1.5031956

    • C’est un peu comme dire qu’on peut obtenir une compression illimitée en stockant les données dans le nom du fichier, plutôt qu’à l’intérieur du fichier.
    • L’article dit ceci :

      Paintadosi [4] argues that one parameter is always enough. He constructed
      a function that, through a single parameter, can depict any shape. However, in
      essence, this work is a form of encoding, mapping the shape into a real number
      with precision extending to hundreds or even thousands of decimal places. For
      our problem, this is meaningless, although the paper’s theme is that “parameter
      counting” fails as a measure of model complexity

    • Le nombre de paramètres est une mauvaise métrique. Il faut plutôt regarder du côté de la quantité d’information contenue dans les valeurs des paramètres, de l’entropie, de la complexité de Kolmogorov, etc.
    • C’est un peu comme dire qu’un disque dur entier est un seul nombre.

  • Malheureusement, l’article ne précise pas le terme constant, c’est-à-dire la moyenne r_0. Elle semble être autour de 180, mais pour produire l’image il faut ajuster cette valeur, et je ne vois pas comment ne pas la considérer comme un cinquième paramètre indispensable.
    Il est donc difficile de dire que l’objectif a vraiment été atteint. Bien sûr, c’était vraiment amusant.

    • Le texte dit que cette valeur est la moyenne des points de données à ajuster. La compter ou non comme un paramètre semble dépendre du fait que l’on considère la normalisation comme faisant partie du modèle.

  • C’était un excellent passage dans l’interview de Dyson sur Web of Stories, et il m’a touché autant que les auteurs
    C’est l’épisode où Dyson avait apporté à Fermi ses résultats préliminaires sur la théorie pseudoscalaires du pion. Fermi a très vite rejeté l’ensemble, ce qui a été un choc pour Dyson, mais lui a évité de perdre davantage de temps
    Fermi : quand vous faites des calculs théoriques, il vous faut soit un modèle physique clair, soit une base mathématique rigoureuse. Vous n’avez ni l’un ni l’autre. Combien de paramètres libres avez-vous utilisés pour l’ajustement ?
    Dyson : quatre
    Fermi : Johnny von Neumann avait l’habitude de dire : « Avec quatre paramètres, on peut ajuster un éléphant ; avec cinq, on peut lui faire remuer la trompe »

  • J’aimerais qu’il y ait davantage d’humour sur arXiv
    Si je faisais une découverte sur mon temps personnel, sans utiliser les ressources de l’entreprise, je la présenterais de la façon la plus humoristique possible

  • Il ne faut pas oublier non plus le Dr Octave Levenspiel. Quand j’étais en licence, il était professeur émérite, et il a notamment beaucoup travaillé dans le domaine des lits fluidisés industriels
    La discussion sur la courbe de l’éléphant s’inscrivait à l’époque dans une critique des ajustements complexes à multiples paramètres dans les réactions catalytiques hétérogènes. https://levenspiel.com/elephants/
    Pendant un temps, il a aussi essayé de publier un article d’aérodynamique sur le vol des dinosaures. http://levenspiel.com/wp-content/uploads/2016/02/DinosaurW.p...
    Ce genre de curiosité intellectuelle me rappelle un peu Feynman et son assiette tournante

  • Pourquoi ne pas mentionner On Growth and Form de D’Arcy Thompson ? Ses modèles paramétriques d’organismes vivants étaient assez élégants. Très simples, certes
    https://en.wikipedia.org/wiki/On_Growth_and_Form

  • D’après ce que j’ai compris, une série de Fourier à paramètres réels r(theta) = sum(r_k cos(k theta)) ne peut dessiner qu’une forme de « cercle ondulant », avec un seul point sur chaque rayon partant de l’origine
    Des paramètres complexes z(theta) = sum(e^(z_ theta)) permettent de dessiner des formes plus sinueuses, c’est-à-dire des épicycles. Le stylo peut revenir en arrière pendant que le bras qui dessine tourne, et chaque paramètre peut déplacer le point vers un endroit sur un petit cercle autour du point calculé à partir du paramètre précédent
    La vidéo 3B1B indispensable : https://m.youtube.com/watch?v=r6sGWTCMz2k
    Un paramètre complexe équivaut à deux paramètres réels ; il faut donc comparer les quatre meilleures courbes cosinus avec les deux meilleures courbes exponentielles complexes