Qu’est-ce que l’entropie ?
(johncarlosbaez.wordpress.com)- Ébauche d’un court livre qui cherche à quantifier l’entropie comme la quantité d’information qu’on pourrait en principe connaître, mais qu’on ne connaît pas encore
- Prend comme énigme centrale la raison pour laquelle un gaz d’hydrogène à température et pression ambiantes possède une entropie correspondant à environ 23 bits d’information inconnue par molécule
- Part de l’entropie de Shannon et de l’entropie de Gibbs, puis relie le principe de maximum d’entropie, la distribution de Boltzmann, la température, la fonction de partition et l’énergie libre
- N’aborde pas volontairement en profondeur le deuxième principe de la thermodynamique, la biologie ni la physique des trous noirs, et n’explique pas l’entropie comme du désordre
- Même pour calculer l’entropie de systèmes classiques, il faut la constante de Planck et un peu de mécanique quantique à cause de l’unité de volume dans l’espace des positions et des quantités de mouvement
Forme du livre et point de départ
- What is Entropy? est l’ébauche actuelle d’un court livre consacré à l’entropie
- Le titre alternatif initial était 92 Tweets on Entropy, mais il a été jugé inadapté au motif qu’avec le temps, on pourrait ne plus se souvenir de ce que sont des « tweets »
- Il s’agit d’une version légèrement enrichie d’un cours sur l’entropie publié sur Twitter sous forme de messages courts
Une définition de l’entropie comme information
- L’entropie désigne la quantité d’information qu’on ne connaît pas encore sur une situation
- Cette information doit être connaissable en principe
- Le livre se concentre sur la manière de transformer cette idée en concept précis et quantitatif
- La question centrale est la suivante : pourquoi un gaz d’hydrogène à température et pression ambiantes a-t-il une entropie correspondant à environ 23 bits d’information inconnue par molécule ?
Les concepts reliés pour résoudre l’énigme
-
Information et entropie
- Le livre part de la notion d’information pour aborder l’entropie de Shannon et l’entropie de Gibbs
- Il explique comment traiter des états probabilistes à travers le principe de maximum d’entropie et la distribution de Boltzmann
-
Température, énergie et fonction de partition
- Il relie la température et la froideur (coolness), ainsi que l’entropie et l’énergie moyenne
- Il montre comment le théorème d’équipartition, la fonction de partition, l’énergie moyenne et l’énergie libre s’entremêlent dans le calcul de l’entropie
-
Exemples de systèmes classiques
- L’entropie de l’oscillateur harmonique classique
- L’entropie de particules classiques dans une boîte
- L’entropie d’un gaz parfait classique
Sujets volontairement laissés de côté
- Le deuxième principe de la thermodynamique est à peine abordé
- L’idée selon laquelle l’entropie augmente toujours est intéressante, mais elle pose de nombreux problèmes, au point qu’il faudrait selon l’auteur un livre à part pour l’expliquer correctement
- Le rôle de l’entropie en biologie et dans la physique des trous noirs est également exclu
- Les aspects de l’entropie souvent traités dans les ouvrages de vulgarisation en physique sont hors du périmètre de ce livre
- L’entropie n’y est pas qualifiée de « désordre »
La constante de Planck, nécessaire même en physique classique
- Afin de limiter au maximum les prérequis en physique, l’explication de la mécanique quantique est réduite autant que possible
- Cependant, la constante de Planck apparaît dans les formules d’entropie de trois systèmes classiques
- Elle fournit une unité de volume dans l’espace des positions et des quantités de mouvement
- Cette unité de volume est nécessaire pour définir l’entropie de ces systèmes
- Même en traitant le gaz d’hydrogène de la manière la plus classique possible, il faut un tout petit peu de mécanique quantique pour obtenir une bonne formule approchée de l’entropie
Caractère mathématique et manière de lire
- Le livre adopte le style d’un physicien mathématicien, qui consacre beaucoup de temps à rendre les concepts précis et à examiner même des contre-exemples inhabituels
- Il peut s’attarder plus longtemps sur les détails techniques qu’un physicien praticien ne le ferait en général
- Si le contenu technique semble trop lent, on peut passer au « tweet » suivant
- Les points vraiment importants sont dans les encadrés
- Il est aussi possible de tout lire une première fois, puis de revenir ensuite sur les détails
1 commentaires
Avis sur Hacker News
Il existe une anecdote célèbre rapportée par Shannon : « Ce qui m’a le plus préoccupé, c’était le nom. J’ai pensé l’appeler “information”, mais le mot était trop utilisé, alors j’ai décidé de l’appeler “incertitude”. J’en ai parlé avec John von Neumann, qui a eu une meilleure idée. Von Neumann m’a dit : “Appelez-la entropie. Premièrement, votre fonction d’incertitude porte déjà ce nom en mécanique statistique, donc elle a déjà un nom. Deuxièmement, et c’est le plus important, personne ne sait vraiment ce qu’est l’entropie, vous aurez donc toujours l’avantage dans les débats.” »
Des discussions et références sur la question de savoir si l’entropie de Shannon est la même que l’entropie thermodynamique se trouvent dans ces réponses MathOverflow SE (https://mathoverflow.net/questions/403036/john-von-neumanns-...)
Je crois n’avoir vraiment compris l’entropie de Shannon qu’en la considérant comme une quantité subjective, c’est-à-dire non pas comme une propriété de ce qui est observé, mais comme une propriété de l’observateur
L’entropie de la variable X est la quantité d’information nécessaire pour ramener à zéro l’incertitude que l’observateur a sur la valeur de X. Ainsi, pour une même variable X, mon incertitude et celle de quelqu’un d’autre peuvent être différentes. C’est logique, puisque chacun peut avoir reçu des informations différentes sur X. H(X) devrait être H_{observer}(X), voire H_{observer, time}(X). Le travail de Shannon est clair sur d’autres aspects, mais passe assez rapidement sur ce point
Prenons l’entropie croisée de deux distributions, H[p, q] = -Σ p_i log q_i. Par exemple, p peut être la distribution réelle des fréquences des résultats obtenus en lançant effectivement un dé, tandis que q peut être la distribution à laquelle je crois. p_i peut être vu comme une probabilité objective, et q_i comme une probabilité subjective. L’entropie croisée mesure à peu près à quel point on est surpris en moyenne lorsqu’on observe un résultat
Ce qui est intéressant, c’est que H[p, p] <= H[p, q]. Autrement dit, si la distribution de croyance est fausse, l’entropie croisée devient plus élevée que si l’on avait la bonne croyance q=p. C’est garanti par la concavité du logarithme. On peut donc comparer des croyances : si un certain q minimise H[p,q], alors ce q est plus proche de la vérité
L’entropie croisée peut aussi se décomposer en deux parties, comme H[p, q] = H[p] + D[q||p]. Le premier terme est l’entropie de p, l’incertitude aléatoire, c’est-à-dire l’aléa intrinsèque du phénomène que l’on cherche à modéliser ; le second terme est la divergence KL, qui représente l’incertitude supplémentaire due à une croyance erronée, autrement dit l’incertitude épistémique
Quand on mesure les croyances de différents observateurs, on ne fait que regarder des distributions différentes, et ces distributions peuvent avoir des entropies différentes, tout comme elles peuvent avoir des moyennes ou des variances différentes
Mais si l’on ne connaît pas la graine, l’entropie est très élevée
Entropie + information = nombre total de bits nécessaires à une description complète
Un œuf intact a une faible entropie. Il n’existe qu’une seule façon pour l’œuf d’être intact, et l’on pourrait représenter l’état de l’œuf avec 1 bit
Un œuf cassé a une entropie élevée. Les morceaux cassés peuvent être disposés d’un nombre arbitrairement grand de façons
Une liste triée des positions et orientations de chaque morceau d’œuf cassé, par latitude, longitude et direction de boussole, a de nouveau une faible entropie. Pour un cas précis d’œuf cassé, cette liste ne peut être écrite que d’une seule façon
Si l’on compresse cette liste en zip, elle a de nouveau une entropie élevée. Les données à l’intérieur du fichier .zip paraissent en pratique aléatoires et ne peuvent pas être compressées davantage. C’est vrai jusqu’à ce qu’on les décompresse à nouveau
De même, si l’on doit transmettre la liste non compressée sur un canal à bande passante limitée, le destinataire ne peut rien supposer de son contenu ; même s’il y a une structure, elle n’est pas différente du hasard, et l’entropie redevient en pratique élevée
J’aimais beaucoup l’approche utilisée par mon professeur de mécanique statistique. Dans presque toutes les situations, l’entropie finit par être le logarithme du nombre de façons dont on peut arranger un système (https://en.wikipedia.org/wiki/Boltzmann%27s_entropy_formula)
Personnellement, je trouvais plus simple de penser aux paires de résultats de deux dés
Malheureusement, cela ne correspond pas très bien à l’usage de Shannon, sauf dans un sens très superficiel ; cette interprétation reste donc fermement du côté de la physique
C’est pourquoi information et entropie sont différentes. L’entropie, c’est savoir que je ne sais pas. C’est quantifier cette connaissance de l’ampleur de l’inconnu
C’est aussi là que, selon moi, l’article se trompe ou n’est pas assez concis. La formulation ci-dessous inclut, à mon avis, jusqu’à ce que l’on « ne sait pas que l’on ne sait pas », ce qui n’est pas de l’entropie :
https://en.wikipedia.org/wiki/Thermodynamic_beta
En théorie de l’information, j’ai toujours pensé l’entropie comme ceci : « Si l’on disposait d’un algorithme de compression vraiment intelligent, de combien de bits aurait-il besoin pour représenter exactement ce fichier ? »
Autrement dit, une entrée très répétitive n’a pas beaucoup d’entropie par bit et se compresse donc bien. Les algorithmes de compression modernes sont suffisamment bons sur la plupart des données pour servir d’approximation raisonnable de l’entropie réelle.
Pour l’entropie d’une distribution de probabilité discrète, j’aime bien cette explication concrète. J’aime les textes de John Baez, mais en parcourant le PDF j’ai été surpris de voir qu’il ne semblait pas aborder ce point de vue.
Considérons une distribution comme un histogramme sur plusieurs intervalles. L’entropie mesure alors la probabilité que, si je lance au hasard un très grand nombre de boules dans ces intervalles, la répartition des boules ressemble à cet histogramme. Ce à quoi on s’attend normalement, c’est une distribution uniforme sur les intervalles ; l’entropie mesure donc dans quelle mesure d’autres événements rares — en termes probabilistes, de grands écarts par rapport au comportement typique — peuvent se produire.
Plus concrètement, si P = (P1, ..., Pk) est une distribution, alors, pour N très grand, la probabilité qu’en lançant N boules on obtienne un histogramme ressemblant à P est approximativement 2^(-N * [log(k) - H(P)]). Ici, H(P) est l’entropie. Si P est la distribution uniforme, H(P)=log(k), donc l’exposant vaut 0 et l’estimation vaut 1, ce qui signifie que l’histogramme de loin le plus probable est la distribution uniforme.
Comme c’est l’entropie maximale possible, les autres histogrammes apparaissent avec une probabilité de la forme 2^(-c*N) pour un certain c > 0 ; ils sont donc très rares, et deviennent exponentiellement plus rares à mesure qu’on lance davantage de boules. L’entropie mesure ce degré de rareté. Plus une distribution est « moins uniforme », moins elle est probable ; en ce sens, l’entropie mesure aussi une certaine forme d’uniformité. Dans la théorie des grands écarts, cet énoncé précis s’appelle le théorème de Sanov, et le rôle joué par l’entropie est celui de « fonction de taux ».
L’interprétation de l’entropie comme comptage, dont les gens parlent souvent, est elle aussi liée à un niveau élevé. Dans le théorème de Sanov, la probabilité est le nombre de résultats « ressemblant à P » divisé par le nombre total de résultats, et le numérateur compte bien le nombre de configurations possédant une certaine propriété — ici, le fait que l’agencement des boules et des intervalles ressemble à P.
Il existe beaucoup de définitions équivalentes, chacune avec ses avantages et ses généralisations, mais ce point de vue aide particulièrement à dissiper le mystère qui entoure l’entropie.
Playlist de PBS Spacetime sur l’entropie : https://youtube.com/playlist?list=PLsPUh22kYmNCzNFNDwxIug8q1...
L’entropie informationnelle est, littéralement, une borne inférieure rigoureuse sur l’efficacité avec laquelle on peut transmettre une information lorsque la distribution de probabilité qui génère cette information est connue — autrement dit, sur l’espérance du nombre de bits transmis.
Même lorsqu’on calcule l’entropie informationnelle d’une chaîne de bits ou de l’anglais, on construit à partir des données une distribution de probabilité empirique à l’aide des fréquences relatives des 0 et des 1, des lettres, des n-grammes, etc., puis on calcule l’entropie de cette distribution. Je n’aime pas vraiment la définition de Baez, mais vu son autorité, il est difficile de la contester à la légère.
« J’ai surtout évité la deuxième loi de la thermodynamique, c’est-à-dire l’idée que l’entropie augmente toujours. C’est fascinant, mais trop délicat : pour l’expliquer correctement, il faudrait un autre livre ! »
Si cela vous intéresse, je suis en train de lire Entropy Demystified d’Arieh Ben-Naim, qui traite cet aspect dans une direction assez similaire.
Je me demande parfois d’où vient la nouvelle entropie / aléa. Si l’on voit l’état tout premier de l’univers comme une particule ponctuelle infiniment dense en expansion, il devait bien y avoir une forme d’aléa ou de diversité qui l’a fait se dilater de manière non uniforme, et c’est sans doute ce qui a permis à la matière de dominer l’antimatière, ou aux galaxies et amas de galaxies de se former.
Si l’on considère un système isolé composé de certaines particules statiques, un petit sous-ensemble de ces particules pourrait-il se mettre en mouvement et introduire de l’entropie ? L’entropie peut-elle être induite automatiquement, au moins au niveau quantique ? Si l’on pouvait expliquer cela, on comprendrait sans doute mieux l’origine de l’univers.
L’exemple classique est le suivant. Imaginez un sombrero[1] parfaitement symétrique, avec une boule en équilibre tout en haut, au centre du chapeau. Il n’existe aucune direction privilégiée dans laquelle la boule devrait tomber, mais cet état est instable. N’importe quelle perturbation fait rouler la boule vers le bas, jusqu’à ce qu’elle s’arrête dans une configuration stable sur le bord du chapeau. La symétrie de la configuration initiale est désormais brisée, mais l’état est stable.
1 : https://m.media-amazon.com/images/I/61M0LFKjI9L.__AC_SX300_S...
https://www.youtube.com/watch?v=hrJViSH6Klo
Elle explique que l’aléa que vous cherchez vient des fluctuations quantiques, et que sans cet aléa, l’univers ne serait probablement jamais « arrivé ».