Qu’est-ce que l’entropie ?

Préface

• Il fut un temps où existait une plateforme appelée Twitter, sur laquelle les gens échangeaient de courts messages. C’est sur cette plateforme qu’un bref cours sur l’entropie a été donné, puis développé pour devenir un petit livre.
• L’entropie désigne la quantité d’information qui nous manque à propos d’une situation. Pour l’expliquer de manière quantitative, plusieurs thèmes sont abordés :
  • information
  • entropie de Shannon et entropie de Gibbs
  • principe du maximum d’entropie
  • distribution de Boltzmann
  • température et refroidissement
  • relation entre entropie, énergie moyenne et température
  • théorème d’équipartition
  • fonction de partition
  • relation entre énergie moyenne, énergie libre et entropie
  • entropie d’un oscillateur harmonique classique
  • entropie d’une particule classique dans une boîte
  • entropie d’un gaz parfait classique
• Le deuxième principe de la thermodynamique (l’entropie augmente toujours) n’est pas traité. Le sujet est suffisamment complexe pour nécessiter un autre livre.
• L’objectif était de mentionner la mécanique quantique le moins possible, mais la constante de Planck est nécessaire pour définir la formule de l’entropie des systèmes classiques.
• En tant que physicien mathématicien, l’auteur consacre beaucoup de temps à rendre les concepts précis et à chercher d’étranges contre-exemples. Les points importants sont encadrés.

Résumé de GN⁺

• Ce livre est une tentative d’expliquer simplement les concepts fondamentaux de l’entropie, en partant de la théorie de l’information pour aller vers la mécanique statistique et la thermodynamique.
• L’entropie n’y est pas définie comme du « désordre », mais comme la quantité d’information qui nous manque.
• Les concepts minimaux de la mécanique quantique sont utilisés pour expliquer l’entropie des systèmes classiques.
• Il sera utile à celles et ceux qui veulent mieux comprendre la physique, en particulier le lien entre mécanique statistique et théorie de l’information.
• Parmi les autres projets aux objectifs similaires, on peut citer la série « Theoretical Minimum ».

[GN⁺]

Avis Hacker News

• Il existe une anecdote sur la raison pour laquelle Shannon a nommé « l’incertitude » « entropie » en théorie de l’information

  • John von Neumann a proposé le terme « entropie »
  • L’entropie était déjà utilisée en mécanique statistique, ce qui donnait un avantage dans les débats

• Il est important de comprendre que l’entropie de Shannon est une grandeur subjective du point de vue de l’observateur

  • L’entropie de la variable X est la quantité d’information nécessaire pour ramener l’incertitude de l’observateur à 0
  • Comme chaque observateur peut disposer d’informations différentes, leur incertitude peut aussi différer

• En mécanique statistique, l’entropie est expliquée comme le logarithme du nombre de façons dont un système peut être arrangé

  • Il est plus facile d’y penser comme à des paires de lancers de dés

• En théorie de l’information, l’entropie est expliquée comme le nombre de bits nécessaires pour qu’un algorithme de compression représente fidèlement un fichier

  • Une entrée répétitive a une entropie faible et se compresse donc bien

• Il existe une playlist de PBS Spacetime sur l’entropie

• Je préfère une approche qui explique l’entropie d’une distribution de probabilité discrète à l’aide d’un histogramme

  • Elle mesure la probabilité qu’en lançant beaucoup de billes au hasard, on obtienne une distribution identique à l’histogramme
  • Quand on lance N billes selon la distribution P, la probabilité que l’histogramme soit égal à P est 2^(-N * [log(k) - H(P)])
  • La distribution uniforme a l’entropie la plus élevée

• Le livre Entropy Demystified explique la deuxième loi de l’entropie

• Les écrits de John Baez ont été une grande source de plaisir pendant les études de premier cycle

• J’aime l’approche qui explique l’entropie comme la quantité d’information théoriquement connaissable sur un système

  • Je suis surpris que l’interaction avec l’interprétation de Copenhague ne soit pas mentionnée

• L’entropie de l’information est une borne inférieure rigoureuse sur l’efficacité avec laquelle l’information peut être transmise

  • On calcule l’entropie à l’aide d’une distribution de probabilité