Qu’est-ce que l’entropie ? Une mesure de notre ignorance
(quantamagazine.org)- L’entropie est née il y a 200 ans d’un problème portant sur les limites du rendement des machines à vapeur, mais la physique moderne la réinterprète moins comme une propriété fixe du monde que comme une grandeur qui mesure l’information inconnue de l’observateur
- De Carnot à Clausius puis Boltzmann, l’entropie est devenue un concept expliquant dans quelle mesure la chaleur ne peut pas être convertie en travail et se disperse, le nombre de micro-états possibles, et la raison pour laquelle le temps s’écoule dans une seule direction
- Shannon et Jaynes ont étendu l’entropie au langage de l’information et de l’incertitude, tandis que le paradoxe de mélange de Gibbs montre que ce que l’on est capable de distinguer peut modifier le travail extractible et l’entropie
- Des recherches récentes cherchent à intégrer dans les mathématiques les capacités limitées de mesure, de mémoire et de calcul de l’observateur ; l’entropie observationnelle, les moteurs informationnels, le moteur de Szilard à observation partielle et les expériences de thermodynamique quantique explorent cette direction
- Dans cette perspective, la gestion de l’incertitude devient plus importante que le rendement parfait ou la prédiction parfaite, et l’information est traitée comme une ressource physique qui fixe les limites de l’extraction d’énergie, de la prise de décision et des petites machines
Une entropie née du rendement des machines à vapeur
- Le concept d’entropie est issu du problème du rendement des machines pendant la révolution industrielle
- En 1824, l’ingénieur militaire français de 28 ans Sadi Carnot chercha à calculer le rendement ultime des machines à vapeur et publia un livre de 118 pages intitulé Reflections on the Motive Power of Fire
- Carnot voyait la machine à vapeur comme une machine exploitant la tendance de la chaleur à circuler d’un corps chaud vers un corps froid
- Il existe une limite à la proportion de chaleur pouvant être transformée en travail, un résultat connu sous le nom de théorème de Carnot
- À cause des frottements, des vibrations et de mouvements indésirables, une partie de l’énergie se disperse toujours, rendant impossible un rendement parfait
- En 1865, le physicien allemand Rudolf Clausius appela “entropy” la proportion d’énergie liée sous une forme inutile
- Il formula la deuxième loi de la thermodynamique sous la forme : « l’entropie de l’univers tend vers un maximum »
L’interprétation probabiliste de Boltzmann et la flèche du temps
- À l’époque, les physiciens comprenaient à tort la chaleur comme un fluide appelé “caloric”, mais l’idée selon laquelle la chaleur provient du mouvement des molécules s’est ensuite imposée
- Ludwig Boltzmann réinterpréta l’entropie en termes de probabilité
- Les états détaillés, comme la position et la vitesse de chaque molécule, sont des micro-états
- Les propriétés globales, comme la température et la pression, ou encore la disposition d’ensemble de pions de dames, sont des macro-états
- Plus il existe de micro-états capables de produire un même macro-état, plus l’entropie est élevée
- Il existe peu de façons de produire une forme ordonnée, mais bien plus de façons de produire une forme dispersée au hasard
- La deuxième loi peut donc se comprendre comme une affirmation probabiliste : « il y a davantage de façons d’obtenir un état désordonné qu’un état propre »
- Comme un état mélangé est plus vraisemblable qu’un état où les particules chaudes et froides sont séparées, la chaleur circule du chaud vers le froid
- La même logique s’applique au verre qui se brise, à la glace qui fond, aux liquides qui se mélangent et aux feuilles qui se décomposent
- L’augmentation de l’entropie inscrit une flèche du temps dans des processus qui semblent pourtant possibles en sens inverse
L’entropie étendue à la théorie de l’information
- Pendant la Seconde Guerre mondiale, Claude Shannon travailla sur le chiffrement des canaux de communication et chercha à mesurer la quantité d’information contenue dans un message
- Shannon traita la connaissance comme une réduction de l’incertitude, et définit l’incertitude sur le prochain caractère à l’aide de probabilités et de logarithmes
- Si tous les caractères ont la même probabilité, la formule de Shannon prend la même forme que celle de l’entropie de Boltzmann
- John von Neumann aurait conseillé à Shannon d’appeler cette grandeur “entropy”
- De même que l’entropie thermodynamique explique le rendement d’un moteur, l’entropie informationnelle saisit l’efficacité de la communication
- Un message à forte entropie contient peu de motifs, ce qui rend le prochain caractère difficile à deviner et exige davantage de questions oui/non pour en découvrir le contenu
- Un message très structuré contient moins d’information et se devine plus facilement
- En 1957, E.T. Jaynes relut la thermodynamique à travers la théorie de l’information dans deux articles
- La thermodynamique ressemble à une science de l’inférence statistique à partir de mesures incomplètes sur les particules
- Il proposa le principe d’entropie maximale, qui attribue la même probabilité à toutes les configurations compatibles avec les contraintes connues
- Ce principe est utilisé non seulement en mécanique statistique, mais aussi en machine learning et en écologie
- Les concepts d’entropie nés dans des contextes différents sont tous liés à l’incertitude
- Quand on perd la position et la quantité de mouvement des particules, la Gibbs entropy augmente
- Quand des particules s’intriquent avec l’environnement et que leur état quantique devient flou, la von Neumann entropy augmente
- Quand de la matière tombe dans un trou noir et que le monde extérieur perd cette information, la Bekenstein-Hawking entropy augmente
De qui l’entropie mesure-t-elle l’ignorance ?
- Dans la compréhension moderne, l’entropie mesure l’ignorance portant sur le mouvement des particules, le prochain chiffre d’une chaîne de code ou l’état exact d’un système quantique
- Cette perspective mène aussitôt à la question : « l’ignorance de qui ? »
- Carlo Rovelli a vu dans le phénomène où l’huile et l’eau se séparent après avoir été agitées un problème pour l’explication simpliste de la deuxième loi comme « augmentation du désordre »
- En apparence, l’ordre augmente ; mais un observateur doté d’une vision thermique puissante verrait que, pendant la séparation, de l’énergie cinétique est libérée dans les molécules, produisant un état thermiquement plus désordonné
- Un ordre macroscopique peut se former au prix d’un désordre microscopique
- Avec le paradoxe de mélange de Gibbs, Jaynes montra que la capacité de distinction de l’observateur peut modifier l’entropie
- Si deux gaz différents A et B sont séparés par une cloison puis se mélangent, l’entropie augmente
- Si les deux gaz sont identiques et ont la même pression et la même température, lever la cloison ne change pas l’entropie
- Si les deux gaz sont en réalité différents mais qu’il n’existe aucun moyen de les distinguer, ils se comportent pour l’expérimentateur comme un même gaz
- Dans l’exemple de Jaynes, deux types d’argon ne diffèrent que par leur solubilité dans un élément encore inconnu appelé “whifnium”
- Avant la découverte du whifnium, il est impossible de les distinguer, donc lever la cloison ne produit aucun changement apparent d’entropie
- Après la découverte du whifnium, les deux argons deviennent distinguables, et l’on peut concevoir un piston qui extrait de l’énergie de leur mélange
- L’entropie et le travail extractible dépendent non seulement des différences propres au système, mais aussi des connaissances et ressources dont dispose l’observateur
Tenter d’intégrer la dépendance à l’observateur dans les mathématiques
- Traiter l’entropie non comme une propriété intrinsèque du système, mais comme une propriété dépendante de l’observateur, fait peser une charge philosophique sur l’objectivité de la physique
- Anthony Aguirre et ses collaborateurs ont conçu une mesure appelée entropie observationnelle (observational entropy)
- Elle précise les propriétés auxquelles un observateur donné peut accéder, et ajuste le degré de granularité avec lequel ces propriétés regroupent la réalité
- Comme chez Jaynes, elle attribue la même probabilité à tous les micro-états compatibles avec les propriétés observées
- Cette formule sert de lien entre l’entropie thermodynamique, qui traite des caractéristiques macroscopiques, et l’entropie informationnelle, qui traite des détails microscopiques
- Plusieurs groupes de recherche indépendants utilisent la formule d’Aguirre pour chercher des démonstrations plus rigoureuses de la deuxième loi
- Aguirre veut utiliser cette mesure pour clarifier pourquoi l’univers a commencé dans un état de faible entropie, pourquoi le temps s’écoule vers l’avant et ce que signifie l’entropie dans les trous noirs
- En théorie de l’information quantique, l’information est traitée comme une ressource que l’observateur utilise pour interagir avec un système
- Pour un superordinateur doté d’une capacité illimitée à suivre l’état exact de toutes les particules, l’entropie resterait toujours constante et aucune information ne serait perdue
- Un observateur doté de ressources de calcul finies, comme un humain, regroupe la réalité de manière grossière et perd progressivement les détails microscopiques
- Ce flux se manifeste comme l’écoulement du temps
Moteurs informationnels et physique de la prise de décision
- À l’été 2023, FQxI, cofondé par Aguirre, a réuni dans le Yorkshire, au Royaume-Uni, des physiciens étudiant les façons d’utiliser l’information comme carburant
- Pour ces chercheurs, la distinction entre moteur et ordinateur devient de plus en plus floue
- L’information est traitée comme une ressource physique réelle et quantifiable, qui indique la quantité de travail que l’on peut extraire d’un système
- L’expérience de pensée de Leo Szilard illustre le cœur des moteurs informationnels
- Une particule unique dans une boîte pousse une cloison, et un démon utilise une corde et des poulies pour soulever un poids à l’extérieur
- Pour obtenir du travail de façon répétée, le démon doit savoir de quel côté de la boîte se trouve la particule
- Le moteur de Szilard est alimenté par l’information
- Les moteurs informationnels ne sont pas parfaits non plus, pas plus que les moteurs thermiques
- Mesurer et stocker l’information génère en moyenne au moins autant d’entropie
- La connaissance rend le travail possible, mais l’obtenir et la mémoriser coûte aussi de l’énergie
- Susanne Still traite depuis longtemps l’observateur comme un système physique soumis à des limites physiques
- L’observateur doit décider quoi mesurer et quoi stocker dans une mémoire limitée
- Recueillir des informations qui n’aident pas à faire des prédictions utiles réduit l’efficacité énergétique
- Still a proposé le principe de least self-impediment, qui consiste à choisir une stratégie de traitement de l’information aussi proche que possible des limites physiques
- Still modélise la partial observability du monde réel avec un moteur de Szilard modifié comportant une cloison inclinée
- L’utilisateur ne peut voir que la position horizontale de la particule, par exemple son ombre
- Si l’ombre se trouve complètement à gauche ou à droite de la cloison, on sait de quel côté est la particule ; mais dans la zone médiane, on ne sait pas si elle est en haut ou en bas
- Dans ce modèle, le calcul des stratégies optimales de mesure et d’encodage en mémoire conduit à une dérivation fondée physiquement de l’algorithme du goulot d’étranglement informationnel (information bottleneck algorithm) utilisé en machine learning
De petits moteurs informationnels en laboratoire
- John Bechhoefer et des chercheurs de la Simon Fraser University ont reproduit un moteur de Szilard avec une bille de silice plus petite qu’une poussière, flottant dans l’eau
- Ils piègent la bille avec un laser et surveillent les fluctuations thermiques aléatoires
- Quand la bille fluctue vers le haut, ils relèvent rapidement le piège laser pour exploiter ce mouvement
- Ils ont réussi à soulever un poids grâce à la puissance de l’information
- Bechhoefer et Still étudient les limites de l’extraction de travail dans des moteurs informationnels réels
- Ils ont découvert que, dans certaines plages, les moteurs informationnels peuvent nettement surpasser les moteurs classiques
- Inspirés par les travaux théoriques de Still, ils suivent aussi les inefficacités produites par une information partielle sur l’état de la bille
- Natalia Ares, de l’Oxford University, mène des expériences visant à réduire les moteurs informationnels à l’échelle quantique
- Sur une puce en silicium de la taille d’un sous-verre, elle piège un électron unique dans un fin fil de carbone
- Ce nanotube est refroidi à quelques millièmes de degré du zéro absolu et vibre comme une corde de guitare
- Sa fréquence de vibration est déterminée par l’état de l’électron qu’il contient, et les chercheurs cherchent à diagnostiquer, à partir de cette vibration minuscule, la quantité de travail produite par des phénomènes quantiques
- L’un des projets expérimentaux d’Ares suit les idées de Still
- Il ajuste dans quelle mesure la vibration du nanotube dépend parfaitement de l’électron, ou bien d’autres facteurs inconnus
- Cela sert de bouton de réglage du degré d’ignorance de l’observateur
- À l’échelle quantique, il est plus complexe de savoir quelle entropie fixe les limites pertinentes et comment définir le travail produit
- Une étude récente menée par Nicole Yunger Halpern montre que des définitions de la production d’entropie habituellement considérées comme équivalentes peuvent diverger dans le domaine quantique
- À l’échelle quantique, certaines propriétés ne peuvent pas être connues simultanément, et l’ordre des mesures peut influencer les résultats
- Yunger Halpern estime que les ressources supplémentaires du monde quantique pourraient servir à contourner certaines limites autour du théorème de Carnot
Vers une science de la gestion de l’incertitude
- En septembre 2024, des centaines de chercheurs se sont réunis à Palaiseau, en France, pour célébrer le bicentenaire du livre de Carnot
- Les participants ont discuté du rôle de l’entropie dans leurs domaines de recherche, des cellules solaires aux trous noirs
- Un responsable du Centre national de la recherche scientifique a présenté des excuses au nom de la France pour avoir sous-estimé l’influence de Carnot
- L’intuition de Carnot est née d’une tentative de contrôler entièrement un monde mécanique, mais à mesure que l’entropie s’est diffusée dans l’ensemble des sciences naturelles, le centre de gravité a changé
- Une vision affinée de l’entropie renonce au rêve du rendement parfait et de la prédiction parfaite, et reconnaît l’incertitude irréductible du monde
- L’effondrement de l’ordre alimente toutes les machines, et ce nouveau point de vue peut révéler des réserves d’ordre cachées dans le chaos
- L’entropie n’est pas seulement un désordre inévitable : elle agit aussi comme une motivation pour la quête de connaissance, qui nous pousse à détecter, inférer et faire de meilleurs choix
1 commentaires
Avis sur Hacker News
Ravi de voir l’article discuté ici
Je me suis occupé de l’implémentation technique des éléments interactifs, et le code source est disponible ici : https://github.com/jnsprnw/mip-entropy
C’est fait avec Svelte 5 et Tailwind
On dirait que beaucoup d’interactions ponctuelles sont faites avec Svelte ces temps-ci ; quels en sont les avantages ?
C’est intéressant de lire cet article 27 ans après mon doctorat
Pendant mon doctorat en physique théorique, j’ai comparé des cas avec et sans inconnues, du point de vue de l’entropie comme facteur moteur
Ma thèse portait sur la manière de traiter un système quantique dans une cavité, avec une cavité dont un côté était un miroir parfait et l’autre un miroir parfait à 99,999999 %
J’ai placé un autre miroir parfait de l’autre côté du miroir imparfait pour compléter un univers unidimensionnel ; en ASCII :
[100%] —l— [100-epsilon] ——L——— [100%], où L >> lLa solution de l’univers complet était simple avec les techniques standard de mécanique quantique, mais celle du petit univers avec pertes ne l’était pas, alors que physiquement les deux devaient être équivalentes
J’ai donc utilisé la solution exacte de l’univers complet (l+L) pour la comparer à des modèles possibles du petit univers (l) comportant un terme non linéaire décrivant les pertes
Dans un système avec pertes, l’entropie existe ou agit comme une force motrice ; dans un système sans pertes, tout se conserve, mais le lien entre les deux n’est pas une idée nouvelle ;-0
Je ne sais pas non plus ce que signifient
letL, et dans la dernière phrase il faudrait sans doute supprimerhowL’entropie m’a semblé beaucoup plus intéressante après avoir entendu Sean Carroll l’expliquer
Il a un penchant fondamental et philosophique, et souligne souvent que différentes définitions de l’entropie, reposant sur des bases philosophiques différentes, sont en concurrence, et que l’une d’elles semble dépendre de l’observateur
https://youtu.be/x9COqqqsFtc?si=cQkfV5IpLC039Cl5
https://youtu.be/XJ14ZO-e9NY?si=xi8idD5JmQbT5zxN
Leonard Susskind a donné de nombreuses excellentes conférences et écrit de très bons livres sur l’information quantique et le calcul de l’entropie des trous noirs, ce qui a mené à de nouvelles hypothèses assez radicales
Stephen Wolfram a aussi donné une longue conférence sur l’histoire du concept d’entropie, plutôt bonne : https://www.youtube.com/live/ocOHxPs1LQ0?si=zvQNsj_FEGbTX2R3
Le passage selon lequel « en tentant, au cours du siècle dernier, d’unifier des domaines en apparence éloignés, les physiciens ont porté un nouveau regard sur l’entropie, en retournant le microscope vers celui qui l’observe et en transformant la notion de désordre en notion d’ignorance. L’entropie n’est pas considérée comme une propriété intrinsèque d’un système, mais comme relative à l’observateur qui interagit avec ce système » me semble être une observation assez banale, même si elle doit peut-être beaucoup aux géants qui nous ont précédés
Un état de haute entropie est un macro-état auquel correspondent de nombreux micro-états
Classer plusieurs micro-états dans un même macro-état n’est-il pas, par nature, une fonction centrée sur l’observateur ?
Par exemple, si l’on considère qu’un 5 et un 6 sur un dé donnent essentiellement le même résultat, ce résultat devient plus probable et a une entropie plus élevée
Mais c’est dû à ma classification, pas à une propriété intrinsèque du système
Dire qu’« un état de haute entropie est un macro-état auquel correspondent de nombreux micro-états » est une façon de dériver l’entropie dans un modèle donné
Mais l’entropie peut aussi être obtenue par mesure expérimentale ; dans ce cas, l’appareil expérimental ne se préoccupe ni des micro-états ni des macro-états, et ne manipule que des propriétés comme l’enthalpie, la capacité thermique ou la température
Ensuite, on peut construire un modèle et dire que l’entropie d’un gaz correspond à la prédiction du modèle du gaz parfait, ou que l’entropie d’un solide correspond à ce que l’on sait de l’entropie vibrationnelle
Il en va de même lorsqu’on dit que les atomes d’hydrogène sont indiscernables. Ils ne deviennent pas indiscernables parce que nous en décidons ainsi ; c’est parce qu’en calculant l’entropie dans les deux cas, on voit que la réalité ne correspond pas au modèle où les atomes seraient discernables
Si l’on ne regarde que des modèles bien propres, la classification en macro-états peut sembler centrée sur l’observateur, mais cela n’explique pas pourquoi la valeur expérimentale de l’entropie d’une substance reste cohérente indépendamment du modèle utilisé par l’expérimentateur
Fondamentalement, l’entropie dépend d’une distribution de probabilité, pas de l’observateur
Ce n’est absolument pas évident pour les innombrables étudiants qui ont lu des manuels d’introduction à la physique
En réalité, l’entropie a souvent été mal enseignée, et très peu de gens l’ont vraiment comprise ; je pense que cela commence maintenant à se corriger
Le fait que les magazines de vulgarisation scientifique, les documentaires et les vidéos YouTube embrouillent encore davantage le grand public en est une preuve supplémentaire
Tous les observateurs, lorsqu’ils mènent des expériences et utilisent la méthode scientifique, doivent découvrir les mêmes lois fondamentales
Pour reprendre votre analogie, dire que 5 et 6 sont identiques n’est possible que si les règles du jeu peuvent être transformées de cette manière, de sorte qu’un observateur qui les distingue parvienne lui aussi, dans son propre référentiel, aux règles correctement transformées
Si l’on pense à des objets comme les étoiles à neutrons et les trous noirs, qui relèvent à la fois de la physique quantique et de la relativité générale, cette proposition paraît assez fondamentale, au point que je me demande même si elle n’est pas formulée trop fortement
Pendant longtemps, je n’ai eu aucune intuition de ce que l’entropie représentait réellement
Cette vidéo de Veritasium m’a enfin permis de comprendre : https://www.youtube.com/watch?v=DxL2HoqLbyA
Je regrette qu’il ne soit pas fait mention de l’incertitude de Heisenberg, que je vois comme la limite supérieure théorique de cette approche
Il faut aussi prendre en compte le coût de calcul par rapport au travail utile que l’on pourrait potentiellement extraire de ce type de moteur quantique
Si le coût énergétique du calcul dépasse le travail utile potentiel, cela reste une perte nette, ou quelque chose d’inutile
Enfin, il y a la question du spectre entre motifs cachés et hasard
Certains systèmes sont plus aléatoires que d’autres, et la possibilité d’en extraire un travail utile pour un coût énergétique de calcul raisonnable diminue à mesure que l’on descend le spectre du hasard
Un système où l’incertitude de Heisenberg est maximale, c’est-à-dire où les particules ne sont pas intriquées et ne sont pas non plus corrélées à la structure supérieure d’autres particules intriquées, ne laisse aucune marge d’amélioration de la connaissance, donc son travail potentiel est nul
C’est l’entropie ultime des systèmes locaux et macroscopiques, et c’est peut-être aussi la cause de certaines violations des principes de conservation de l’énergie, comme l’énergie noire
Il y a eu un fil lié plus tôt cette année
https://news.ycombinator.com/item?id=41037981 ("What Is Entropy? (johncarlosbaez.wordpress.com)", 209 commentaires)
Les graphiques interactifs qui cherchent à montrer que l’entropie est subjective ne me convainquent pas
Ils ne définissent pas correctement le macro-état du système considéré, puis montrent deux entropies observées différentes pour deux macro-états différents
La couleur pour Alice, les formes pour Bob, par exemple
Cela ne montre pas que l’entropie est subjective, mais que définir le système est subjectif
Les deux mêmes macro-états auraient toujours la même entropie
L’article aborde un peu ce point, mais pas assez, peut-être à cause de l’état de la littérature
L’article de Safranek et al. sur l’entropie observationnelle était intéressant, car il montre que le choix du grossissement (coarse graining) en macro-états peut mener à des entropies différentes, mais il ne traite pas la question centrale : pourquoi choisir tel grossissement ou tel macro-état au départ
Dans la littérature de la théorie de l’information, choisir un grossissement ou un macro-état donné a un coût informationnel, un coût au sens de la complexité de Kolmogorov
Dans l’exemple de l’article, c’est le coût de choisir les formes ou les couleurs pour définir l’entropie
L’entropie observationnelle donne donc l’impression de n’être qu’une partie d’une entropie ou d’un coût informationnel plus large, qui inclurait aussi le coût informationnel du grossissement choisi
Cela renvoie à la discussion, plus loin dans l’article, sur le coût de l’observation et le goulot d’étranglement informationnel, mais l’article et les papiers liés ne semblent pas traiter explicitement et en détail ce problème des coûts différenciés des macro-états
Il est bien question d’un coût thermodynamique, mais on ne voit pas clairement comment ce coût s’accumule, ni pourquoi adopter un macro-état plutôt qu’un autre
Alice et Bob, dans l’exemple de subjectivité, sont définis par des contraintes physiques différentes, et peuvent être vus comme deux systèmes d’observation soumis à des contraintes différentes
Sous un autre angle, supposons qu’une boîte contenant de nombreuses particules soit « purement aléatoire »
Dans ce cas, quoi qu’Alice et Bob observent, ce qui compte est le nombre de particules, etc., et l’entropie relative à la couleur dépend du nombre de couleurs, non de la position des particules, puisqu’on est déjà dans un état d’entropie maximale
Si l’on réorganise les particules selon un attribut donné, les deux abaissent en fait l’entropie d’une certaine quantité par rapport à l’état purement aléatoire, et cela pourrait être lié d’une façon ou d’une autre à l’information nécessaire pour ramener les particules à l’état purement aléatoire
L’article contient beaucoup de liens vers d’autres domaines des sciences et des mathématiques, et la partie sur le coût informationnel de l’observation se relie aussi à la littérature en mathématiques et en informatique via Wolpert (2008), qui l’aborde sous l’angle du calcul, puis Rukavicka
Il existe aussi dans la littérature en neurosciences des idées proches de l’efficacité de la réduction d’entropie, mais je ne me souviens plus des noms des personnes concernées
L’article de Quanta était vraiment bon, mais certaines zones restaient très floues, et il était difficile de savoir si ce flou venait de l’écriture, de la littérature elle-même, ou de ma propre compréhension
L’espèce d’Alice ne dispose pas d’instruments de mesure capables de détecter l’entropie du côté de Bob ; Alice ne peut donc pas extraire de travail utile du système de Bob, et inversement
Une définition objective de l’entropie devrait donc inclure les capacités de l’observateur
Au fond, c’est la même chose que ce que vous disiez à propos des macro-états
Je n’arrivais pas à le formuler précisément, mais oui
Ils confondent le fait de définir un système et celui de définir l’entropie d’un système, puis affirment que l’entropie est subjective
Ce n’est pas du tout le cas. L’entropie est simplement une mesure
Il me semble que cette vidéo de Sabine n’a pas été mentionnée dans les commentaires. Elle peut intéresser les personnes qui s’intéressent à l’entropie en physique
"I don't believe the 2nd law of thermodynamics. (The most uplifting video I'll ever make.)"
https://m.youtube.com/watch?v=89Mq6gmPo0s
J’ai rencontré l’entropie du côté du machine learning, de la théorie de l’information et des probabilités
Pour moi, c’est assez intuitif, intéressant et utile, mais cela n’a rien de mystérieux
Une fonction de densité de probabilité, pour le dire de façon moins pompeuse un histogramme, est notre meilleure connaissance actuelle de combien de fois on s’attend à obtenir tel ou tel résultat
Si l’on réalise une expérience une fois, on ne peut pas connaître le résultat ; on ne peut que compter le nombre de résultats différents, sans être certain de savoir exactement quel résultat arrivera ni quand
Une fonction de densité de probabilité plate signifie que la connaissance est pauvre. Tous les résultats sont à peu près aussi possibles, et je suis très ignorant. Autrement dit, l’entropie est élevée
Une fonction de densité de probabilité pointue signifie que la connaissance est bonne. Un résultat donné est beaucoup plus vraisemblable, et l’entropie est faible
À l’extrême, si la fonction de densité de probabilité est un delta de Dirac, c’est une connaissance déterministe
Ce qui est un peu intéressant, c’est le cas où une nouvelle observation réduit la connaissance
Par exemple, supposons qu’à l’instant présent je sois assez sûr de ne pas avoir de cancer, et que la probabilité pour les gens de mon âge soit de 90:10
Demain, je fais un test et il revient positif. Parmi les personnes de mon âge ayant un résultat positif, environ la moitié ont réellement un cancer
Après le test, ma probabilité devient 50:50. Je suis désormais totalement ignorant quant au fait d’avoir ou non un cancer
Avant de recevoir le résultat positif, j’étais très sûr de ne pas avoir de cancer ; cette nouvelle information, le résultat positif, a fait passer la probabilité de cancer d’une probabilité marginale pointue
P_Y(y)={0.9,0.1}à une probabilité conditionnelle de totale ignoranceP_Y(y|+ve test)={0.5,0.5}Cet exemple vient de "How to measure the information gained from one symbol" de DeWeese et Meister : https://pubmed.ncbi.nlm.nih.gov/10695762/
Bon article
Le caractère subjectif de l’entropie et de l’information fait immédiatement penser à la théorie de l’information intégrée (IIT) sur la conscience, et à l’impasse fondamentale qu’elle représente
L’information ne peut pas être discutée sans point de vue. Il faut bien que quelqu’un définisse les états
Le fait qu’un dé ait 6 états n’est vrai que pour nous, les humains. Qu’en est-il pour une fourmi sur laquelle le dé pourrait tomber ?
Réintroduire l’observateur dans la discussion sur l’information est intéressant, car cela amène vite les questions : « comment l’observateur est-il constitué ? », « comment un point de vue, c’est-à-dire un “moi”, émerge-t-il dans un être composé de milliers de milliards de cellules ? »
Si ce détour vous intéresse, cet article et notre livre qui y est mentionné méritent d’être lus
https://saigaddam.medium.com/consciousness-is-a-consensus-me...