Livre sur le deep learning basé sur la physique
(physicsbaseddeeplearning.org)- Physics-based Deep Learning Book v0.3 est un livre numérique qui traite conjointement de la simulation physique et du deep learning, et permet d’apprendre comment combiner analyse numérique et réseaux neuronaux grâce à des exemples exécutables
- Dans la GenAI edition, la part consacrée à la modélisation générative a augmenté, avec denoising, flow-matching, autoregressive learning, contraintes physiques intégrées et diffusion-based graph networks
- Le périmètre d’apprentissage s’étend de l’apprentissage supervisé aux contraintes de perte physiques, à la simulation différentiable, aux approches par diffusion, au reinforcement learning et au choix d’architectures de réseaux neuronaux
- Les chapitres annoncés couvrent des cas plus proches de problèmes physiques réels, comme la prédiction de l’écoulement autour d’un profil aérodynamique, l’apprentissage basé sur le résidu d’équations, les inverse problems et l’intégration du simulateur dans la boucle d’apprentissage
- Tous les exemples de code sont centrés sur des Jupyter Notebook exécutables et modifiables dans le navigateur, ce qui permet de passer immédiatement de la lecture des concepts à l’expérimentation
Manuel d’apprentissage du deep learning pour la simulation physique
- Physics-based Deep Learning Book est un guide pratique complet consacré au deep learning appliqué au domaine de la simulation physique
- Ce document relie explications théoriques et Jupyter Notebook interactifs, afin de permettre de vérifier chaque concept immédiatement en l’exécutant
- Les principaux sujets abordés sont les suivants
- apprentissage supervisé traditionnel
- loss-constraints physiques
- simulation différentiable
- approches basées sur la diffusion pour l’IA générative probabiliste
- reinforcement learning
- architectures avancées de réseaux neuronaux
- Le principal ajout de la GenAI edition v0.3 est un chapitre sur la modélisation générative
- denoising
- flow-matching
- autoregressive learning
- physics-integrated constraints
- diffusion-based graph networks
- Une section dédiée aux neural architectures conçues pour la simulation physique a également été ajoutée, et tous les exemples de code ont été mis à jour pour exploiter les frameworks les plus récents
Chapitres annoncés et approche pratique
- Les chapitres suivants expliquent comment prédire l’écoulement d’un fluide autour d’un profil aérodynamique avec la modélisation par diffusion
- Cette approche fournit un surrogate model probabiliste capable de remplacer et de dépasser les simulateurs existants
- Le livre montre aussi comment entraîner un réseau à représenter une solution en utilisant les équations du modèle sous forme de résidu
- Les contraintes de résidu peuvent être améliorées à l’aide de la simulation différentiable
- Il traite de la manière d’interagir plus étroitement avec le simulateur complet pour résoudre des inverse problems
- Il montre un exemple permettant de contourner les problèmes de convergence des techniques standard de reinforcement learning en intégrant le simulateur dans la boucle d’apprentissage
- Le choix d’une architecture de réseau adaptée constitue aussi un thème central
- interaction globale et interaction locale
- représentation continue et représentation discrète
- structured graph mesh et unstructured graph mesh
- Les approches PBDL sont présentées dans un ordre correspondant à une intégration de plus en plus poussée des modèles physiques dans le deep learning
- Les avantages, inconvénients et scénarios d’usage pertinents de chaque approche sont également abordés
- Les exemples de code sont centrés sur des Jupyter Notebook exécutables directement dans le navigateur
- Il est possible d’exécuter et de modifier les exemples dans le Google Colab teaser notebook
- Ce livre est maintenu par le Physics-based Simulation Group de la TUM, qui fournit également une collection de liens rassemblant des articles de recherche récents
1 commentaires
Avis sur Hacker News
Dans une présentation dense d’octobre 2022, Chris Rackauckas a présenté le Scientific Machine Learning avec des exemples issus de domaines variés, comme les épidémies, les ondes gravitationnelles, la pharmacométrie ou les simulations océaniques
Il y aborde aussi des bibliothèques Julia open source et propriétaires pour SciML, c’est donc très riche en informations
https://www.youtube.com/watch?v=yHiyJQdWBY8
Il me semble qu’il faudrait vraiment changer le titre. Ce n’est pas un livre sur le deep learning fondé sur la physique
C’est plutôt un livre sur les approches de deep learning pour des problèmes physiques développées par ce groupe de recherche, et je pense que c’est une nuance très importante
En plus, il sert en pratique à promouvoir fortement leur framework de simulation Phi-Flow, donc il est difficile de le présenter comme un livre décrivant fidèlement l’ensemble du domaine
Chris a fait du bon travail dans ce genre, et le package Julia d’équations différentielles qui prend en charge la physique ou le Scientific ML est aussi assez impressionnant
https://www.stochasticlifestyle.com/the-essential-tools-of-s...
Je ne trouve pas comment télécharger l’ensemble du livre en PDF. Le bouton de téléchargement en haut semble ne récupérer que des pages individuelles
À ma connaissance, il a été fait avec Jupyter Book, mais je n’ai rien trouvé à ce sujet dans la documentation
[1] https://jupyterbook.org/en/stable/intro.html
Parmi les ressources complémentaires intéressantes, il y a les conférences maths+ML sur YouTube du CRUNCH group, la playlist Physics Informed Machine Learning de Steve Brunton, le livre de Steve Brunton « Data Driven Science and Engineering », et le cours Deep Learning in Scientific Computation de l’ETH Zurich
YouTube du CRUNCH group : https://m.youtube.com/channel/UC2ZZB80udkRvWQ4N3a8DOKQ
Playlist de Steve Brunton : https://m.youtube.com/playlist?list=PLMrJAkhIeNNQ0BaKuBKY43k...
Cours de l’ETH Zurich : https://m.youtube.com/playlist?list=PLJkYEExhe7rYY5HjpIJbgo-...
Il y a aussi une discussion précédente datant de 2021
https://news.ycombinator.com/item?id=28500577