Dynamique générative d’images

• Article sur une nouvelle approche développée par des chercheurs de Google pour la modélisation prioritaire dans l’espace image de la dynamique de scène
• Entraînement du modèle à l’aide de trajectoires de mouvement extraites de séquences vidéo réelles incluant des mouvements oscillatoires naturels
• Le modèle utilise un processus d’échantillonnage par diffusion ajusté en fréquence pour prédire, dans le domaine de Fourier, des représentations de mouvement à long terme par pixel, appelées textures de mouvement stochastiques neuronales
• Cette représentation peut être convertie en trajectoires de mouvement denses couvrant l’ensemble de la vidéo
• Le modèle peut être utilisé dans diverses applications, comme transformer des images statiques en vidéos dynamiques se répétant de façon fluide, ou permettre à l’utilisateur d’interagir de manière réaliste avec des objets dans de vraies photos
• Le modèle peut simuler la réponse de la dynamique des objets à l’excitation d’un utilisateur interagissant avec eux
• Il est possible de réduire ou d’amplifier le mouvement en ajustant l’amplitude des textures de mouvement
• Il est possible de générer des vidéos au ralenti en interpolant les textures de mouvement prédites
• Les chercheurs remercient Rick Szeliski, Andrew Liu, Qianqian Wang, Boyang Deng, Xuan Luo et Lucy Chai pour leurs contributions sous forme de relecture, commentaires et discussions
• Le site web utilisé pour la démonstration est emprunté à nerfies, avec des remerciements adressés à Keunhong