4K4D : synthèse de vues 4D en temps réel en résolution 4K

• Un article sur la « synthèse de vues 4D en temps réel » qui résout le problème de la lenteur du rendu lors de la génération dynamique de vues haute résolution sous différents angles
• 4K4D accélère la vitesse de rendu en utilisant une représentation de nuage de points 4D compatible avec la rasterisation matérielle
• La représentation en nuage de points 4D repose sur une grille de caractéristiques 4D qui normalise les points et permet une optimisation puissante
• Un nouveau modèle d'apparence hybride est conçu pour améliorer la qualité du rendu tout en conservant l'efficacité
• L'équipe a également développé l'algorithme Differentiable Depth Peeling pour entraîner efficacement le modèle proposé à partir de vidéos RGB
• Les résultats expérimentaux montrent que la représentation 4K4D peut être rendue à plus de 400 FPS en résolution 1080p sur le jeu de données DNA-Rendering avec un GPU RTX 4090, et à 80 FPS en résolution 4K sur le jeu de données ENeRF-Outdoor
• Elle est 30 fois plus rapide que les méthodes précédentes tout en atteignant une qualité de rendu de pointe
• La méthode 4K4D est entraînée à partir de vidéos RGB multi-vues via l'algorithme Differentiable Depth Peeling
• L'article inclut des résultats qualitatifs sur divers jeux de données et dans une démonstration en temps réel
• Les auteurs de l'article sont issus de Zhejiang University, Image Derivative Inc. et Ant Group

[ragingwind]

« Les utilisateurs supposent que cette technologie pourrait être utilisée dans le divertissement pour adultes afin de permettre des interactions plus personnalisées. »

[xguru]

Ah oui, comme d'habitude, c'est eux qui mènent le progrès technologique...

[xguru]

Waouh… appliqué à des vidéos et autres contenus du genre, ça pourrait être vraiment sympa à regarder sur un casque VR.

[GN⁺]

Avis Hacker News

• « 4K4D : technologie de synthèse de vue 4D en temps réel » suscite de l’intérêt en raison de ses applications potentielles dans divers domaines.
• Des utilisateurs spéculent sur le fait que cette technologie pourrait être utilisée dans le divertissement pour adultes afin de permettre des interactions plus personnalisées.
• Cette technologie pourrait être utilisée pour la reconstitution de scènes de crime ou l’analyse d’accidents à partir d’images de vidéosurveillance.
• Elle pourrait révolutionner la manière de regarder des événements comme les mariages ou les films, en permettant aux spectateurs de choisir leur angle de vue.
• Certains se montrent enthousiastes quant à son utilisation potentielle dans les événements sportifs, où les spectateurs pourraient déplacer la caméra sur le terrain.
• Cette technologie pourrait servir à créer des scènes artificielles permettant de programmer des changements de lieu ou d’acteurs.
• Des questions ont été soulevées sur le fait de savoir si elle évolue linéairement selon la taille du cache et la durée de la vidéo, ainsi que sur le temps nécessaire à la génération du cache.
• Certains utilisateurs ont rencontré des problèmes sur le site web qui rend de courtes vidéos, ce qui met en évidence des défis potentiels pour la VR.
• Des questions ont été posées sur le nombre de caméras nécessaires à cette méthode, et l’article suggère qu’elle est générée à partir de données sources multi-vues.
• Un projet connexe utilisant Kinect v2 a été mentionné ; bien qu’il ait été abandonné, il semble possible d’en surmonter les limites.
• Cette technologie a été comparée à ce qui avait été prédit dans la série « Red Dwarf ».
• Elle semble offrir un potentiel révolutionnaire pour l’AR/VR.
• Des utilisateurs spéculent sur l’intégration du son volumétrique et de la VR pour recréer le « braindance » du jeu Cyberpunk 2077, même si l’intégration des sensations corporelles semble rester un objectif lointain.