A$AP Rocky dévoile le clip de « Helicopter » réalisé avec le Gaussian Splatting

• Le clip du nouveau morceau « Helicopter » d’A$AP Rocky met en scène presque toutes les performances des personnages au moyen de la capture volumétrique et du Gaussian Splatting
• Le tournage a utilisé un ensemble de 56 caméras RGB-D d’Evercoast pour enregistrer les performances réelles en 3D, puis le rendu en postproduction a été effectué avec Houdini et OctaneRender
• GSOPs de CG Nomads et les outils internes de WildCapture ont servi à gérer le séquençage des données de splat, le relighting et les interactions physiques
• Malgré l’aspect surréaliste de la vidéo, toutes les scènes ont été produites à partir de performances physiques réelles d’acteurs
• Ce projet constitue un cas d’usage concret du Gaussian Splatting dynamique dans un clip de musique grand public, et montre le potentiel de la production vidéo 3D en temps réel à l’avenir

---

Aperçu de la production du clip « Helicopter »

• « Helicopter » d’A$AP Rocky est un clip utilisant la technologie des Radiance Fields, dans lequel presque toutes les performances des personnages ont été capturées de manière volumétrique
  • La vidéo se distingue par des mouvements chaotiques et une énergie rappelant le style des débuts de MTV
  • Les personnages sont rendus sous forme de Dynamic Splats, créant une véritable sensation de profondeur spatiale
• Le projet a réuni Evercoast, Grin Machine, WildCapture, Fitsū.ai et d’autres partenaires
  • Evercoast s’est chargé de la capture de performance, tandis que Chris Rutledge de Grin Machine a participé comme superviseur CG
  • Wilfred Driscoll de WildCapture a apporté un soutien technique pour la cohérence temporelle et le transfert de mouvement

Capture volumétrique et configuration technique

• Le tournage a eu lieu à Los Angeles en août 2025, avec 56 caméras RGB-D d’Evercoast et deux stations de travail Dell synchronisées
  • Les acteurs étaient suspendus à des câbles ou accrochés à une barre au plafond pour effectuer des cascades physiques
  • Les pales d’hélicoptère et certains accessoires ont été remplacés par de véritables structures en bois afin de tourner dans un environnement réaliste
• Au total, 10 To de données brutes ont été collectés, puis transformés en environ 30 minutes de vidéo en splats
  • Le résultat final a été exporté sous forme de séquences PLY d’environ 1 To

Pipeline de postproduction

• La postproduction a été réalisée dans Houdini, avec GSOPs de CG Nomads pour manipuler et séquencer les données de splat
  • OctaneRender d’OTOY a été utilisé pour le rendu final et a permis le relighting
  • L’intégration d’Octane à Houdini est désormais suffisamment mature pour permettre de restituer les ombres et la profondeur
• Blender a été utilisé aux étapes de layout et de prévisualisation
  • Les séquences de splats ont été converties en caches proxy légers pour planifier les scènes
  • Les outils internes de WildCapture ont généré des squelettes d’estimation de pose, utiles pour les collisions et simulations physiques

Prévisualisation en temps réel et efficacité de production

• Le système d’Evercoast fournit un retour spatial en temps réel sur le plateau
  • Le réalisateur peut consulter un aperçu basé sur des meshes juste après le tournage, puis examiner le rendu splat complet via un lecteur web
  • Avant de télécharger les données volumineuses, seules les scènes nécessaires sont sélectionnées pour la postproduction
• Ce workflow, plus proche de la simulation que de la production vidéo traditionnelle, permet une création rapide et économique

Performance réelle et illusion visuelle

• Certains spectateurs ont cru que la vidéo était générée par IA, mais toutes les scènes reposent sur des performances physiques réelles d’acteurs
  • Cascades, sauts et chutes ont tous été exécutés dans un espace réel
  • Grâce à la capture volumétrique, il est possible de recomposer librement les cadrages et de briser la continuité spatiale, ce qui produit une impression artificielle
• La technologie des Radiance Fields ne remplace pas la réalité ; elle sert à préserver les mouvements et l’espace du réel

Collaborations précédentes entre A$AP Rocky et les Radiance Fields

• A$AP Rocky avait déjà utilisé NeRF et Instant-NGP GUI dans le clip de « Shittin’ Me » en 2023
  • « Helicopter » est considéré dans cette continuité comme un exemple de grande ampleur d’usage concret du Gaussian Splatting dynamique

[GN⁺]

Commentaires sur Hacker News

• Je trouve vraiment impressionnant qu’en 2023, Nial Ashley (Llainwire) ait réalisé ça seul et créé lui-même les visuels
  Lien vers la vidéo YouTube
  Malheureusement, il n’a pas vraiment été remarqué. D’après Discord, trop d’artistes lui ont seulement demandé de produire des clips dans ce style, si bien qu’il a fini par abandonner ce projet au lieu de poursuivre des collaborations musicales
• Je suis David Rhodes, cofondateur de CG Nomads. J’ai développé GSOPs (Gaussian Splatting Operators) pour SideFX Houdini
  Ce clip a été produit en combinant GSOPs et OTOY OctaneRender
  Si la technique vous intéresse, vous pouvez jeter un œil au site officiel ou au dépôt GitHub
  • L’aspect esthétique de cette technologie est vraiment fascinant. Dans les versions précédentes, cela ressemblait complètement à un nuage de bruit 3D glitché ; je me demande si vous avez réfléchi à des façons de l’« abuser » de manière créative en exploitant volontairement de mauvaises entrées ou des erreurs d’alignement
  • David, je me demande si vous avez aussi regardé des technologies alternatives au 3DGS comme Mesh Splatting. Ça promet un apprentissage plus rapide et de meilleurs résultats
  • Je me demande s’il serait possible, avec un plugin pour Davinci Resolve, de fusionner les données spatiales filmées avec deux iPhone pour les réunir en une scène 3D. Avec une puce M4, ça semble largement faisable
  • Vous avez parlé de « contenu 3D de haute qualité », mais dans la vidéo, j’ai trouvé que ça manquait un peu
• Je ne pensais pas voir un post sur A$AP sur HN. Cette communauté est vraiment amusante
  • Moi aussi, j’ai passé la journée à réfléchir à une façon de poster le clip Helicopter sur HN, donc je suis content que quelqu’un l’ait finalement publié sous l’angle Gaussian
  • Dans la vidéo, est-ce qu’il porte des bigoudis / rouleaux pour les cheveux ?
  • On a failli avoir un post sur Carti tout en haut de HN
  • Moi aussi, j’ai dû regarder deux fois, c’était vraiment inattendu
  • Par contre, je ne vois pas bien pourquoi ça serait considéré comme « cool »
• Je me demande si quelqu’un pourrait expliquer simplement ce qu’est exactement le Gaussian splatting, et ce que signifie dans l’article le fait que « c’est désormais assez mature »
  • Le processus consiste à créer un nuage de points de la scène, puis à remplacer chaque point par un ellipsoïde diffus, avant d’entraîner le tout avec un renderer différentiable. Cela permet de reconstruire une scène 3D qui correspond presque exactement aux photos réelles
  • Le principe est d’estimer un champ de radiance de l’espace 3D en combinant des vidéos filmées sous plusieurs angles. Cela permet ensuite de simuler des angles de caméra qui n’existaient pas dans la prise de vue réelle.
    Avec un outil comme Houdini, un artiste peut alors déplacer librement une caméra virtuelle dans cet espace
  • Chaque point prend la forme d’un blob semi-transparent, dont la couleur change selon l’angle de vue. Cela permet de représenter les reflets et les effets de brillance
  • Cette vidéo de 2 minutes est une bonne introduction.
    J’ai l’impression que, grâce au papier fondamental de 2023 ainsi qu’aux progrès des GPU et de la programmation différentiable, la technique est désormais exploitable en production
  • Pour des démos visuelles, on peut voir cet article de blog et ce site
• La vidéo était vraiment superbe. Je n’ai compris que la moitié de l’article, mais c’était justement amusant de lire ce genre de phrases saturées de jargon technique
  Le passage « importer les données dans Houdini, les manipuler avec GSOPs et faire le rendu final avec OctaneRender » m’a particulièrement marqué
  • Je suis l’un des créateurs de GSOPs pour Houdini. Le Gaussian splat est une manière de reproduire la réalité à l’aide d’un grand nombre d’ellipsoïdes 3D. Houdini est particulièrement fort pour manipuler ce type massif de données de points, et des renderers comme Octane permettent de les intégrer à des éléments CG traditionnels
  • Je suis justement l’auteur de l’article. Le Gaussian splatting prend en entrée de simples images ou vidéos 2D pour permettre une reconstruction 3D réaliste. C’est une forme de technique basée sur les champs de radiance comme NeRF ou Plenoxel
  • Corridor Crew a fait un travail impressionnant avec le Gaussian splat. Je recommande cette vidéo
  • Ce style d’écriture me rappelle étrangement Kurtwood Smith en train de vendre des pipes dans The Patriot
• J’expérimente le Gaussian splatting comme médium artistique photographique. Les résultats expressionnistes obtenus quand les données manquent sont vraiment séduisants
  Ma collection de travaux
  • Les œuvres sont magnifiques ! Je me demande s’il existe un endroit où le processus de création est expliqué plus en détail
  • L’esthétique est vraiment unique et superbe
• Honnêtement, la vidéo m’a fait penser à un ancien rendu Unreal Engine. C’est peut-être une esthétique volontaire, mais je me demande jusqu’où le Gaussian splatting peut produire des résultats réalistes
  Si on reconfigure l’éclairage ou les ombres, ou qu’on modifie une partie de la scène, peut-on conserver le sentiment de réalisme d’origine ?
  Quand on voit la production cinéma actuelle évoluer vers des prises multi-angles suivies d’un énorme travail de postproduction, on finira peut-être par entrer dans une époque où les humains seront traités en Gaussian splat et les arrière-plans en fond vert
  • L’esthétique de cette vidéo résulte d’un choix assumé de conserver certains artefacts du Gaussian splatting. En particulier avec le 4DGS, il y a des incohérences temporelles qui deviennent encore plus visibles lors du relighting.
    Cela dit, la technologie progresse vite, et la capture volumétrique semble clairement appelée à s’imposer.
    Dans des environnements statiques, la qualité est déjà très élevée, comme dans cet exemple
  • Vu la sensibilité artistique de l’artiste, cela ressemble davantage à un choix fait pour la nouveauté technique et la liberté créative que pour des raisons de budget
  • Pour moi, ça évoquait une version haute résolution de Teardown, ce jeu à base de voxels. L’éclairage et les mouvements de caméra donnaient cette impression
  • Avec les bonnes données, on pourrait probablement obtenir dès maintenant une qualité 3D digne de l’IMAX
  • D’autres vidéos d’A$AP utilisent aussi parfois volontairement une esthétique lo-fi et rétro. Par exemple, dans Yamborghini High, il imitait des artefacts de dégradation MPEG
• Il faut vraiment regarder la vidéo elle-même. L’équilibre entre effets surréalistes et performance humaine est excellent
  Si la musique n’est pas à votre goût, vous pouvez aussi la regarder en coupant le son
  • Un autre clip d’A$AP Rocky, Taylor Swif, a lui aussi une ambiance surréaliste et étrange assez proche. La mise en scène d’inspiration est-européenne s’accorde volontairement avec le thème
    Lien vers la vidéo
  • Si vous regardez jusqu’à la fin, le dernier splat n’est pas un Gaussian
• Lien direct vers le clip : https://www.youtube.com/watch?v=g1-46Nu3HxQ
  • Bonne idée. Je vais aussi ajouter ce lien en haut de l’article
• Malheureusement, au bout d’environ 30 secondes, j’ai eu la nausée et j’ai dû arrêter. Cela dit, la technologie est vraiment impressionnante. Je me demande si d’autres ont ressenti la même chose
  • Moi, j’ai beaucoup aimé la vidéo. Aucune nausée de mon côté
  • Ma femme a eu la même réaction, mais après l’introduction, ça devient nettement plus supportable