Montage vidéo open source sans entraînement

Partage en open source de la méthode et du code pour permettre un montage vidéo libre, sans entraînement (training-free).🌱

• Montage vidéo : consiste à générer une vidéo en ajoutant, via un text prompt, ce que l’utilisateur souhaite dans une vidéo d’entrée. (Autrement dit, la cohérence entre la vidéo d’entrée et la vidéo de sortie est essentielle.)
• Montage vidéo sans entraînement : sans entraînement, on manipule les vecteurs latents du modèle de diffusion pendant l’inference afin de guider la génération de la vidéo selon le text prompt souhaité par l’utilisateur.🐬

Du code a été réalisé pour permettre le montage vidéo à partir du modèle WAN2.1-T2V-1.3B, récemment remarqué dans le domaine de la génération vidéo.🔮

• Application à WAN2.1 de méthodes sans entraînement utilisées en image editing.
  • FlowEdit & FlowAlign

Plus loin encore, l’auteur propose une méthode appelée WANAlign2.1🌠.🛠️

• Cette méthode masque uniquement les zones à éditer dans l’attention map, ce qui améliore encore la cohérence avec la vidéo d’entrée.

🌟🌟Servez-vous-en librement, et si cela vous intéresse, n’hésitez pas à mettre une étoile🌟🌟!!