Meta Movie Gen - une nouvelle référence pour les contenus IA immersifs

• Meta Movie Gen est une recherche sur un modèle média d’IA capable, à partir d’une simple entrée textuelle, de gérer en un seul endroit la génération de vidéo et de son, le montage de vidéos existantes, et la création de vidéos à partir d’images personnelles
• La génération vidéo prend en charge des résultats longue durée en haute qualité et divers formats d’image, que Meta présente comme une première dans le secteur
• Sur des vidéos existantes, il est possible d’appliquer par texte des changements de style, des transitions et un montage de précision, par exemple transformer une lanterne en bulles de savon flottant dans les airs
• En combinant photo et texte, on peut créer des vidéos personnalisées qui préservent l’identité et les mouvements d’une personne, avec des exemples comme un laboratoire, un selfie, un western ou une scène de DJ
• Il est aussi possible de générer ou d’étendre des effets sonores, une musique de fond et jusqu’à la bande-son complète, ce qui prolonge le flux de production vidéo de la génération visuelle à la composition audio

---

Les tâches couvertes par Movie Gen

• Meta Movie Gen est un modèle de fondation média IA présenté comme le dernier résultat de recherche de Meta
• Il traite plusieurs tâches de production à partir d’un seul flux d’entrée textuelle
  • génération vidéo personnalisée
  • génération sonore
  • montage de vidéos existantes
  • transformation d’images personnelles en vidéos uniques
• Meta présente Movie Gen comme une nouvelle référence pour les contenus IA immersifs

Génération vidéo à partir de texte

• Movie Gen génère, à partir de texte, de longues vidéos haute qualité dans différents formats d’image
• Meta affirme qu’il s’agit d’une première dans le secteur
• Le prompt peut spécifier à la fois la scène, le sujet, l’action, l’arrière-plan et les conditions d’éclairage
  • un paresseux portant des lunettes de soleil roses, allongé sur une bouée en forme de donut et tenant une boisson tropicale
  • un homme tenant des outils pyrotechniques dans les deux mains et dessinant des mouvements circulaires au bord de la mer
  • un koala faisant du surf en s’agrippant à une planche jaune
  • un fantôme en drap blanc dansant devant un miroir poussiéreux dans un grenier
  • un macaque au visage rouge jouant avec un petit voilier dans une source chaude

Modifier une vidéo existante par texte

• Movie Gen prend en charge le montage de précision de vidéos existantes à partir d’une entrée textuelle
• Le champ d’application va des changements de style aux transitions, jusqu’aux retouches fines
• L’exemple montre une transformation où une lanterne devient des bulles de savon flottant dans les airs

Des vidéos personnalisées à partir d’images personnelles

• Si l’utilisateur téléverse sa photo et saisit un texte simple, Movie Gen génère une vidéo personnalisée
• Le résultat est conçu pour préserver l’identité et les mouvements de la personne
• Les scènes d’exemple couvrent plusieurs environnements et actions
  • un homme faisant des expériences dans un laboratoire aux murs tapissés d’un motif arc-en-ciel
  • une femme peignant sur une toile posée sur un chevalet dans une pièce lambrissée
  • un homme et un chien beagle prenant un selfie sur le patio d’un jardin
  • un homme dans le désert, portant un chapeau à larges bords et un manteau marron, tenant une tasse de thé
  • une cow-girl sur un cheval blanc dans une vieille ville de l’Ouest
  • une femme DJ et un guépard passant des disques sur un rooftop à Los Angeles

Génération de son adapté à la vidéo

• Movie Gen peut, à partir de texte, créer ou étendre des effets sonores, une musique de fond et une bande-son complète
• Le son généré est conçu pour refléter le ton, le rythme et le style de la vidéo
• Les exemples d’entrée spécifient à la fois des sons précis et une ambiance musicale
  • une scène où la pluie tombe à verse sur une falaise et sur des personnes, avec une musique de fond
  • le bruissement des feuilles, le craquement de branches et une musique orchestrale
  • une scène où un moteur d’ATV rugit en accélérant, accompagné de guitare
  • le roulement des roues d’un skateboard et le bruit d’impact sur le béton à l’atterrissage
  • un morceau orchestral inspirant l’émerveillement
  • après un sifflement, une explosion sèche et un grand bruit de crackling

Collaboration avec les créateurs et l’industrie du divertissement

• Meta collabore avec la société de production primée Blumhouse via le Creative Industry Feedback Program
• Blumhouse a sélectionné des cinéastes qui réaliseront des vidéos avant les débuts publics de Movie Gen
• Les créateurs ont été invités à produire des résultats qu’ils jugeaient intéressants ou utiles à l’aide de cet ensemble d’outils média IA
• Le titre de la vidéo du réalisateur Aneesh Chaganty est "i h8 ai"

Exemples publics et ressources de référence

• Meta affirme que les créateurs transforment déjà le storytelling avec Movie Gen
• Les exemples Instagram incluent les comptes et prompts suivants
  • @paigepiskin : une main tenant une tarentule au visage de chat duveteux, et un montage transformant un chien en bébé dragon gris
  • @ka5sh : un alien de cartoon vert portant de grandes chaussures de clown roses, et un montage transformant une personne en alien vert avec un bob rouge
  • @girls : une fille marchant sur une allée bordée d’arbres en automne, et deux femmes buvant du café devant un mur décoré pour Halloween
  • @memezar : un match de boxe entre un bébé hippopotame et un gorille musclé
  • @ravivora : ajout d’un épais brouillard au premier plan, et une femme remontant à la surface entourée de méduses
• Une ressource complémentaire est fournie avec l’article de recherche sur Movie Gen, où Meta affirme avoir établi un nouveau benchmark dans la génération média par IA
• Sont également liés les billets de blog sur la collaboration avec l’industrie du divertissement et les créateurs et sur l’ère de la création de contenu alimentée par l’IA