- Modèle multimodal visant à unifier génération, compréhension et prédiction d’actions en apprenant conjointement image, vidéo et audio dans une seule architecture, avec une disponibilité en Early Access à partir de FLUX 3 Video
- Apprend sous forme de contraintes croisées la structure spatiale des images, la dynamique temporelle et physique des vidéos, ainsi que les relations entre événements et sons dans l’audio, tout en étendant les données et les ressources de calcul sur la base de Self-Flow
- Génère en une seule fois jusqu’à 20 secondes de vidéo avec audio natif et, dans les premières évaluations, est préféré jusqu’à 69 % face à Grok Imagine Video, 77 % face à Runway Gen-4.5 et 93 % face à Luma Ray 3.2
- Prend en charge la synthèse et l’édition d’images ainsi que le rendu de texte multilingue, et peut être utilisé comme modèle de comportement robotique en affinant un backbone vidéo préentraîné avec un volume limité de données spécifiques à une tâche
- Prévoit de lancer successivement Video, Image, Action ainsi que FLUX 3 Dev en open weights, avec pour objectif à long terme d’unifier la perception, l’action et la prédiction du langage dans un seul modèle
Un modèle multimodal qui apprend la réalité conjointement
- FLUX 3 considère l’image, la vidéo et l’audio non comme des éléments séparés, mais comme des observations d’une même réalité captées par différents capteurs
- L’image capture la structure spatiale et les relations à un instant donné
- La vidéo restaure la dimension temporelle et révèle le mouvement, la dynamique temporelle et les lois physiques
- L’audio met en évidence des phénomènes mécaniques et des relations causales acoustiques difficiles à percevoir uniquement par la vision
- Le langage relie ces perceptions aux objectifs, aux abstractions et aux instructions
- L’apprentissage conjoint de plusieurs modalités permet d’exploiter des contraintes croisées : les sons doivent correspondre aux collisions, les mouvements doivent respecter la masse et le futur doit découler du passé
- FLUX 3 est le premier modèle construit uniquement sur ces principes, avec l’ambition d’une intelligence visuelle du monde réel capable de percevoir, prédire et agir dans des environnements physiques et numériques
- Les premiers résultats obtenus dans la création de contenu et l’IA physique montrent le potentiel de cette approche
Une architecture unifiée fondée sur Self-Flow
- Self-Flow est une approche qui aligne efficacement génération et compréhension multimodales dans une architecture de base unique
- FLUX 3 s’appuie sur Self-Flow pour étendre fortement les ressources de calcul et de données et apprendre simultanément la vidéo, l’image et l’audio
- Les comparaisons publiées utilisent la distance de Fréchet normalisée à 100 selon le critère Flow Matching pour les erreurs de génération par modalité, ainsi que le taux de réussite de manipulation sur 4 familles de tâches après fine-tuning
Génération vidéo avec audio natif
- FLUX 3 peut produire en une seule génération des vidéos et des audios variés d’une durée maximale de 20 secondes
- Le périmètre pris en charge comprend :
- génération texte-vers-vidéo
- génération image-vers-vidéo en prolongeant une frame initiale ou en utilisant une image comme référence visuelle
- génération vidéo-vers-vidéo pour transférer des éléments clés comme un personnage d’origine vers une nouvelle scène ou un nouveau contexte
- génération continue de vidéo et d’audio à partir d’une vidéo et d’un audio d’entrée
- génération keyframe-vers-vidéo avec contrôle des transitions entre scènes spécifiées
- dialogues multilingues
- styles visuels et formats d’image variés au-delà des formats cinématographiques traditionnels
- chaînage agentique reliant des clips individuels en séquences multi-plans plus longues
- une large gamme de styles, de la vidéo de caméscope à l’animation et au cinéma
- génération typographique et design d’animation
- Toutes les sorties vidéo incluent une génération audio native
Premières évaluations vidéo
- L’évaluation préliminaire a été menée sur des clips texte-vers-vidéo de 10 secondes en 720p avec audio
- Dans les évaluations comparatives, FLUX 3 a été préféré dans les proportions suivantes
- jusqu’à 69 % face à Grok Imagine Video
- 60 % face à Kling v3 Pro
- 59 % face à Happy Horse v1, 57 % face à Happy Horse 1.1
- 52 % face à Seedance 2.0 et Gemini Omni Flash
- 77 % face à Runway Gen-4.5
- 93 % face à Luma Ray 3.2
- Le modèle et son harness étant encore en cours de développement, ces résultats restent préliminaires et doivent encore progresser durant l’Early Access
- Les points actuellement particulièrement forts sont la capture des expressions humaines, le lien entre événements physiques et sons, ainsi que le traitement multilingue
- En utilisant une référence visuelle pour conserver la cohérence d’un personnage à travers une scène, il est possible de combiner plusieurs clips pour créer des séquences de plusieurs minutes
- FLUX 3 Video est disponible en Early Access
Synthèse et édition d’images
- FLUX 3 peut synthétiser et éditer des images dans différents styles, formats d’image et résolutions
- Lors des évaluations préliminaires à un stade intermédiaire de l’entraînement, il montre une nette amélioration par rapport aux versions précédentes de FLUX sur le traitement des prompts complexes et la génération de texte
- Il peut produire divers styles de sortie et rendre du texte dans plusieurs langues avec une grande précision
- Les résultats d’évaluation restent préliminaires et doivent encore être améliorés avant la sortie officielle
- L’Early Access de FLUX 3 Image est prévue dans les prochaines semaines
Prédiction d’actions et apprentissage robotique
- Pour étendre la compréhension du réel à la prédiction d’actions, deux voies sont utilisées
- étendre les premiers travaux de Self-Flow afin d’intégrer nativement la prédiction d’actions dans FLUX 3 lui-même
- utiliser un backbone vidéo préentraîné comme base de compréhension de la dynamique, puis affiner des modèles de comportement spécialisés avec un volume limité de données propres à une tâche
- Avec le partenaire initial mimic robotics, l’entreprise développe FLUX-mimic
- un modèle vidéo-vers-action qui combine le backbone FLUX 3 avec l’expertise de mimic en apprentissage sophistiqué de manipulation robotique et en déploiement en production
- Un billet distinct présente aussi les tests d’une base commune entre IA physique et création de contenu sur de véritables opérations de production chez Audi
Lancement progressif par fonctionnalité
- Chaque fonctionnalité sera proposée au cours des prochaines semaines et des prochains mois via une phase d’Early Access, afin d’assurer un lancement fluide, la collecte de retours et des tests de sécurité rigoureux
- Toutes dérivent du même modèle fondé sur le Flow Matching multimodal
- FLUX 3 Video : génération et édition vidéo/audio via API et accès privé aux weights
- FLUX-mimic·FLUX 3 Action : fourniture de prédiction d’actions à des partenaires de recherche et commerciaux sélectionnés, à commencer par mimic robotics
- FLUX 3 Image : synthèse et édition d’images via API et accès privé aux weights
- FLUX 3 Dev : mise à disposition en open weights du backbone multimodal pour la génération de contenus vidéo, audio, image et la prédiction d’actions
- Des détails techniques supplémentaires sur l’approche de base seront également publiés, et il est possible de demander l’Early Access
Unifier perception, action et langage
- Les applications visées à terme incluent l’édition interactive d’images et de vidéos, la simulation, l’utilisation de l’ordinateur et l’IA physique
- Tout en lançant progressivement les fonctionnalités actuelles, l’entreprise développe déjà la génération suivante de modèles
- L’objectif final est de combiner la perception, l’action et la prédiction du langage dans un unique modèle unifié
1 commentaires
Avis sur Hacker News
J’espère que la version à poids ouverts sera au meilleur niveau de l’état de l’art (SOTA).
Ils disent qu’au cours des prochaines semaines ou des prochains mois, ils proposeront en poids ouverts FLUX 3 Dev, un modèle multimodal de base pour la création de contenu et la prédiction d’actions, et publieront aussi les détails techniques de l’approche sous-jacente.
Si le modèle de base sort en version Dev, il est aussi difficile de comprendre, à partir du billet seul, ce qui en sera absent.
Il y a très peu d’exemples montrant des personnes, le terme modèle du monde est employé avec légèreté, et ils affirment proposer des vidéos de 20 secondes alors qu’en réalité ils ne montrent que des jump cuts.
Au final, l’essentiel se résume à « bientôt disponible ».
Le domaine de l’apprentissage par renforcement a peut-être lui aussi emprunté ce terme aux sciences du comportement, donc autant l’accepter. C’est un peu comme la façon dont philosophes et artistes visuels ont chacun mal utilisé orienté objet.
Les réactions ici sont étonnamment négatives et cyniques, mais à mes yeux les performances de ce modèle sont assez impressionnantes.
On dit aussi que les personnes négatives sont toujours les premières à déverser leur fiel, donc je vais attendre de voir.
J’ai l’impression que l’ambiance sur HN est devenue plus négative ces derniers temps, et j’espère me tromper.
Si l’on dispose d’un environnement d’exécution adapté et que l’on comprend suffisamment le domaine pour repérer quand le modèle part dans un raisonnement erroné ou produit un résultat subtilement faux, je suis plutôt optimiste. En revanche, quand je vois les réseaux sociaux envahis d’images et de vidéos générées par IA absolument atroces, je suis beaucoup plus pessimiste quant aux usages réellement bénéfiques de générateurs d’images et de vidéos entièrement synthétiques. Une fois entre les mains de millions de personnes, ils semblent davantage servir à nuire qu’à aider la société.
Si ce modèle vidéo est d’un niveau comparable à Seedance 2.0, son coût sera trop élevé pour générer du contenu de faible qualité, et il a davantage de chances d’être intégré aux pipelines VFX de projets.
Je me demande s’il existe des acteurs qui entraînent des modèles avec des données tactiles.
Ce que l’on attend le plus des robots, c’est qu’ils touchent des objets, mais on ne leur fournit que de l’audio, de la vidéo et des images ; des modèles qui n’ont jamais rien touché doivent donc apprendre comment établir un contact. C’est peut-être aussi pour cela que les robots semblent hésiter lorsqu’ils touchent des objets.
Flux 2 Dev Klein était, de fait, le meilleur modèle utilisable sur du matériel grand public classique.
J’espère que Flux 3 inclura un modèle à poids ouverts moderne équivalent ; sinon, ce sera une grosse perte pour de nombreux amateurs.
C’est le premier projet d’IA venu d’Europe qui me donne de grandes attentes.
Ils recrutent à Freiburg im Breisgau ; je me demande s’ils parviennent à y attirer les talents localement.
Un ami qui y vit fait du vélo de route dans les montagnes alentour, et un autre fait du ski de fond sur sa pause déjeuner en hiver.
Je ne sais pas ce qu’il en est du vivier de talents, mais il y a une université.
Pour une startup hors de SF, recruter dans une ville universitaire est une approche courante.
Jusqu’à la scène de danse dans la pièce inondée, j’ai cru que c’était une vidéo en prise de vue réelle.
La version 2.3 était excellente, et d’après les vidéos et évaluations publiées par les personnes ayant eu un accès anticipé, ce modèle pourrait devenir le nouveau meilleur choix pour un usage domestique ; je suis donc très impatient.
Si le modèle doit apprendre à représenter le monde et les sons des événements, j’aimerais bien qu’ils injectent, pour le plaisir, une quantité irréaliste de Wilhelm scream dans l’entraînement.