AniSora : modèle open source de génération de vidéos d’animation

• AniSora est un modèle open source de génération de vidéos par IA développé par Bilibili, qui prend en charge divers styles comme l’animation, le manga et les VTubers
• Il permet de générer facilement des vidéos d’animation haute définition abouties à partir d’images ou de prompts textuels
• Grâce à des algorithmes spécialisés pour le manga et l’animation et à de grands jeux de données, il produit des résultats expressifs avec des mouvements réalistes
• Parmi ses points forts figurent une interface intuitive, facile à utiliser même pour les non-spécialistes, ainsi qu’un environnement de collaboration communautaire
• Il convient à de nombreux cas d’usage, comme les épisodes courts, les PV, les VTubers et le concept art

---

Qu’est-ce qu’AniSora ?

• AniSora est le plus puissant modèle open source de génération de vidéos d’animation développé par Bilibili
• En un clic, il permet de produire des vidéos dans des styles variés, comme des séries d’animation, donghua, adaptations de manga, VTubers et PV d’animation
• À partir d’une image ou d’un prompt textuel, il peut transformer une scène statique en animation dynamique et détaillée
• Les recherches à la base d’AniSora s’appuient sur un article scientifique de pointe accepté à l’IJCAI’25

Exemples avec AniSora

• Les vidéos d’exemple générées avec AniSora montrent sa capacité à transformer des images fixes en animations au mouvement naturel
  • Exemples : une scène dans une voiture où les cheveux bougent au vent, plusieurs jeunes filles levant les mains en dansant, ou encore le flou de mouvement d’un personnage courant à grande vitesse
• Le modèle restitue de manière réaliste différents effets de mise en scène essentiels au manga et à l’animation, comme les expressions émotionnelles, la dynamique des mouvements et les transitions de scène

Les principaux atouts d’AniSora

Des algorithmes spécialisés pour les styles animation/manga

• Il utilise une architecture de modèle spécialisée, entraînée sur de grands jeux de données d’animation et de manga
• Il reproduit fidèlement des styles visuels et des mises en scène spécifiques
• Il permet une sortie de haute qualité intégrant les dernières adaptations de manga et les tendances récentes

Une interface intuitive

• Il est conçu pour permettre même aux utilisateurs peu familiers avec la technologie de générer eux-mêmes des vidéos
• En un clic, tout le monde peut facilement découvrir la création de vidéos de manga et de VTuber

Prise en charge de vidéos d’animation de haute qualité

• AniSora propose par défaut une sortie vidéo 1080p haute définition
• Optimisé pour différentes plateformes, il peut être utilisé sur de nombreux canaux comme les projets, les réseaux sociaux et les PV

Résumé de la FAQ AniSora

Qu’est-ce qu’AniSora ?

• AniSora fait partie de Project Index-AniSora et constitue un modèle open source de génération de vidéos d’animation publié par Bilibili
• À partir d’une image ou d’un prompt textuel, il peut produire automatiquement des vidéos haute résolution au style animation
• Il intègre les résultats de recherches récentes mettant l’accent sur la cohérence des mouvements et le pouvoir expressif

En quoi diffère-t-il des autres outils IA de génération vidéo ?

• AniSora se concentre sur des performances spécialisées pour les styles animation et manga
• Grâce à l’expertise de Bilibili et à sa nature de projet open source centré sur la communauté, il est optimisé pour la production de vidéos à usages spécifiques, comme les séries animées, les adaptations de manga et les VTubers

Prise en charge de la vidéo et de l’audio

• Actuellement, AniSora est un modèle centré sur la génération vidéo
• Pour la disponibilité de fonctions supplémentaires comme la synthèse audio, il faut se référer à la documentation la plus récente

Est-il adapté aux créateurs d’animation et de manga ?

• AniSora est optimisé pour la cohérence des personnages et des mouvements expressifs, ce qui en fait un outil idéal pour les créateurs, en particulier dans les domaines de l’animation, des PV, du manga et des VTubers

Principaux cas d’usage

• Il permet un large éventail d’usages, comme les courts-métrages d’animation, les vidéos pour les réseaux sociaux, les PV, l’animation de cases de manga, les VTubers, le concept art et les storyboards

Qualité et durée des vidéos

• AniSora excelle dans la génération de courtes vidéos en haute résolution (1080p)
• En général, le format clip court est le plus adapté, et les contraintes précises peuvent être vérifiées dans la documentation officielle

Contrôle du style et des mouvements

• Les utilisateurs peuvent orienter le style visuel et les mouvements souhaités via des images ou des prompts textuels
• Sur la base de données du domaine de l’animation, il prend en charge des contrôles avancés comme la personnalisation des mouvements, la cohérence des personnages et l’application de styles détaillés
• L’étendue des possibilités peut varier selon la version ou l’interface

Conclusion

• AniSora est un modèle open source de génération vidéo par IA parmi les plus performants, spécialisé dans la création de vidéos d’animation, de manga et de VTubers
• Ses principaux avantages sont sa restitution de style différenciante, son utilisation intuitive et la génération de vidéos en haute qualité
• En mettant l’accent sur la culture open source communautaire et le soutien aux créateurs, il présente une forte valeur d’usage aussi bien dans l’animation japonaise que dans le donghua chinois

[GN⁺]

Avis Hacker News

• J’ai l’impression qu’une partie des résultats porte clairement la trace d’un entraînement sur des webtoons, des mangas, peut-être pixiv, etc. On le voit facilement dans les bâtiments en CGI ou dans divers autres artefacts artificiels. J’en conclus donc qu’ils ont été entraînés sur des contenus sous copyright. Comme l’art n’est pas un domaine qu’on peut générer par synthèse comme le texte, les artistes humains garderont toujours une place importante, sinon on continuera juste à obtenir des artefacts bizarres. Du coup, je me demande si on ne va pas vers un futur où les artistes seront déclassés en une profession au service de l’entraînement de l’"IA". Cela dit, si la structure consistait plutôt à laisser chacun dessiner ce qu’il aime pour l’utiliser ensuite dans l’entraînement des modèles, je ne trouverais pas ça forcément mauvais. Je suis très favorable à l’IA en matière de copyright et de marques, mais je continue de me demander ce qu’il va arriver à beaucoup de gens qui nous divertissaient. Je me demande si la qualité va continuer à monter, ou si, sous prétexte que c’est "trop difficile pour l’IA", les styles ambitieux vont disparaître et que tout va finir par se ressembler. Ce n’est pas le même ressenti que quand les PC et les machines remplacent les humains, on a plutôt l’impression d’être arrivé à une sorte de point final.

  • J’éprouve de la compassion pour les illustrateurs et les artistes. Mais je ne pense pas qu’il y ait une grande différence que les données d’entraînement soient des romans, des dessins, des chansons, du code ou même des documents juridiques. Ma mère aussi est passée de traductrice à l’époque de la machine à écrire à un environnement de corpus et de bases de données de traduction automatique, avec de moins en moins de travail et des salaires en baisse. Au final, les tâches mécaniques et répétitives sont destinées à être prises en charge par des robots moins chers.
  • Point de vue d’un artiste qui dessine depuis plus de 30 ans. L’idée d’être rabaissé à un rôle d’assistant pour l’entraînement de l’IA n’a aucun sens. Les artistes ne dessinent pas uniquement pour gagner de l’argent, beaucoup dessinent aussi pour le "plaisir". Cela me déçoit toujours que, dans les discussions sur l’IA depuis trois ans, cette dimension fondamentale soit complètement absente.
  • Déclasser les artistes en corps de métier pour l’"entraînement de l’IA", ce ne serait pas si grave ? Pour moi, c’est une situation digne d’un roman dystopique. La plupart des artistes détestent l’idée que leur travail serve à nourrir un modèle puis à être dissous en lui. Ce n’est plus de l’art, c’est juste devenir une pièce de machine. L’art, ce n’est pas simplement produire au hasard quelques images. Dans une telle situation, la vraie question de fond est : comment les artistes gagneraient-ils leur vie, qui paierait pour que des gens dessinent "ce qu’ils ont envie de dessiner" afin de l’offrir au modèle, et combien de personnes seraient réellement embauchées pour ça ? Internet déborde déjà d’images ratées, et je suis convaincu que le marché du spam et des arnaques destinés à tromper les gens est déjà plus grand que celui des vrais créateurs. Et ça va empirer.
  • Ce qui me gêne dans les discussions sur l’IA et le copyright, c’est que seules les grandes entreprises en profitent. Dans ChatGPT et ailleurs, les œuvres célèbres sont bloquées automatiquement, mais pas celles des petits artistes. Soit on l’ouvre à tout le monde, soit à personne.
  • Je trouve intéressant que tu défendes les droits d’auteur des artistes tout en étant très favorable à l’IA sur le plan du copyright. C’est un sujet très émotionnel pour beaucoup de monde, donc on voit d’ordinaire surtout des positions extrêmes. Il est rare de voir quelqu’un considérer les deux côtés à la fois. Je serais curieux de connaître ton point de vue sur le rôle du copyright à l’ère de l’IA.

• On arrive peut-être enfin à l’époque où on pourra obtenir cette saison 3 de Haruhi qu’on attendait tous. Franchement, quelle belle époque pour vivre.

  • Reparlons-en dans 5 ou 10 ans. Je n’ai pas l’impression qu’on en soit encore si proche. Mais je suis curieux de voir où tout ça va aller.
  • C’est justement cette série-là qui a été ma première vraie expérience d’anime, si on exclut les films ou DBZ. J’en ai encore des souvenirs très vifs. C’est vraiment dommage que ça se soit arrêté à cause du réalisateur. Si quelqu’un pouvait terminer cette série, ou la relancer pour lui donner une vraie fin, ce serait le plus beau des cadeaux.
  • Ou alors un remake de Neon Genesis Evangelion, ce serait bien aussi.
  • Non... attends, ce n’est toujours pas terminé ? Je suis justement en train de regarder la saison 1 pour la première fois...
  • J’avais complètement oublié cet anime pendant plus de dix ans, et le simple fait d’en réentendre parler m’a donné une énorme vague de nostalgie.

• J’ai testé avec une illustration promotionnelle de <i>Neon Genesis Evangelion</i>. Le résultat est correct, mais il y a des artefacts temporels dans l’animation des cheveux pendant les rotations de tête. Il y a aussi une page de référence avec un recueil d’exemples, etc.

  • Le lien ne fonctionne pas.

• Résumé d’un extrait du papier : "Introduction d’un apprentissage à longueur variable, avec entraînement sur des segments de 2 à 8 secondes. Cette stratégie permet de générer des vidéos 720p d’une durée de 2 à 8 secondes." J’aimerais comparer ça à FramePack avec un benchmark. En pratique, je pense qu’en animation 2d, il y a l’avantage de presque ne pas avoir de contrainte sur la durée d’affichage des frames.

• Si vous vous intéressez aux contenus d’animation IA, je recommande de participer au concours AniGen.

  • La date limite est le 20 mai, donc il faut probablement se dépêcher.

• Je me demande si le modèle peut représenter un même personnage de façon cohérente à travers différentes scènes et différents angles de vue. C’est, à mon avis, la limite des générateurs d’images jusqu’à présent.

• Dès le premier exemple, on voit déjà beaucoup d’erreurs. Les manches de la chemise se déforment, et les cheveux en mouvement disparaissent puis réapparaissent. Au final, en gros, seuls les bras et les nuages bougent.

• Même en changeant de compte et d’entrées, il y a des erreurs bizarres à chaque fois, donc ça ne fonctionne pas correctement.

• Je me demande quel est le statut des droits d’auteur pour les vidéos créées avec ce genre de service. J’aimerais savoir si elles peuvent être protégées par le copyright. À l’heure actuelle, la position du Copyright Office américain est que "les résultats de l’IA générative ne sont protégeables par le copyright que si un auteur humain a suffisamment déterminé (ou injecté) d’éléments créatifs". Si ce n’est pas protégé, alors faire un film ou autre avec ce service créerait aussi un risque de copie ou de plagiat pur et simple. Je laisse de côté, au passage, la question des données sur lesquelles cet outil a été entraîné.

• J’aimerais voir à quel point les scènes de combat de <i>The Beginning After the End</i> changeraient après être passées par cet outil. Plus sérieusement, je me demande vraiment quelle direction on va prendre à l’avenir. Est-ce que les gens toléreront davantage d’erreurs visuelles et d’artefacts si cela permet d’avoir une nouvelle saison de leur franchise préférée, ou est-ce qu’ils le rejetteront comme ils ont rejeté certains usages maladroits de la 3D ?

  • Toei Animation a un plan pour appliquer l’IA dans plusieurs domaines. Par exemple, pour la création de storyboards (génération de layouts simples et d’angles de caméra), l’attribution des couleurs et la correction colorimétrique automatique, l’intervallage (line drawing et génération automatique des plans intermédiaires), ou encore les décors (génération automatique à partir de photos). Le réalisateur restera responsable de la qualité finale, donc je pense qu’on peut obtenir de bons résultats sans artefacts, et les créateurs indé pourront eux aussi produire leurs propres œuvres, même si ce n’est pas parfait, donc j’y vois du positif.
  • En l’absence de véritable nouvelle tentative ou de progrès à ce niveau, est-ce que ça vaut vraiment la peine d’en débattre ? Je l’ai essayé moi-même, et les défauts habituels des IA de génération vidéo sont toujours là. Elles sont particulièrement mauvaises pour gérer les scènes d’action en chaîne ou dynamiques, surtout dans l’animation où il y a beaucoup de séquences d’action. Cet outil ne me satisfait pas non plus, et la plupart des modèles fermés (commerciaux) ne valent pas mieux.
  • J’imagine un futur où l’IA pourrait servir à l’intervallage (douga).