La suite de production média (MPS) de Netflix

• Netflix a développé Media Production Suite (MPS) pour transformer des systèmes de gestion des médias traditionnels, physiques, inefficaces et complexes
• Grâce à des workflows basés sur le cloud, cette solution technologique aide les créateurs à se concentrer davantage sur le travail créatif et permet une collaboration mondiale, de la production à la postproduction

Le problème à résoudre

• Une production Netflix moyenne génère environ 200 To de fichiers caméra originaux (OCF), et certains projets dépassent 700 To (sans compter les fichiers de travail, les VFX, les assets 3D, etc.)
• Traditionnellement, ces médias sont copiés sur des supports de stockage physiques comme des bandes LTO, puis transportés, ce qui rend la recherche, la lecture et le partage difficiles, tout en ralentissant l’accès dans les collaborations mondiales
• Même avec des workflows entièrement numériques, la distribution des médias entre plusieurs départements et prestataires reste difficile, et le manque d’automatisation et de standardisation augmente fortement la dépendance aux tâches manuelles
  • Cela entraîne davantage d’erreurs et de risques de sécurité en postproduction, complique la collaboration et allonge les délais de travail
• La transition vers le cloud est indispensable, mais elle s’accompagne aussi de nouveaux défis :
  • Certaines installations de postproduction dépendent encore de nombreux disques durs externes qu’il faut transporter directement d’un prestataire à l’autre
  • Le besoin d’une solution cloud centralisée devient encore plus pressant
• Netflix estime que « les grandes histoires peuvent venir de partout », mais les infrastructures techniques traditionnelles limitent l’accès aux médias et la mobilisation des talents
  • Les équipes de production doivent pouvoir accéder non seulement à un stockage cloud robuste, mais aussi à des environnements de travail haute performance et à des fonctions de lecture en temps réel
  • Dans certaines régions ou dans des environnements de production à petit budget, l’accès aux technologies les plus récentes reste difficile
• Pour surmonter ces limites, l’industrie s’intéresse de plus en plus à un workflow centré sur le cloud qui ne déplace plus les médias vers les artistes et les applications, mais déplace les personnes et les applications vers les médias
  • Cette tendance est également très visible dans des salons internationaux des technologies broadcast comme l’IBC et le NAB
  • Mettre réellement cette vision en œuvre à l’échelle de Netflix sur des centaines de titres constitue un défi inédit

Les difficultés de construction d’une solution technologique mondiale

• Construire une solution à l’échelle mondiale implique des problèmes complexes :
  • Les environnements de production de films et de séries diffèrent fortement selon les régions en matière d’accès à la technologie, de bonnes pratiques et de niveau de standardisation
  • Certaines régions ont plus de 100 ans d’histoire cinématographique, tandis que d’autres marchés en sont encore à leurs débuts
  • Le défi central consiste à développer une technologie capable de répondre à des marchés aux langues et aux workflows différents
• Les besoins variés des talents et des prestataires dans le monde entier constituent un frein majeur à la standardisation
  • Certaines installations avancées de VFX et de postproduction ont mis en place des scripts d’automatisation internes pour traiter certains formats de fichiers et métadonnées, mais cette personnalisation demande énormément de temps
  • Il existe une résistance à l’adoption de nouveaux workflows, par crainte de perturber les processus existants
  • Même de petits changements peuvent avoir un impact important sur la rentabilité des prestataires ; les technologies proposées doivent donc offrir des bénéfices concrets et clairement identifiables
• Netflix devait pouvoir gérer un grand nombre de titres sans augmenter les effectifs opérationnels, ce qui a fait de l’automatisation un élément indispensable
  • La gestion de la couleur et des images, ainsi que la structuration des fichiers de livraison, doivent être pilotées automatiquement sans intervention utilisateur, en évitant les systèmes où des personnes modifient manuellement des JSON pour faire du mapping
• Pour cela, Netflix adopte activement des technologies fondées sur des standards ouverts :
  • ACES, AMF : automatisation de la pipeline couleur et cohérence
  • ASC MHL : vérification et traçabilité de l’intégrité des fichiers
  • ASC FDL : compatibilité entre workflows grâce à l’intégration des informations de cadrage
  • OTIO : échange d’informations de timeline et de montage
• L’adoption de ces standards permet de normaliser automatiquement dans un format commun des images aux résolutions, formats, optiques et zones de sécurité image différents
  • Auparavant, ce travail était réservé aux productions à gros budget et réalisé manuellement ; avec l’automatisation fondée sur les standards, il est désormais possible d’offrir les mêmes fonctions avancées à tous les utilisateurs
  • Les utilisateurs peuvent piloter des workflows avancés sans avoir à gérer eux-mêmes des réglages complexes

La réponse de Netflix — Media Production Suite (MPS) basée sur Content Hub

• Netflix a conçu MPS (Media Production Suite) avec pour objectif de créer une solution mondiale extensible, utilisable sur différents marchés
• L’outil offre des fonctions puissantes et des options de personnalisation capables de satisfaire les professionnels expérimentés, tout en conservant une interface intuitive et simplifiée accessible aux débutants
• En collaboration avec les équipes internes de Netflix, des prestataires du monde entier et des talents de la production, Netflix a intégré dans Content Hub une boîte à outils qui démocratise l’accès à la technologie
• En s’appuyant sur les économies d’échelle et des ressources abondantes, l’objectif est d’identifier les talents à l’échelle mondiale, de réduire les tâches répétitives non créatives, de combler les écarts entre marchés et de maximiser le temps consacré à la création

Les composants de Media Production Suite

1. L’infrastructure hybride de Netflix

• Elle repose sur une infrastructure hybride combinant des fonctionnalités cloud et une infrastructure physique
• Netflix déploie une infrastructure physique à proximité des principaux lieux de production dans le monde afin d’optimiser les performances pour les utilisateurs
• Elle est connectée à l’infrastructure cloud AWS via Netflix Open Connect (réseau de diffusion de contenu)
• La structure est optimisée pour le traitement de médias caméra et audio à très gros volume
• Pour accélérer les uploads, Netflix met en place des Content Hub Ingest Center à travers le monde
• En centralisant les médias dans le cloud, Netflix supprime la nécessité de transporter des supports physiques et améliore la sécurité ainsi que l’accessibilité

2. Automatisation et ensemble d’outils

• Un vaste ensemble d’outils d’exploitation des médias est proposé au-dessus de cette infrastructure hybride

• Outils principaux :

  • Footage Ingest : application permettant aux utilisateurs d’uploader des fichiers média dans Content Hub
  • Media Library : bibliothèque centrale permettant de rechercher, prévisualiser, partager et télécharger des médias
  • Dailies : workflow de dailies automatisant le contrôle qualité, la synchronisation du son, l’application de la couleur, le rendu et l’envoi à l’équipe de montage
  • Remote Workstations : accès à des workstations et à du stockage pour le montage à distance
  • VFX Pulls : conversion et livraison automatiques aux prestataires VFX des données vidéo, couleur et cadrage
  • Conform Pulls : automatisation de l’intégration, du trimming et de la livraison des OCF pour les finitions de montage
  • Media Downloader : outil qui lance automatiquement le téléchargement une fois les médias uploadés dans le cloud
• Le niveau de maturité de chaque outil varie encore, mais plus de 350 titres dans le monde utilisent déjà au moins une de ces fonctionnalités
• Les utilisateurs sont répartis dans les régions UCAN (États-Unis/Canada), EMEA (Europe/Moyen-Orient/Afrique), SEA (Asie du Sud-Est), LATAM (Amérique latine) et APAC (Asie-Pacifique)

Étude de cas : la série brésilienne Senna — l’évolution façonnée par une adoption précoce et les retours sur MPS

• La série brésilienne « Senna », consacrée à la vie du légendaire pilote de F1 Ayrton Senna, est un exemple d’adoption précoce de MPS (Media Production Suite) dans un environnement de coproduction internationale
• La série a été tournée en Argentine, en Uruguay, au Brésil et au Royaume-Uni ; l’équipe de montage était répartie entre Porto Alegre au Brésil et l’Espagne, tandis que les studios VFX collaboraient depuis le Brésil, le Canada, les États-Unis et l’Inde
• Scanline VFX a supervisé l’ensemble de la production VFX, et MPS a servi de plateforme centrale pour unifier cet environnement de production mondial

• Le début d’une production basée sur le cloud

  • Le point clé de l’adoption de MPS est l’upload dans le cloud des fichiers caméra originaux (OCF) et des fichiers son (OSF), ce qui élimine totalement le transport de supports physiques (bandes LTO, disques durs externes, etc.)
  • Le superviseur de postproduction Gabriel Queiroz a déclaré que « déplacer physiquement tous ces médias prend beaucoup trop de temps et est très inefficace »
  • En pratique, Senna figure parmi les premiers projets produits sans bandes LTO, ce qui représente une avancée majeure en matière d’efficacité, de rapidité et de sécurité

• Un workflow cloud automatisé qui commence avec Footage Ingest

  • Après connexion des disques, l’application Footage Ingest de Netflix effectue automatiquement la vérification et l’extraction des métadonnées, le contrôle des checksums, la création de proxies et même une sauvegarde secondaire
  • Auparavant, il fallait appeler directement les prestataires à chaque étape pour demander où en était le traitement ; désormais, tout peut être suivi en temps réel depuis le dashboard de Content Hub

• VFX Pulls : distribution automatisée des données d’effets visuels

  • Senna comporte un grand volume d’images et de très nombreux plans VFX, ce qui rend la fonction VFX Pulls essentielle
  • Dans un workflow traditionnel, il aurait fallu échanger les données avec chaque prestataire dans des formats et selon des méthodes de transfert différents
  • Avec MPS, l’assistant monteur upload un EDL, puis le système effectue automatiquement le transcodage, l’organisation des fichiers couleur et le stockage dans des Workspaces de type Google Drive
  • Tous les prestataires effectuent ainsi les opérations d’I/O de la même manière, ce qui améliore la compatibilité et l’efficacité entre production, montage et étalonnage

• Conform Pulls et support de la finalisation du montage

  • Lors de l’étape finale du montage, l’installation DI Quanta a utilisé le service Conform Pull de MPS pour automatiser l’upload des EDL, le contrôle qualité, le trimming des médias et le packaging
  • Initialement en bêta, la solution permet désormais, grâce aux retours de projets comme Senna, un matching flexible (fuzzy matching) entre EDL et OCF
  • À l’avenir, Netflix prévoit aussi un perceptual conform fondé sur la computer vision, qui ira au-delà des métadonnées pour reconnaître directement l’image elle-même

Senna a constitué un tournant important dans l’évolution de MPS et démontre concrètement que la collaboration basée sur le cloud peut produire des résultats tangibles dans l’environnement de production mondial de Netflix

Conclusion

• Media Production Suite (MPS) représente une avancée majeure qui transforme en profondeur la manière dont Netflix produit ses contenus
• En adoptant activement des standards ouverts, Netflix met en place une solution capable de répondre à la fois aux exigences économiques et à l’accessibilité technologique à l’échelle mondiale
• En éliminant les tâches répétitives et non créatives, MPS crée un environnement où les équipes de production peuvent se concentrer davantage sur le storytelling créatif
• Grâce à des workflows cloud et à une infrastructure de collaboration mondiale, cette approche va au-delà des gains d’efficacité et améliore aussi la qualité des contenus
• À l’avenir, Netflix continuera de miser sur l’innovation continue et le perfectionnement des processus afin de libérer le potentiel des talents créatifs du monde entier
• MPS constitue une base essentielle pour la production de contenus de demain, et Netflix mène cette transformation vers une industrie plus connectée et plus créative

[GN⁺]

Commentaire Hacker News

• En lisant cet article, je me suis demandé comment l’UI se comparerait aux outils que j’utilise actuellement

  • Mes besoins en vidéo ne sont pas énormes, donc je me suis demandé s’il y avait une version gratuite

• Ce n’est qu’après avoir lu l’article jusqu’au bout que j’ai compris que ce texte n’était pas « profitez de l’outil que nous avons créé », mais plutôt « regardez à quel point nous sommes formidables »

• Je lisais à propos du tournage de Collateral. C’était l’un des premiers films à gros budget tournés en numérique

  • En 2004, il y avait des problèmes de capacité de stockage pour la vidéo numérique, ainsi que le risque de ne pas pouvoir récupérer les images depuis le stockage de données
  • « Nous avons fait des tests à grande échelle avec des disques durs, et tout semblait bien se passer, mais une fois le tournage terminé et les données envoyées, il était impossible de récupérer les informations depuis les disques durs », a déclaré Cameron
  • Le compromis a été d’enregistrer à la fois sur disques durs et sur bandes SRW. Contrairement à aujourd’hui, la vérification des images numériques était fastidieuse et source de tension
  • « Nous enregistrions tout deux ou trois fois », a déclaré Beebe

• L’automatisation est devenue indispensable. La complexité de la gestion des couleurs, du cadrage et des livrables exige que les utilisateurs puissent tout contrôler et gérer de manière fluide, sans intervention manuelle

  • J’avais tendance à critiquer le manque de diversité visuelle de Netflix. C’est un reproche typique souvent formulé par les cinéphiles
  • Je n’avais pas envisagé que cela puisse venir de l’échelle à laquelle opère Netflix. Cela peut être un choix opérationnel
  • Ce système semble extrêmement complexe et ingénieux. Appliquer une approche fortement verticale aux aspects créatifs de la production cinéma et TV pourrait toutefois s’avérer myope à long terme

• Il y a 15 ans, la première startup où j’ai travaillé fournissait une API de streaming musical en Inde

  • Le fondateur qui gérait l’infrastructure était aux États-Unis, et les serveurs étaient à Los Angeles
  • Ce qui était amusant, c’est qu’il coûtait moins cher et que c’était plus rapide de prendre l’avion pour l’Inde, d’y acheter un disque dur portable, d’y uploader les médias, puis de revenir aux États-Unis pour transférer les données sur le serveur de fichiers
  • Cela ne concernait que des données de l’ordre du téraoctet. J’ai vu la même chose plus tard avec AWS Snowball et Snowmobile

• Je me demande comment ils peuvent traiter cela via le réseau avec les tailles d’actifs qu’ils évoquent (des centaines de téraoctets)

  • Même avec une connexion à 1 Gbit/s, il faut environ 10 jours pour uploader 100 To de fichiers caméra bruts. Et il peut y en avoir plusieurs

• Davantage d’informations sur la configuration des stations de travail distantes de Netflix pour les artistes

• On dirait que cela pourrait évoluer vers une plateforme de type AWS. Cela démocratiserait l’accès aux technologies de pointe et résoudrait efficacement le problème des outils

  • Mais cela ne résoudrait toujours pas le vrai goulet d’étranglement : raconter des histoires intéressantes

• Je me demande ce qui fait une bonne histoire

• La partie la plus frappante, pour moi, est que les tâches encore largement manuelles et sujettes aux erreurs restent courantes dans l’industrie

  • Je me demande dans quelle mesure cette solution est portable en dehors de Netflix. Cela ressemble à une solution très fortement intégrée verticalement

• Je me demande quels langages sont utilisés. Les captures d’écran de l’application desktop ont l’air natives