Ils veulent nous faire oublier à quoi ressemble le cinéma
(aftermath.site)- Le transfert 4K de True Lies ressemble à une vieille vidéo mise à l’échelle par IA sur YouTube, avec une image baveuse et des textures exagérées ; des traces d’un traitement similaire ont aussi été relevées sur Aliens, The Abyss et Titanic
- Le travail aurait été confié à Park Road Post, filiale de WingNut Films de Peter Jackson, qui avait déjà largement recours à une restauration fondée sur le machine learning sur They Shall Not Grow Old et The Beatles: Get Back
- True Lies aurait pourtant bénéficié récemment d’un scan 4K à partir du négatif caméra original, ce qui laisse ouverte la question de la nécessité d’un traitement par IA
- La critique vise moins la technologie elle-même que des sources inadaptées et des corrections automatiques : lorsqu’elles remplacent un vrai travail de capture, de désentrelacement et d’archivage, la qualité de l’image peut s’effondrer
- Une réduction de bruit excessive et la suppression du grain argentique risquent d’aligner les films sur un standard de netteté numérique, au point que le public en oublie la texture originale de la pellicule
Le problème soulevé par le transfert 4K de True Lies
- Les vidéos YouTube qui prennent de vieilles images pour les upscaler par IA, les coloriser ou interpoler en 60 fps paraissent souvent baveuses, avec des couleurs exagérées
- Le dernier transfert de True Lies est critiqué pour une texture proche de ce type de vidéos
- Dans les scènes en mouvement, cela peut paraître acceptable pendant un instant
- Mais des détails comme les rides de la peau, une photo d’enfant, les bords d’un dossier ou une joue semblent artificiels
- Les surfaces paraissent à la fois trop lisses et trop acérées, avec une impression d’image générée par IA dont les contours ne coïncident pas
- Les transferts de Aliens et The Abyss sont jugés moins sévères que celui de True Lies, mais on leur reproche aussi une peau stérile, cireuse, et un grain argentique trop effacé
- Le transfert récent de Titanic a lui aussi reçu un traitement comparable, avec des réactions en ligne partagées
Park Road Post dans la continuité des restaurations à la Peter Jackson
- Cette restauration aurait été prise en charge par Park Road Post, filiale de WingNut Films de Peter Jackson
- Dans ce contexte, They Shall Not Grow Old et The Beatles: Get Back sont souvent cités comme précédents importants
- They Shall Not Grow Old cherchait à upscaler et coloriser des images de la Première Guerre mondiale pour leur donner un contexte visuel plus contemporain
- The Beatles: Get Back montre le processus de composition des Beatles à partir des images de Let It Be tournées par Michael Lindsay-Hogg et de séquences inédites
- Ces deux œuvres ont recontextualisé des images existantes en recourant agressivement au machine learning
Une texture étrange produite par les effets de restauration
- Dans They Shall Not Grow Old, les mouvements interpolés des soldats ont été décrits comme fondants et instables
- La réduction de bruit numérique n’est pas homogène : à certains endroits, le grain reste ; à d’autres, il disparaît
- Le grain sur les visages des soldats donne parfois l’impression d’écailles reptiliennes qui s’y accrochent
- The Beatles: Get Back présente des problèmes comparables, quoique moins marqués
- Les cheveux et les manteaux de fourrure paraissent simultanément brillants et gras
- Les rides de la peau et des vêtements ont un poids peu naturel
- Les bords des objets semblent s’agripper les uns aux autres ou se dissoudre
- La structure du grain paraît plus naturelle que dans They Shall Not Grow Old, mais donne l’impression d’avoir été artificiellement rajoutée sur une image fortement débruitée
- Get Back a pourtant connu un grand succès, notamment parce qu’il n’existait jusque-là de Let It Be qu’une version DVD de mauvaise qualité, et parce que les 60 heures d’images inédites ont joué un rôle décisif
Le problème n’est pas la technologie, mais la manière de l’appliquer
- Il ne s’agit pas de dire que les technologies vidéo fondées sur le machine learning sont inutiles par principe
- DLSS de Nvidia et les technologies concurrentes fonctionnent généralement bien dans les jeux sur lesquels elles ont été entraînées
- Pour de rares besoins d’interpolation, Flowframes est utilisé
- Pour corriger des images fixes de mauvaise qualité, il existe une expérience d’usage de waifu2x et de chainner
- Il existe aussi une base de données de modèles d’upscaling par IA
- Le problème apparaît quand ces technologies remplacent un travail d’ingest correct
- « Crap in, crap out » reste vrai
- Capturer des VHS et des Laserdisc dans la meilleure qualité possible demande une vraie maîtrise de la capture et du désentrelacement
- Selon cette perspective, l’attitude consistant à dire « Just use Topaz » sans connaître le travail vidéo mène presque toujours à de mauvais résultats
Le conflit entre bon archivage et traitement par IA
- Une image correctement transférée peut être d’une beauté saisissante
- De bonnes pratiques d’archivage exigent énormément de savoir organisationnel et de travail ; lorsqu’elles sont bien menées, elles relèvent presque d’un art
- Une grande partie des usages modernes de l’IA va au contraire dans le sens d’une réduction du travail
- Au lieu de transférer correctement une bande, on peut laisser un ordinateur faire de mauvaises suppositions
- Même avec de mauvaises sources, le mauvais résultat ne se voit pas toujours immédiatement comme tel
True Lies avait-il besoin d’un traitement par IA ?
- True Lies n’aurait pas eu besoin de passer par un traitement IA
- D’après The Digital Bits, Park Road Post disposait d’un scan 4K récent issu du négatif caméra original
- Le site de Park Road Post indique aussi que l’entreprise possède un scanner pellicule Lasergraphics Director 10K
- Dans ces conditions, on peut se demander à quoi servait l’ajout d’IA sur une pellicule qui semblait en bon état
La préservation du cinéma ne se résume pas à l’approbation du réalisateur
- Les débats sur les forums Blu-ray ont tendance à s’enflammer, mais dans certains cas un réalisateur peut se tromper sur l’apparence de son propre film
- George Lucas est cité comme exemple représentatif, et James Cameron ne serait pas non plus étranger à ce type de traitement de ses films
- Wong Kar-wai est également mentionné comme cas problématique à propos de remasters récents comme Ashes of Time et In The Mood For Love
- Cameron aurait personnellement approuvé ces remasters
- Dans des conditions aussi particulières, il faut se demander si le réalisateur défend réellement l’intérêt supérieur de son film
Quand la netteté numérique devient l’étalon du film
- Le plus dérangeant, c’est que beaucoup de gens pourraient trouver ce résultat plutôt réussi
- Certains spectateurs sont critiqués pour leur préférence envers des images trop lisses, rapides, à haut framerate, et comme excessivement récurées
- Les caméras de smartphone ne se contentent plus de capturer une image : elles la calculent et l’optimisent
- Le cinéma numérique n’est plus seulement cristallin et sans vie ; les images du passé aussi sont ramenées à ce standard via la réduction de bruit et la gestion du grain
- Si les gens ne se souviennent plus de ce à quoi la pellicule est censée ressembler, cela peut devenir une situation pratique et rentable
Pour que la préservation ne devienne pas une destruction
- Il ne s’agit pas d’affirmer que les personnes impliquées dans la préservation des films cherchent à détruire la pellicule
- Il est possible qu’elles aient travaillé dur et pensé agir dans l’intérêt du film
- Mais la nature d’une restauration peut varier considérablement, et certaines entreprises peuvent être tellement fascinées par de nouvelles technologies qu’elles produisent un travail destructeur plutôt que restaurateur
- Aucune solution évidente ne se dégage, sinon celle de séparer autant que possible la préservation du cinéma des incitations au profit
- Autrefois, de nombreux jeux cherchaient à ressembler à Aliens ; aujourd’hui, c’est Aliens qui ressemble à un jeu vidéo, et ce renversement reste profondément dérangeant
1 commentaires
Commentaires sur Hacker News
Je ne suis pas un spécialiste du cinéma, mais je pensais avoir un certain goût, et les récents projets Beatles m’ont fait pleurer plus d’une fois
Chacun a le droit de jouer à l’élitiste sur son blog cinéma, mais le fait de ne pas avoir inclus ne serait-ce qu’une image comparative de la sortie originale, empêchant les lecteurs de juger par eux-mêmes en A/B, affaiblit fortement l’argumentation de l’article
Je ne partage pas la haine envers les vieux courts métrages upscalés et colorisés, au contraire je les aime vraiment beaucoup. Dans ma famille, regarder ces clips est presque devenu une tradition de Noël, et personnellement mon préféré est https://www.youtube.com/watch?v=EQs5VxNPhzk
Je me suis tout de suite dit : « Oui, on dirait vraiment un personnage de Pixar », et j’ai réalisé que j’avais largement oublié à quoi le film ressemblait à l’origine. Je ne trouve pas ce point de vue excessivement alarmiste
C’est comme choisir de lire une version résumée par GTP puis regonflée à sa longueur d’origine alors qu’on pourrait lire le texte original tel quel. On peut se demander ce qu’on gagne, ce qu’on perd, et pourquoi il faudrait citer une version transformée par GTP plutôt que les mots d’origine
On est plus proche de « l’IMAX des années 1890 » : https://www.youtube.com/watch?v=2Ud1aZFE0fU
The Matrix aussi a été massacré par un étalonnage absurdement mauvais sur son transfert 4K
Cet article mélange au moins trois techniques, alors qu’elles ne sont pas toutes utilisées sur toutes les vidéos
They Shall Not Grow Old a aussi appliqué de la colorisation et une correction temporelle. Les images d’il y a 100 ans étaient filmées à la manivelle, donc le nombre d’images par seconde variait fortement, et les scènes de marche en particulier ont facilement l’air étranges par rapport à une vidéo moderne
On ne peut faire confiance ni aux détenteurs de propriété intellectuelle, ni aux grands studios, ni aux services de streaming, ni pour la disponibilité ni pour l’exactitude
True Lies et Titanic, cités dans l’article, ont probablement aussi été traités à l’époque par Digital Domain, et dans les années 90 à 2000, même si les prises de vues sur pellicule pouvaient théoriquement être en haute résolution une fois scannées, il est très probable que les effets visuels, eux, aient été rendus et livrés à l’origine en 2K
Par conséquent, lorsqu’une sortie 4K était « exigée », un upscaling était presque inévitable à moins que le prestataire VFX d’origine ne refasse le rendu et la composition en 4K. J’ai entendu parler de cas comme les ressorties de Star Wars ou certains travaux de Pixar, mais ce n’était pas courant
Ensuite, la restauration relie l’écart entre 1914 et 2014. Les vieux films en noir et blanc paraissent facilement artificiels et lointains, alors que la version colorisée et interpolée permet de ressentir les soldats comme des êtres de chair et de sang. Le message « cela pourrait aussi vous arriver » aurait été beaucoup plus difficile à transmettre avec les seules images originales
De nos jours, la réduction de bruit et l’upscaling sont tous deux traités par l’IA, souvent à la même étape
Il n’y a aucune raison pour que True Lies ne puisse pas supporter un transfert 4K. Comme l’a montré Criterion, même des copies 35 mm des années 50 et 60 peuvent constituer une excellente base pour du HD/4K
Il s’agit d’un montage subjectif qui modifie la substance de l’œuvre, dans une tentative de la rendre plus conforme au regard du public contemporain
J’ai l’impression que ce texte s’adresse presque uniquement aux cinéphiles. Il aurait dû commencer par une vidéo comparative montrant précisément ce que l’auteur considère comme le problème
À part la scène du dossier, j’avais du mal à comprendre de quoi il parlait en ne voyant que des captures d’écran réduites. Ce n’est qu’après avoir vu la vidéo de Beatles Now and Then [1] que j’ai compris qu’une fois le mouvement ajouté, le rendu paraît bien moins naturel et que le mauvais éclairage comme la texture cireuse ressortent beaucoup plus
[1] https://www.youtube.com/watch?v=Opxhh9Oh3rg
Tout commence à donner l’impression d’avoir été imaginé plutôt que réellement filmé, recouvert d’artéfacts artificiels qui font ressembler les personnages à des extraterrestres imitant des humains. Il m’arrive même d’avoir un rejet instinctif, presque nauséeux, face à certains visages inquiétants
Les exemples me semblaient assez flagrants, donc je suis surpris que les gens veuillent une comparaison côte à côte, mais c’est intéressant de voir à quel point la perception d’une image varie selon les personnes
Avec mes options VPN habituelles, je n’arrive pas à éviter le message « The uploader has not made this video available in your country »
Imagine there’s no countries....
Je vois cela non pas comme une simple question de « goût », mais sous l’angle de la pureté et de l’authenticité
Les techniques comme l’upscaling par IA, la colorisation ou l’interpolation ajoutent toutes des informations qui n’existaient pas à l’origine. À partir de ce moment-là, on ne regarde plus vraiment le média authentique
Rescanner le film original à la meilleure résolution possible pour capturer au maximum les informations déjà présentes dans la pellicule, très bien ; mais ajouter des informations qui n’ont jamais existé, c’est franchir une limite
C’est comme l’horrible fonction de « motion smoothing » des téléviseurs modernes. Elle est activée par défaut, donne aux films un aspect de feuilleton télévisé, et l’interpolation d’images ajoute des informations qui n’étaient pas là à l’origine et que le réalisateur n’avait jamais voulues
Si un document antique ne mentionne pas la couleur des vêtements de l’empereur, nous n’« interpolons » pas la couleur que nous imaginons dans une nouvelle édition. Ce serait universellement considéré comme une altération du texte ; pourtant, quand des coloristes font la même chose sur des photos sans couleur, ils pensent contribuer au monde
Si les médias historiques sont intéressants et précieux, c’est au fond parce qu’ils transmettent des informations sur leur époque. C’est pourquoi les versions trop restaurées n’ont aucun intérêt. Elles sont trop contaminées par des informations mensongères ou mal étayées
Le temps les altère déjà suffisamment ; nous n’avons pas besoin d’en rajouter. C’est la version moderne de l’ornementation et de l’exagération historiques : on tord la réalité pour en faire une demi-vérité plus agréable à regarder et plus séduisante, au lieu de montrer la vérité réelle, plus laide
Ces outils ressemblent davantage à des outils d’ornement qu’à des outils de restauration. Une bonne restauration « restaure » réellement de l’information. Si un vieux manuscrit a des pages manquantes ou des erreurs, on le complète avec le même passage provenant d’un autre manuscrit ; de la même manière, les défauts d’une image de film devraient être comblés avec la même image provenant d’une autre copie
Un film tourné dans les années 1990 n’a pas besoin d’avoir l’air d’avoir été fait dans les années 2020. De même qu’un tableau de Rembrandt n’a pas besoin d’avoir l’air d’avoir été peint avec Photoshop
Le point commun essentiel entre l’upscaling par IA, les images générées et les exemples cités dans l’article, c’est un fort processus de réduction du bruit numérique. Dans les discussions vidéo, on appelle souvent cela DNR, et c’est aussi pour cela que la tristement célèbre version 4K de Terminator 2 a cet aspect cireux
Dans le cas de T2, cela reposait au moins sur la version 3D, et ce type de réduction du bruit était nécessaire pour le traitement stéréoscopique
Les disques Ultra HD 4K Blu-ray existent en trois capacités, BD-50, BD-66 et BD-100, et d’après mon impression les deux dernières sont plus courantes. Les sorties dont la durée n’est pas trop longue sont parfois encodées pour tenir sur des disques moins chers et de plus faible capacité
Il faut aussi garder à l’esprit que l’encodage numérique pour le streaming et la diffusion en ligne optimise toujours la taille des fichiers. Selon une comparaison sur le forum Blu-Ray.com, le débit maximal d’iTunes, parmi les plus élevés, tournait autour de 31 Mbps, ce qui reste au niveau d’un Blu-ray 1080p. En comparaison, un Ultra HD Blu-ray peut monter jusqu’à 90 Mbps
Ironiquement, quand un film comme Blade Runner: Final Cut sort avec son grain d’origine bien visible, j’ai aussi vu des réactions de proches disant qu’il y avait trop de grain
Je pense aussi que le fait que les smartphones réduisent automatiquement le bruit sur les photos depuis des années a atténué la réaction négative des non-passionnés
L’AV1 utilisé pour le streaming peut être plus efficace que le H.265 courant sur les disques UHD, mais pas au point de combler un tel écart de bande passante
Il vaut la peine de noter qu’une fois de plus, l’industrie est en retard sur les pirates
Le warping sharpening et le filtrage étaient à la mode il y a plus de dix ans, à une époque où les grands écrans haute résolution arrivaient mais où le nouveau contenu manquait ; cette mode est passée depuis longtemps. Avec le temps, les modérateurs en sont venus à conclure qu’il fallait bloquer ce genre de saletés
La réponse est simple. Quelle que soit la manière d’afficher une image, c’est une décision artistique sur « ce à quoi cela doit ressembler ». Chaque fois qu’on met une image à l’écran, on fait des choix, et les décisions artistiques demandent du goût. Beaucoup de gens n’en ont pas
Des gens ordinaires qui avaient mis la main sur un jouet amusant ont probablement trouvé qu’un rip excessivement filtré avait l’air vraiment génial, sans comprendre ce qui avait disparu. Il est possible que les gens qui, sur cette page, demandent des comparaisons sans comprendre pourquoi une image ne devrait pas donner l’impression que les objets ont été aplatis au rouleau compresseur puis recouverts d’un embossage plastique sur les contours ne voient réellement pas la différence
Le business sait très bien que le « goût », l’« art » et la « qualité » n’ont pas d’importance. Ce qui compte, c’est l’intérêt pour le produit, et tant que ça se vend, tout va bien
Le secret, c’est que beaucoup de gens sont tout aussi satisfaits en regardant un contenu qui entasse 8 camrips sur un seul DVD. Même chose pour les pubs de sites de streaming atroces, ou pour du « FullHD » avec un bitrate presque au niveau du modem RTC
Mais il y a un intérêt à leur faire acheter des téléviseurs 4K, 8K, 3D, HDR, à leur faire courir après des sorties « plus récentes et meilleures », et à s’abonner à des services de streaming « plus récents et meilleurs ». Le lavage de cerveau autour de la « nouvelle technologie » leur donne l’impression d’avoir accédé à une richesse immense. Leur dire que c’est en réalité médiocre, ce n’est pas seulement attaquer une certaine idée de la qualité, c’est aussi toucher à leurs choix de vie et à leurs croyances
Au point de me dire que j’aimerais presque encore avoir l’ancien coffret VHS
Regarder des vidéos upscalées comme une sorte d’expérience de pensée pour imaginer à quoi ressemblait la vie à une autre époque peut être amusant, et je ne pense pas que cela nuise beaucoup à la valeur du film original
Et They Shall Not Grow Old a été réalisé en 2018, avant le récent boom de l’IA. C’était déjà un film expérimental et ambitieux à l’époque, et aujourd’hui on pourrait sans doute faire bien mieux
Cela dit, j’aimerais aussi voir une version colorisée et rendue plus nette par l’IA
Les images d’origine donnent l’impression que ces gens appartiennent à un monde totalement différent, comme des personnages étranges et presque grotesques
Les nouvelles vidéos générées par IA me donnent l’impression qu’ils étaient émotionnellement des êtres humains comme moi, et c’est bien plus proche de la vérité
Si le matériau est assez populaire, on pourrait entrer dans une époque où, tous les 4 à 6 ans, on refait l’upscaling et la restauration pour ressortir l’œuvre à mesure que la technologie progresse
Si l’on veut être cynique, les détenteurs de propriété intellectuelle chercheront à soutirer davantage d’argent aux propriétaires à chaque grand saut technologique. Si l’on veut être optimiste, on pourrait commencer à voir les films et séries populaires comme des œuvres persistantes qui s’améliorent avec le temps. Pour prendre une analogie logicielle, nous sommes globalement d’accord sur le fait qu’un logiciel n’est jamais vraiment « terminé », et c’est souvent une bonne chose
C’est vraiment affreux, et du point de vue de quelqu’un qui a déjà dû racheter plusieurs fois des rééditions UHD Blu-ray rescannées après les versions basse résolution, c’est presque impossible à accepter de manière générale
« Le résultat, quand on finit enfin par voir une image correctement transférée, peut être à couper le souffle. Un bon travail d’archives demande énormément de savoir organisationnel et de travail humain. Quand c’est bien fait, c’est un art, et les personnes qui font ce métier y sont profondément attachées. Mais une grande partie de l’usage moderne de l’IA consiste précisément à retirer ce travail de l’équation »
Je rippe des supports physiques vers une bibliothèque numérique, et dès qu’on manipule un transfert de film, on s’en rend immédiatement compte, parce que la compression se dégrade
Le grain et le bruit inhérents à la pellicule se compressent mal. C’est pourquoi j’ai l’impression que ces films upscalés par IA ne sont pas faits pour nous, mais pour permettre aux plateformes de streaming d’économiser un peu de bande passante
Et puis autrefois, la pellicule coûtait cher, donc les réalisateurs faisaient des films serrés de 90 minutes et basta. Maintenant, on a des films de 2, 3 ou 4 heures qui n’en finissent plus
C’est l’inverse d’aujourd’hui, où il faut démarrer vite avant que le spectateur parte regarder autre chose. Bien sûr, ils ne gaspillaient pas la pellicule, mais les vieux films traînaient eux aussi. On peut simplement considérer que ce n’était pas de la longueur, mais une manière d’installer l’ambiance et le ton du film
Il faut se rappeler que les réalisateurs étaient des artistes, que le cinéma existait pour l’art plutôt que pour le public, et qu’il y avait moins de souci de complaisance
Un film 4K de 2 heures déjà lissé et massif peut être encodé autour de 10 Go sans sembler très différent d’un Blu-ray lourd. Un bon transfert 4K de pellicule commence à paraître étrange quand la taille visée passe sous les 30 Go, voire avant
Cela dit, même pour un encodage destiné au streaming à partir d’une bonne source, on peut faire les choses correctement ; il n’est pas nécessaire de partir d’une mauvaise source dès le début. Il suffit d’ajouter une étape qui la dégrade avant l’encodage. Mais dans ce cas, on risque bien davantage de voir que le flux 4K « haute qualité » est en réalité affreux à regarder dès qu’on le compare à une bien meilleure source d’origine
La quantité de pellicule tournée dépasse de plusieurs ordres de grandeur le montage final, et on refilmait la même scène plusieurs fois pour obtenir une bonne prise. Un film plus long n’exige pas non plus nécessairement une durée de tournage plus longue qu’un film court
Je n’ai pas de sentiment particulièrement fort sur l’opinion elle-même dans le billet de blog, mais j’ai envie de saluer l’écriture de l’auteur
C’est un sujet auquel, personnellement, je n’avais jamais vraiment réfléchi et qui ne m’intéresse pas tant que ça, mais ça faisait longtemps que je n’avais pas lu un texte de ce genre jusqu’au bout. Le titre m’a accroché, et le reste m’a donné envie de continuer
L’auteur pense que c’est nul, et le lecteur le comprend clairement une fois le texte terminé