Une erreur de distorsion de la réalité repérée dans la photographie computationnelle d’Apple
(appleinsider.com)- Une photo de robe de mariée de l’humoriste et actrice britannique Tessa Coates a révélé une faille dans le traitement photo de l’iPhone : la personne réelle et ses deux reflets dans les miroirs y apparaissent dans des postures différentes
- La cause n’est pas un phénomène surnaturel, mais une erreur de photographie computationnelle : l’iPhone n’a pas su associer les reflets dans les miroirs à la même personne
- La photo a été prise en mode panoramique et, pendant que Coates bougeait, des images de différents instants ont été combinées en une seule
- L’algorithme d’Apple a choisi la « meilleure » image pour chaque zone selon la saturation, le contraste, les détails, l’absence de flou, etc., et a fini par sélectionner un instant différent pour chaque miroir
- Dans les scènes mêlant miroirs et mouvement, même les smartphones récents peuvent produire des compositions différentes de la réalité, ce qui rend parfois difficile de croire le résultat tel quel
Trois postures dans une photo prise devant des miroirs
- L’humoriste et actrice britannique Tessa Coates s’est fait prendre en photo devant des miroirs alors qu’elle essayait une robe de mariée
- La photo montrait Coates elle-même ainsi que ses reflets dans les deux miroirs, mais les trois silhouettes avaient des postures différentes
- Dans un miroir, elle avait les bras baissés
- Dans l’autre, elle avait les mains jointes devant la taille
- La personne réelle avait le bras gauche le long du corps
- À première vue, le résultat paraît très étrange, mais la cause était une erreur survenue dans le processus de traitement de la prise de vue de l’iPhone
Ce qui s’est passé dans le pipeline de prise de vue de l’iPhone
- Au moment où l’on appuie sur le déclencheur, l’iPhone effectue des milliards de calculs pour produire une photo
- Dans ce cas, l’appareil n’a pas compris qu’il photographiait des miroirs et a traité les trois apparitions de Coates comme s’il s’agissait de personnes différentes
- Comme Coates bougeait pendant la prise de vue, plusieurs images de la même scène à des instants différents ont été capturées
Mode panoramique et composition d’image
- Selon une mise à jour, la photo en question a été prise en mode panoramique
- En mode panoramique, l’appareil capture plusieurs images pendant qu’il balaie la scène, puis un algorithme les assemble
- L’algorithme d’Apple choisit, pour chaque partie, la meilleure image selon la saturation, le contraste, les détails, l’absence de flou, etc.
- L’image finale composée devait être l’interprétation la plus réussie et réaliste de cet instant, mais la présence de miroirs a fait que des instants différents sont restés dans chaque reflet
Pourquoi « trois Tessa » ont été créées
- L’algorithme n’a pas réussi à regrouper la personne réelle et ses deux reflets dans les miroirs comme une seule et même personne
- Comme il a estimé qu’une autre image était plus adaptée dans chaque zone de miroir, la photo finale a intégré simultanément des postures différentes
- Le résultat est une image composite où la personne réelle et ses deux reflets font des gestes différents
Reproductibilité et limites
- Ce type de résultat peut être reproduit non seulement avec les iPhone récents, mais aussi avec plusieurs autres smartphones
- La cause réside dans les limites de la photographie computationnelle face aux miroirs
- Certains jeunes ont compris ce phénomène et l’utilisent pour créer des images amusantes destinées aux réseaux sociaux
1 commentaires
Commentaires sur Hacker News
Je me demande si l’article original[0] auquel ce court résumé fait référence ne serait pas une meilleure source
[0]: https://petapixel.com/2023/11/16/one-in-a-million-iphone-pho...
Les puristes n’aimeront sans doute jamais l’idée même de la photographie computationnelle, mais j’apprécie vraiment que l’iPhone puisse réussir des photos de nuit, en basse lumière ou en mouvement, à main levée
J’ai pu prendre des photos de nuit que je pensais physiquement impossibles avec un capteur aussi petit
Est-ce que cela reflète la scène réelle avec une fidélité parfaite au pixel près à l’instant T ? Non, mais ça m’importe peu
J’ai déjà fait auparavant des assemblages HDR, des focus stackings pour simuler une faible profondeur de champ, ou encore plusieurs prises d’un lieu bondé pour recomposer une image sans personnes ni voitures, et rien de tout cela n’est une reproduction parfaite de ce que l’œil a vu, mais combiner plusieurs expositions remplit bien son rôle quand il s’agit de capturer le sujet voulu
Les lentilles elles-mêmes introduisent des défauts et des variations, tout comme la pellicule et le développement
Cela ne fait pas de quelqu’un un puriste simplement parce qu’il veut décider de ce qui est capturé et de l’apparence finale
Ce sont justement ces choix qui font de la photographie un art
Au final, cette technologie retire ce contrôle à l’utilisateur
Si cela ne vous dérange pas qu’Apple décide du sujet et de l’apparence d’une photo, tant mieux, mais beaucoup de gens ne l’accepteront sans doute pas
Bientôt, l’appareil photo ne se contentera plus de choisir la meilleure image pour chaque personne : il choisira aussi les meilleurs yeux, corrigera la symétrie, sélectionnera la teinte de peau jugée la plus esthétique, etc.
Dans une certaine mesure, cela a toujours existé, mais à partir du moment où la photo renonce à prétendre qu’elle est “réelle”, cette évolution semble inévitable
Cela me rappelle la scène de WALL-E où le portrait du capitaine devient de plus en plus gros ; en réalité, avec le temps, le capitaine sur les photos devrait plutôt devenir plus séduisant, plus sculptural
Alors qu’en réalité, il resterait obèse
On peut prendre des photos de nuit, mais comparé à ce que mes propres capteurs, mes yeux, ont vu, c’est souvent difficile à reconnaître
Ce n’est pas une réalité légèrement améliorée : on a l’impression que l’appareil décide comment répartir la lumière d’une manière sans rapport avec la composition devant lui
J’ai aussi lu qu’en portrait, dans des situations qui font s’effondrer les hypothèses de l’iPhone sur ce qu’est un bon éclairage, il ruine simplement la photo
Il m’arrive de préférer des photos prises avec un téléphone vieux de 5 ans à celles d’un modèle récent, non pas à cause du matériel, mais à cause d’un mauvais tuning
Il se passe des choses intéressantes quand on photographie des sujets peu présents dans le modèle, comme des espaces étroits où l’on rampe, de la plomberie ou des gros plans dentaires
Il m’est arrivé d’obtenir un résultat totalement inutilisable hors mode RAW, comme si l’étape de photographie computationnelle n’avait absolument aucune idée de ce qu’elle faisait
Plus qu’une limite du capteur, il arrive que l’iPhone prenne davantage de libertés et rende les photos bien pires qu’avant
Les seules personnes qui ont vraiment besoin d’une description parfaite de la réalité vue par le capteur, au pixel près, sont sans doute la police ou les enquêteurs des assurances
En tant qu’art, la photographie n’a jamais été une affaire de pureté, et la plupart des gens veulent des photos qui reflètent ce qu’ils ont vu et la manière dont ils l’ont vu, et accepteront des étapes techniques pour obtenir ce rendu
Si la lune est belle et éclaire doucement le paysage, on veut une photo où l’on voie à la fois la lune lumineuse et l’arrière-plan sombre, et cela peut demander beaucoup de calcul
Mais une mariée avec un double, une photo HDR excessive ou un paysage dont les oiseaux et les poteaux ont été supprimés, ce n’est pas une scène que quelqu’un a réellement vue
Cela peut être une belle image, mais à mes yeux, on entre alors dans un autre art que la photographie
J’ai vécu quelque chose de similaire il y a quelques mois avec un Pixel 7
Sur cette photo de cerf : https://photos.app.goo.gl/qChwaw9C29WVdAmr6
Quand on zoome, tout a l’air d’une peinture à l’huile au niveau du détail, surtout le visage du cerf et le mur derrière
En réalité, ni le mur ni le cerf ne ressemblaient à ça, et je n’ai utilisé aucun filtre
La photographie computationnelle est vraiment impressionnante, mais aussi un peu inquiétante
Des photos prises vers 2016 avec un iPhone 6s ont aussi cet aspect quand on zoome
Ce genre de motif en mosaïque est plus agréable à l’œil qu’une photo très bruitée
Les lois de la physique imposent des limites à la capture de lumière avec un petit objectif et un petit capteur de téléphone
Le matériel s’est beaucoup amélioré, mais on n’a pas encore atteint la limite, et malgré tout, les gens n’apprécieraient sans doute pas qu’un téléphone sorte sans traitement une image RAW très bruitée
On ne peut pas non plus supprimer le traitement nécessaire pour la convertir dans une grille de pixels et un espace colorimétrique corrects
Le Pixel 7 n’a pas de vrai téléobjectif dédié, donc si vous avez zoomé, c’était du zoom numérique, avec une forte baisse de qualité
Le pipeline de traitement doit alors travailler à partir d’images de faible qualité, et ce genre de résultat arrive souvent
Ce n’est pas normal qu’un utilisateur de smartphone doive penser à tout ça, mais d’expérience, sur un téléphone sans zoom optique, il vaut souvent mieux photographier sans zoom ou ne pas dépasser 2x puis recadrer ensuite
Il est peut-être possible de réduire l’intensité du filtrage dans les réglages
Ce genre de choses arrive de plus en plus souvent, et ça ressemble à une combinaison inquiétante entre « une meilleure compression tant qu’on ne regarde pas vraiment l’image » et « l’amélioration par l’IA »
Il y a quelques semaines, j’ai pris une très belle photo de mon fils ; le cadrage, l’expression, la mise au point et la lumière étaient parfaits, avec un seul problème
L’algorithme du téléphone a décidé qu’il valait mieux arracher la peau de mon fils et la remplacer par la texture du mur derrière lui
Bien sûr, c’est sans doute ma faute d’avoir acheté un téléphone bon marché comme le Galaxy S22 Ultra ; le S23 Ultra est probablement meilleur, mais il n’était pas encore sorti à l’époque
J’ai donc activé le RAW pour essayer au moins de sauver les photos à l’avenir, mais le RAW ne fonctionne que dans ce mode appareil photo « pro » peu pratique, et il revient parfois discrètement au mode non pro
J’ai fini par abandonner et installer une application photo tierce
Au moins, Mark ne s’emploie pas activement à ruiner mes photos, donc j’imagine qu’il faut lui faire confiance : https://play.google.com/store/apps/details?id=net.sourceforg...
À part la réduction de bruit par défaut en basse lumière, la magie d’ajustement de luminosité, et cette stupide fonction de remplacement de la lune, on n’a même pas l’impression qu’il utilise tant que ça la photographie computationnelle
Il battait déjà Apple rien qu’avec son zoom 10x, il n’avait pas besoin de ces absurdités liées à la lune
Je trouve que l’application photo par défaut est correcte
Même si ces exemples n’en sont pas encore là, j’ai l’impression qu’ils vont s’accumuler et être présentés à l’avenir comme un élément de défense juridique
Qu’ils soient fondés ou non, ce genre de cas extrêmes peut suffire à faire franchir à certains juges et jurés le seuil du doute raisonnable
Les manipulations par IA existent bel et bien, et leurs limites peuvent être difficiles à prévoir
Pire encore, quelqu’un présent sur le lieu d’un attentat pourrait être montré comme réagissant avant l’explosion
Nous avons des hypothèses implicites sur la causalité, et cette IA les brise
Dans certaines situations bien précises, cela pourrait avoir des conséquences potentiellement énormes
Dans notre famille, on aime prendre des photos pano-Frankenstein
Si on balaie un visage avec le panorama pendant qu’une personne change très vite et très fortement d’expression, le téléphone essaie de recoller le visage en une image cohérente, et le résultat est souvent assez drôle
Les Google Pixel récents commencent à enregistrer des images dès l’ouverture de l’application photo
Quand on prend réellement la photo, ils utilisent en partie des images précédentes pour faire en pratique une fusion HDR sans latence
Il a peut-être pu se passer quelque chose de similaire ici
Le traitement a probablement choisi l’exposition optimale pour différentes parties de la photo à partir d’images distinctes, ce qui aurait produit cet effet
Il y a des gens qui laissent l’appareil photo ouvert pendant des heures en se promenant dans un nouvel endroit, parce qu’ils veulent pouvoir capturer immédiatement quelque chose de cool, puis ils se plaignent que la batterie soit morte à l’heure du déjeuner
Je ne sais pas trop si c’est vrai
Apple n’a jamais déclaré publiquement faire ce niveau de manipulation, et bien sûr ça ne veut pas dire qu’il ne le fait pas, mais l’amplitude de mouvement que cette femme aurait dû parcourir au sein d’une seule capture ne me semble pas plausible
Même avec les Live Photos, je ne pense pas que ça puisse arriver
Si c’est vrai, c’est assez bizarre pour que j’aie envie d’y croire, mais ça semble un peu trop parfait
J’imagine que quelqu’un essaie déjà de le prouver ou de le réfuter
J’étais dans une serre à papillons, et une photo en gros plan a effacé les pattes d’un papillon pour ne laisser que les ailes
Lien vers l’image : https://ibb.co/nwbw5xY
Le téléphone a considéré les pattes comme faisant partie de l’arrière-plan
La même chose arrive avec les cheveux
Les pattes sont fines, donc faciles à interpréter comme du bruit
C’est encore plus probable avec du zoom numérique et une faible luminosité, car il y a alors très peu de pixels et beaucoup de bruit dans chacun d’eux
J’ai entendu récemment dans un podcast[0] que, dans l’application photo de l’iPhone, un appui long sur le bouton capture une rafale puis affiche celle qu’il juge « meilleure », par exemple celle où tout le monde a les yeux ouverts
Bien sûr, ce n’est pas ce qui s’est passé ici
Comme j’essaie plutôt d’éviter les gens sur les photos, j’oublie à chaque fois de tester ça
[0] C’était probablement cet épisode : https://podcasts.apple.com/nz/podcast/the-talk-show-with-joh...
Maintenant, maintenir le bouton enclenche l’enregistrement vidéo
Pour quelqu’un qui ne filme pas de vidéo, c’est pénible
Avec le bouton à l’écran, on peut faire glisser vers la gauche pour prendre une rafale, mais à ma connaissance il n’existe pas de moyen de déclencher une rafale avec les boutons de volume
C’est peut-être possible avec le nouveau bouton programmable de la gamme iPhone 15
Prendre une photo revient en fait à enregistrer une courte vidéo, puis à choisir l’image optimale parmi celles-ci