They See Your Photos — Les informations que révèlent vos photos

• Une expérience qui montre que les photos personnelles peuvent révéler non seulement les sujets visibles, mais aussi des informations privées
• Lorsqu’un utilisateur importe une photo, il peut voir quelles informations l’IA est capable d’en extraire via Google Vision API
• Le point essentiel n’est pas l’analyse de profils à partir de multiples données, mais le fait qu’une seule photo permet déjà davantage de déductions qu’on ne l’imagine
• Il n’est pas question d’analyser plusieurs photos ni des comportements sur le long terme ; le périmètre d’entrée est limité à une seule photo
• L’expérience permet de constater concrètement que le partage ou l’importation de photos, lorsqu’ils passent par une analyse IA, peuvent entraîner une exposition non intentionnelle d’informations

---

Les informations qu’une seule photo peut révéler

• They See Your Photos est une expérience conçue pour permettre aux utilisateurs de voir directement ce que l’IA perçoit dans les photos qu’ils importent
• Les photos peuvent révéler de nombreuses informations personnelles, et cette expérience se concentre sur les informations qu’il est possible de déduire à partir d’une seule image

Mode d’utilisation

• L’utilisateur importe une photo
• Le système utilise Google Vision API pour identifier les informations qui peuvent être lues dans la photo
• À travers le message « Voyez ce qu’ils voient », l’expérience montre comment l’IA interprète les photos

[GN⁺]

Avis de Hacker News

• magick convert IMG_1111.HEIC -strip -quality 87 -shave 10x10 -resize 91% -attenuate 1.1 +noise Uniform out.jpg
  Cette commande supprime toutes les métadonnées EXIF, modifie la qualité JPEG, rogne simplement 10 pixels sur chaque bord, redimensionne selon un certain ratio, applique une atténuation, puis ajoute du bruit de type Uniform
  En plus, attenuate doit venir avant le commutateur +noise dans la ligne de commande, et plus la valeur de qualité JPEG est mauvaise, plus il devient difficile de détecter que l’image a été modifiée[1]
  Le ratio de redimensionnement peut aussi être un nombre décimal, comme 91,5 % ou 92,1 %. Indépendamment de la détection d’images générées par IA, cela permet non seulement de supprimer les métadonnées, mais aussi de rendre chaque image publiée différente des autres et clairement différente de la photo originale
  [1] https://fotoforensics.com/tutorial.php?tt=estq

  • Même en disant AI image detection notwithstanding, cela ne vaut pas la peine d’essayer. Cela ne fait que produire une image moins agréable à regarder pour les humains
  • Rien ne garantit que cette méthode résiste au hachage perceptuel (perceptual hashing)
    https://en.wikipedia.org/wiki/Perceptual_hashing
  • C’est clairement mieux que de ne rien faire, mais je me demande comment cela se comporte face au hachage perceptuel. J’ai bricolé pendant environ 5 minutes pour essayer de lancer pHash en local, sans obtenir de résultat utile ; je m’y suis probablement mal pris
  • Recadrer ou recompresser l’image n’aide pas vraiment
    Si l’on regarde la recherche d’image inversée de TinEye, ce genre de transformations est facilement retrouvé
    https://tineye.com/
  • S’il y a un watermark dans l’image, on ne peut pas le supprimer de cette façon. Un watermark résiste facilement même à un bruit uniforme difficilement supportable pour un humain, et comme il est généralement stocké de manière redondante à plusieurs emplacements et dans plusieurs canaux, le bruit uniforme est en grande partie moyenné et le recadrage n’a pas vraiment d’effet
    Les watermarks placent souvent le signal dans un modèle colorimétrique différent du RGB ou dans des zones fortement transformées de l’image ; le bruit n’est donc pas ajouté le long de « l’axe » du signal du watermark. Cela n’a pas non plus beaucoup d’effet sur la recherche d’images similaires : ces algorithmes cherchent des dizaines de points de repère et recherchent des images qui en partagent une forte proportion. Autrefois, ces points de repère étaient des caractéristiques géométriques à fort contraste, comme des coins, et étaient très peu affectés par le bruit ; aujourd’hui, il peut s’agir de tout ce qu’un réseau neuronal entraîné sur des transformations courantes comme la compression ou le bruit choisit comme point de repère

• En utilisant ce service, il faut se rappeler que l’on renonce au droit de poursuivre l’auteur en justice : https://theyseeyourphotos.com/legal/terms
  PLEASE NOTE THAT THESE TERMS CONTAIN A BINDING ARBITRATION PROVISION AND CLASS ACTION/JURY TRIAL WAIVER.
  Ce genre de clause est courant aux États-Unis et a régulièrement été reconnu par les tribunaux américains. Fait intéressant, Ente n’a pas inclus ici la clause de refus (opt-out) qui figure dans ses conditions générales (https://ente.io/terms). Je me demande pourquoi ils ont rédigé des conditions plus restrictives uniquement pour ce service précis

• Ce n’est qu’une publicité pour leur propre service photo. S’ils n’analysent pas les images avec l’IA, la recherche doit être assez médiocre, alors que c’est l’une des meilleures fonctionnalités de Google Photos

  • Je travaille pour ce service photo
    Ente propose une recherche plutôt correcte[1], alimentée par du machine learning on-device[2]
    [1]: https://ente.io/blog/machine-learning
    [2]: https://ente.io/ml
  • Dire que la recherche est mauvaise sans IA, c’est un peu excessif. Google n’a pas non plus le monopole de la reconnaissance d’objets et de visages dans les photos
    On peut très bien fournir ce genre de fonctionnalités avec une solution auto-hébergée, sans envoyer les photos à une IA sans visage ni consommer énormément d’électricité
  • Le service appelé Ente voit de toute façon les photos de l’utilisateur, donc cela ressemble à une publicité étrange
  • Comment peut-on refuser que Google utilise les informations tirées des photos pour mettre à jour les profils utilisateur et publicitaires ?
  • Plus il y aura d’entreprises qui traitent leurs utilisateurs comme des êtres humains et non comme du bétail, mieux ce sera

• Cela peut être assez excellent pour générer des descriptions d’images à destination des personnes malvoyantes, mais cela ne fournit pas vraiment d’informations profondes au-delà de ce que l’on voit au premier coup d’œil
  Il y a beaucoup de baratin qui essaie de « paraître intelligent ». Par exemple, à propos d’une photo de branches d’arbre, il disait : « un observateur attentif pourrait aussi remarquer les variations subtiles d’épaisseur et de texture des branches, ce qui suggère un schéma de croissance naturel et organique »
  Merci. Sans cela, j’aurais peut-être pensé que cet arbre était un arbre inorganique artificiel

  • On dirait que le prompt contient des consignes du genre « décris en détail les subtils détails de la photo » ou « quelles conclusions peut-on tirer de la situation ? »
    Il semble tenter cela quelle que soit la photo, qu’elle contienne ou non des détails ou implications dignes d’intérêt. Je comprends l’intention de montrer un raisonnement à la Sherlock Holmes pour déduire des faits cachés à partir d’une photo, mais quand le modèle n’a rien à trouver, cela devient ridicule
  • Facebook génère depuis plusieurs années du texte alternatif de base. Ce n’est pas parfait, mais c’est mieux que rien ; par exemple, cela donne quelque chose comme « peut être une image de 4 personnes, personnes souriantes, texte »

• Cela aurait été plus effrayant si le modèle n’avait pas halluciné une boucle d’oreille sur une oreille hors cadre, ou affirmé que la chaussure gauche d’un enfant pieds nus était floue

  • En ce moment, j’ai accroché au-dessus de la table de la salle à manger une décoration avec des bougies flottantes façon Harry Potter. J’ai publié une photo où on les voit bien, et le modèle a très bien décrit tout le reste dans la pièce, mais a complètement ignoré les bougies
    J’ai imaginé le modèle en train de se répéter désespérément : « n’hallucine pas des bougies flottantes, n’hallucine pas des bougies flottantes »
  • Il a essayé de deviner le statut économique d’une panthère des neiges
    « L’image est centrée sur une panthère des neiges, sans présence humaine. L’expression de la panthère paraît vigilante et légèrement prudente, mais pas agressive. Il est difficile de déterminer son âge ou son état de santé exact à partir de l’image, mais elle semble être un adulte en relativement bonne condition physique. Il n’y a pas d’indices permettant d’établir clairement son statut économique ou son mode de vie »
  • C’est justement parce qu’il se met à halluciner que c’est effrayant
  • J’ai essayé avec quelques images, et il a halluciné quelque chose de visible sur une veste, ou la présence d’autres vêtements
    C’était assez fascinant de le voir dans ces moments de confusion. Ce n’était pas comme les calculs de mots des LLM, où l’on peut se dire : « oui, je vois comment il pourrait arriver à cette réponse ». Les hallucinations visuelles étaient plutôt du genre : « mais ça n’est absolument pas dans l’image… »

• J’apprécie les efforts pour créer des solutions techniques qui évitent les grandes entreprises comme Google, mais je pense que la meilleure méthode reste le tirage photo
  Dans ma famille, je suis généralement « la personne chargée des photos », donc après les événements, je commande des tirages pour les foyers des membres concernés de la famille, ou je les leur apporte moi-même. Peu de choses se comparent au fait de tenir un objet physique entre ses mains
  En plus, comme les tirages coûtent un peu d’argent, cela incite à ne montrer que quelques très bonnes photos, au lieu de tout laisser filer dans un défilement infini

  • As-tu vérifié la politique de confidentialité du labo photo ou de l’imprimante que tu utilises ? Ils pourraient collecter des copies numériques des photos, les vendre à des tiers, vendre les informations extraites des photos, ou encore les transmettre à la police ou à des organismes publics
  • Si une application de stockage de photos proposait facilement la commande de tirages, cela pourrait être une bonne idée de business
  • Tu les fais tirer où ?

• J’ai mis en ligne une photo de dégâts sur une cheminée causés par un problème de solin, et l’analyse était étonnamment pertinente. Cela dit, il a aussi dit que ma maison était vieille et négligée. Eh, c’est dur quand même
  Quoi qu’il en soit, même si je suis assez sceptique vis-à-vis de la plupart des IA, l’idée de s’en servir pour s’orienter correctement dans des réparations domestiques me paraît assez séduisante. Parce qu’il est quasiment impossible de trouver un artisan qui ne raconte pas n’importe quoi, qui soit abordable et qui se présente réellement

• Ça ressemble à la manière dont les LLM d’aujourd’hui parlent beaucoup sans dire grand-chose. J’ai envoyé quelques photos personnelles, et à part des descriptions banales de la scène, il n’a donné que très peu d’informations identifiables
  Exemple : « En arrière-plan, on voit un mélange de bâtiments modernes et anciens caractéristiques d’une ville européenne, avec divers styles architecturaux »

  • Mon expérience a été assez différente. J’ai soumis cette photo :
    https://postimg.cc/yD4YZKFk
    Alors que je suis certain qu’elle ne contient pas de données de localisation, la première phrase était : « Cette image montre l’intérieur de Union Station à Chicago, dans l’Illinois ». La fin contenait une critique d’art un peu immature, mais il a correctement identifié le lieu exact, le sapin de Noël et les personnes assises sur les bancs. Il a en revanche manqué l’ensemble de jazz sur le côté

• Ente ressemble à Immich[0], que j’auto-héberge avec ma famille, mais avec du chiffrement de bout en bout. Je préfère la version non chiffrée : quand quelque chose casse, les fichiers sont stockés tels quels sur le disque et sont faciles à récupérer
  [0]: https://immich.app/

  • Ente CLI[0] propose un service d’exportation avec un accès en lecture seule au cloud, et les éléments supprimés sont renommés
    Le binaire Go fonctionne presque partout, y compris sur la plupart des NAS, mais à cause d’Argon2, il faut au moins 1 Go de RAM pour déchiffrer la clé maîtresse
    [0] https://github.com/ente-io/ente/tree/main/cli
  • Je suis surpris de voir à quel point ça ressemble à Google Photos. Si Google augmente encore ses prix, Immich pourrait être une alternative parfaite

• « Pour le cygne, il n’est pas possible de déterminer l’âge ni d’autres détails (caractéristiques raciales, ethnicité, statut économique, mode de vie). »
  C’est moi qui souligne

  • J’ai envoyé plusieurs dessins, et pour presque tous les portraits, il a explicitement indiqué qu’il ne pouvait pas déterminer les « caractéristiques raciales, l’ethnicité, le statut économique, le mode de vie »
    Je ne suis pas un excellent artiste, mais il a assez bien relevé les détails dans d’autres parties. Le prompt demande probablement ce genre de choses, et l’IA rechigne à répondre. Cela dit, il a affirmé que, d’après le style du dessin, l’auteur était probablement un homme. Je suis effectivement un homme, et mon style de dessin est peut-être plus masculin, mais je ne sais pas comment on pourrait quantifier cela