Il devient tendance d’effectuer des « recherches de localisation inversées » à partir de photos avec ChatGPT
(techcrunch.com)- La traque de localisation à partir d’images avec ChatGPT est en train de devenir une tendance virale
- Les derniers modèles d’OpenAI, o3 et o4-mini, combinent analyse d’images et recherche web pour effectuer des déductions de localisation avec une grande précision
- Les utilisateurs soumettent à o3 des menus de restaurant, des scènes de rue ou des portraits, et tentent d’en déduire le lieu comme dans le jeu « GeoGuessr »
- Les inquiétudes liées à l’atteinte à la vie privée grandissent, et OpenAI, malgré l’existence de garde-fous, manque de mesures de prévention claires
- OpenAI a indiqué disposer de systèmes de détection des abus et de réponse, mais des critiques estiment que les restrictions concrètes restent insuffisantes
Tendance du retraçage à partir d’images avec ChatGPT
- Une tendance consistant à retrouver le lieu visible dans une image via ChatGPT se propage récemment parmi les utilisateurs
- Les nouveaux modèles o3 et o4-mini lancés par OpenAI peuvent raisonner à partir d’informations visuelles contenues dans une image
- Même des photos floues ou déformées peuvent être analysées après prétraitement, comme le recadrage, la rotation ou le zoom
- Combinée à la recherche web, cette capacité montre d’excellentes performances pour déduire l’emplacement de villes, monuments, restaurants, bars et autres lieux
ChatGPT utilisé comme GeoGuessr
-
Les utilisateurs demandent à o3 d’« agir comme GeoGuessr » et tentent d’estimer un lieu à partir de captures de stories Instagram, de photos de rue ou de menus
- GeoGuessr est un jeu en ligne où l’on met en ligne une photo pour en retrouver le lieu
-
ChatGPT déduit un lieu à partir des seuls indices visuels, sans historique de conversation ni métadonnées EXIF
-
o3 a notamment montré, dans certaines situations, de meilleures performances que GPT-4o
Exemple : à partir d’une photo d’une décoration de rhinocéros violet accrochée dans un bar sombre
- GPT-4o a répondu à tort « pub britannique »
- o3 a correctement déduit « un bar speakeasy à Williamsburg »
GPT-4o affiche lui aussi une précision surprenante
- Lors d’un test mené par TechCrunch, GPT-4o a lui aussi montré une précision assez élevée, avec une vitesse de traitement supérieure
- Cela dit, sur certaines images, seul o3 a réussi à identifier correctement le lieu
- o3 n’est toutefois pas parfait, et il lui arrive de ne pas répondre ou de proposer un lieu sans rapport
Risques potentiels d’atteinte à la vie privée
- Le fait que n’importe qui puisse, sans contrainte particulière, retrouver la localisation d’une autre personne à partir de ses photos constitue un problème majeur
- Par exemple, la capture d’une story Instagram peut mener à un risque de doxxing
- À l’heure actuelle, OpenAI ne mentionne pas ce problème dans le rapport de sécurité officiel concernant les modèles o3 et o4-mini
Position officielle d’OpenAI
- Quelques heures après la publication de l’article, OpenAI a transmis à TechCrunch la déclaration suivante :
« o3 et o4-mini ajoutent à ChatGPT des capacités de raisonnement visuel,
qui peuvent être utiles pour l’accessibilité, la recherche et les situations d’urgence.
Nous les avons entraînés à refuser les demandes d’informations sensibles,
avons mis en place des mécanismes de prévention de l’identification des personnes et de surveillance des abus,
et nous intervenons activement en cas de violation des politiques. » - Malgré cela, les mécanismes de blocage spécifiques ou les contrôles techniques visant la fonctionnalité de retraçage de localisation restent insuffisants
6 commentaires
En réalité, c’est simplement l’ordinateur qui prend en charge la partie fastidieuse ; la méthode en elle-même existait déjà, non ?
L’IA, au fond, fait aussi ce que les humains peuvent faire. (comme un robot aspirateur)
Le temps et le coût nécessaires ont été réduits de plusieurs dizaines de fois. Il est clair que cela représente une aggravation de la menace.
Comme indiqué dans le texte, c’était déjà quelque chose dont on profitait sous forme de « jeu », donc ce n’était pas non plus auparavant à un niveau difficilement accessible au grand public.
La menace apparaît lorsqu’on publie une photo permettant d’identifier facilement un lieu alors qu’il ne devrait pas être possible de le localiser.
Avant même cela, comme on le voit aussi dans les commentaires de Hacker News, publier quelque chose sur l’internet public implique déjà de partir du principe qu’il y aura exposition d’informations.
Je suis globalement d’accord. Mais le fait que « n’importe qui » puisse le faire « en un instant » fait aussi penser à des effets secondaires plutôt inquiétants.
Avis Hacker News