Ban-Rays, des lunettes pour détecter les caméras des lunettes intelligentes

• Ban-Rays est un dispositif expérimental pour détecter des smart glasses avec caméra intégrée, en combinant deux approches : la réflexion optique et l’analyse de signaux réseau
• L'approche optique consiste à projeter de l’infrarouge sur la lentille pour détecter les caractéristiques de réflexion du capteur CMOS (effet cat-eye), mais avec le matériel actuel le signal reste faible et instable
• L'approche réseau utilise les annonces Bluetooth Low Energy (BLE) pour identifier les appareils Meta Ray-Ban, et la détection est possible via l'ID fabricant (0x01AB) et l'UUID de service (0xFD5F)
• Les signaux BLE sont détectés principalement seulement au pairing ou lorsque l’appareil est mis sous tension ; pour une détection en temps réel pendant l’usage, des techniques supplémentaires sont nécessaires, comme le suivi des paquets CONNECT_REQ
• Le projet est une tentative expérimentale de technologie de reconnaissance de dispositifs de surveillance et de protection de la vie privée, qui suggère une détection plus précise à l’avenir via des améliorations matérielles et l’apprentissage des motifs de signal

---

Aperçu du projet

• Ban-Rays est un dispositif en forme de lunettes pour détecter des smart glasses avec caméra intégrée, avec deux approches expérimentales
  • Optique : classifier la lentille de caméra en utilisant la réflexion de la lumière
  • Réseau (Networking) : analyse des signaux Bluetooth et Wi-Fi
• À ce stade, l'empreinte d’appareil basée sur BLE est considérée comme l’approche la plus simple et la plus fiable
• Le premier prototype joue un effet sonore de « découverte secrète » de The Legend of Zelda dès qu’une publicité BLE Meta Ray-Ban est détectée

Détection optique

• En projetant de l’infrarouge (IR) sur la lentille d’une caméra, il est possible d’identifier la caméra grâce à la « rétrodiffusion » (rétro-réflectivité) du capteur CMOS
• Une recherche de 2005 présentait un cas d’usage de ce principe pour implémenter des « environnements résistants à la capture »
• Une recherche de 2024 propose une méthode pour classer des caméras individuelles via leur motif de réflexion de lentille
• La plupart des études antérieures nécessitent une caméra, du machine learning et des angles contrôlés, mais Ban-Rays développe en cours un classifieur basé sur les données de signal, en évitant l’usage de sa propre caméra
• Résultats des essais
  • La caméra arrière d’un smartphone montre une onde de type pic court et élevé, tandis que l’écran montre une onde plus douce
  • Lors des tests Meta Ray-Ban, le signal est faible et instable, rendant la distinction difficile avec le matériel actuel
  • Les LED 940 nm et 850 nm ne montrent presque aucune différence
• Idées d’amélioration
  • Scanner la cible selon un motif « gauche-droite-haut-bas » pour collecter les formes d’onde
  • La comparaison entre Meta Ray-Ban et des lunettes de soleil classiques (aviator) valide le concept, mais nécessite des tests supplémentaires
• Composition du circuit IR
  • Utilisation d’un Arduino Uno, de LEDs IR 940 nm/850 nm, d’une photodiode et d’un transistor 2222A
• Expériences à venir
  • Tests de motifs de balayage
  • Combinaison de données par longueur d’onde
  • Vérification de la collimation du faisceau

Détection basée sur le réseau

• Tentative d’identification par empreinte des appareils Meta Ray-Ban à partir des annonces BLE
• Le trafic BLE n’est actuellement détectable que pendant le pairing, au démarrage, ou lors du retrait du boîtier
• Pour détecter la communication pendant l’usage, il faudrait suivre les paquets CONNECT_REQ, mais l’ESP32 utilisé actuellement ne prend pas en charge cette fonctionnalité
  • L’utilisation d’un module nRF Sniffer pourrait améliorer la situation
• La détection du trafic Bluetooth Classic (BTC) nécessite un matériel coûteux
• Exemple d’annonce BLE détectée
  • ID fabricant : Meta (0x01AB)
  • UUID de service : Meta (0xFD5F)
  • RSSI : -59 dBm
  • L’adresse MAC est randomisée et n’apporte pas d’aide significative à la détection BLE
• Références fournies : Bluetooth Assigned Numbers, code source du dissector Wireshark, données Netify MAC brand
• Travaux ultérieurs prévus
  • Étudier l’article scientifique (https://dl.acm.org/doi/10.1145/3548606.3559372)
  • Tester le active probing et l’interrogating

Remerciements

• Remerciements pour les conseils sur l’optique et le BLE à Trevor Seets et Junming Chen,
• remerciements à Sohail pour la fourniture d’un Meta Ray-Ban de test

[GN⁺]

Avis Hacker News

• C’est une idée intéressante. La plupart des personnes qui ont besoin d’être protégées de la surveillance sont statiques, donc il ne semble pas forcément nécessaire de porter un détecteur sur soi. Cela dit, commencer avec une contrainte de mobilité est une bonne approche
  Et le jeu de mots « le cœur de cette approche, c’est le sound (son) — en réalité, la light (lumière) » m’a vraiment marqué
  • Moi, j’aimerais être protégé des caméras cachées dans les lunettes connectées des autres
  • En fait, le plus grand cas d’usage mobile, c’est probablement éviter d’être filmé à son insu dans les lieux publics. C’était déjà une grosse controverse à l’époque de Google Glass
  • Il existe déjà depuis 20 ans des systèmes de détection de tireurs embusqués basés sur la détection des reflets optiques. Ce sont des équipements statiques utilisés dans des lieux fixes comme des bases militaires
  • Ce serait bien que des agents de sécurité dans les zones où filmer est interdit portent ce genre d’équipement. C’est une idée plutôt géniale
  • Moi aussi, ce jeu de mots m’a fait éclater de rire
• Si cette technologie se généralise, on va probablement voir pleuvoir des vidéos d’indignation virale sur les réseaux sociaux. Je plaisante, mais je me le demande vraiment
  Je me demande ce qu’on ressent quand quelqu’un tient son téléphone dans ma direction, à un angle qui laisse penser qu’il est peut-être en train de filmer
  Je viens d’une génération d’avant l’omniprésence des smartphones, donc au début je faisais attention à toutes les « caméras » autour de moi, mais maintenant je finis simplement par les ignorer
  • Au final, il semble inévitable qu’on arrive à une époque où les lunettes AR connectées ressembleront à des lunettes ordinaires. Ça paraît être une évolution naturelle d’ici 10 à 20 ans
• Je me souviens avoir vu, vers la fin des années 2000, des célébrités utiliser des lunettes de soleil émettant de l’IR (infrarouge) pour perturber les appareils des paparazzis
  Est-ce que ça pourrait aussi fonctionner contre des lunettes-caméras ? En saturant le capteur avec une forte lumière IR
  • D’après cet article, on peut tromper la reconnaissance faciale ou des CCTV, mais c’est difficile avec des caméras professionnelles parce qu’elles ont des filtres IR. Il n’existe pas de LED plus lumineuses que le soleil
  • J’ai aussi expérimenté une activation automatique de LED infrarouges sur une idée similaire. Ça avait un petit effet sur les caméras de téléphone, mais les filtres coupe-IR des appareils récents sont trop efficaces pour que ce soit vraiment pratique
  • Ça ne fonctionne que sur les caméras de nuit. La plupart des caméras appliquent automatiquement un filtre IR en mode jour
  • J’ai entendu dire qu’un chapeau IR similaire avait été utilisé pendant les manifestations à Hong Kong, mais les caméras d’aujourd’hui filtrent généralement l’IR. En revanche, une veste réfléchissante est bien plus efficace. À la caméra, on apparaît comme une masse lumineuse surexposée
  • Je réfléchis à un dispositif anti-lecture de plaques d’immatriculation. L’idée serait de projeter fortement de l’IR ou de la lumière visible pour empêcher la lecture de la plaque. Ce serait encore mieux avec un revêtement réfléchissant ou des rétroréflecteurs
• Question connexe : je me demande s’il serait possible d’avoir un motif imprimé sur un T-shirt visible uniquement à la caméra et pas à l’œil nu. Si oui, j’aimerais mettre une image devant et derrière pour contrer les « glassholes » ou les caméras de smartphone
  • On pourrait utiliser des motifs de moiré, mais ce serait difficile de les garder parfaitement plats sur un vêtement, et probablement pas assez net pour être bien reconnu par une IA
  • En exploitant des LED infrarouges ou le principe du fond vert, ce serait peut-être possible
• Pour parler de l’idée plutôt que de donner des conseils techniques :
  1. Moi aussi, je veux ça
  2. Si possible, j’aimerais que ce soit fait en détecteur à clipser pour pouvoir continuer à porter les lunettes que j’aime
  3. Et j’espère vraiment que vous travaillerez avec une personnalité de confiance dans le domaine des technologies de la vie privée.
     La raison est simple : si Meta ajoutait cette fonction à ses lunettes, je pourrais presque les acheter rien que pour ça, en désactivant tout le reste. Mais ils pourraient aussi racheter votre entreprise et supprimer la fonction. Il vous faut donc un partenaire capable d’inspirer la confiance du public
• J’ai déjà vu quelqu’un dire à propos de l’IA que « nous vivons actuellement la dernière époque où les lunettes connectées sont encore détectables ». On dirait que nous sommes précisément dans cette courte phase de transition
• Je me demande si quelqu’un fabrique des lunettes connectées pour les personnes malvoyantes ou aveugles. Quelque chose avec de la reconnaissance d’image derrière des verres noirs, qui décrirait la scène à voix haute
  Par exemple avec des alertes d’approche de route, la détection d’obstacles, la recherche d’objets, etc., pour améliorer la qualité de vie
  • J’ai entendu parler de cas où des lunettes connectées Meta sont utilisées comme aide visuelle. Un LLM observe le flux caméra, lit les étiquettes ou décrit les objets. En revanche, il n’y a pas encore d’alerte en temps réel. Cette approche me semble très utile sur le plan de l’accessibilité
  • Il paraît que l’app Seeing AI sur l’App Store iOS décrit le monde environnant à voix haute
  • Le documentaire Seeing into the Future, réalisé par un humoriste britannique malvoyant, traite aussi de ce sujet
  • Mais si ce type de dispositif de détection réussit, il y a un risque qu’il bloque aussi les équipements d’assistance des personnes malvoyantes. Cela pourrait ouvrir de nouveaux problèmes juridiques
• Je pense que ce genre de projet répond à un besoin vraiment urgent. Il nous faut des technologies permettant de se dissimuler face aux appareils intrusifs pour la vie privée.
  Parmi les deux approches proposées, celle du blocage/brouillage des signaux sans fil serait intéressante si elle était faisable
  • Mais il y a de fortes chances que ce soit illégal
  • J’aurais l’impression de vivre dans un monde plus sûr si j’étais visible par toutes les caméras d’ATM, de transport et de sonnette, mais pas par les lunettes des gens
• Ce serait bien que les agents de sécurité des tribunaux portent ce genre d’équipement. Mais aujourd’hui, les caméras sont tellement petites que la détection elle-même semble irréaliste. Donc je pars du principe que je vis simplement tous les jours dans Candid Camera
• On peut facilement trouver sur eBay des appareils qui détectent les reflets de caméra avec un filtre polarisant et un éclairage LED. Si on voit un point brillant à l’emplacement du capteur, c’est une caméra