Holocam de Zeiss transforme les fenêtres en caméras
(digitalcameraworld.com)- Holocam de Zeiss est une technologie basée sur l’holographie qui permet d’utiliser des supports transparents — fenêtres, écrans d’ordinateur portable, vitres de voiture ou vitrages de portes d’entrée — comme des caméras
- Si la caméra est intégrée de façon transparente dans l’écran, elle peut être placée sans découpe ni poinçon, et réduit aussi le problème du contact visuel lors des appels vidéo
- Le principe central consiste à rediriger la lumière entrant dans un support transparent vers un capteur d’image caché, au moyen de l’incouplage holographique, du guidage de la lumière et d’éléments de découplage
- La présentation au CES 2024 met l’accent sur le Multifunctional Smart Glass de Zeiss et les applications automobiles, avec des cas d’usage comme les sonnettes connectées, webcams, caméras de stationnement, reconnaissance faciale/gestuelle et détection de fatigue du conducteur
- La possibilité d’utiliser même des fenêtres ou des portes de douche comme dispositifs de surveillance suscite des inquiétudes liées aux caméras cachées ; l’adoption dans les produits du quotidien soulève donc à la fois des questions de confort et de vie privée
Concept de base de Holocam
- Zeiss a présenté Holocam au CES 2024 ; cette technologie permet à des supports transparents comme du verre ou des écrans de fonctionner comme des caméras
- Les applications citées incluent les vitres de voiture, les écrans d’ordinateur portable et les vitrages de portes d’entrée
- Du verre ou un écran transparent peut ainsi être utilisé comme s’il disposait d’un capteur d’image invisible
Ce que les caméras transparentes changent dans la conception des écrans
- Si l’on peut rendre une caméra entièrement transparente, les découpes ou poinçons dans l’écran ne sont plus nécessaires
- Pour les appels vidéo, la caméra peut être placée au-dessus de l’écran ou à l’emplacement souhaité dans l’écran, ce qui permet une configuration offrant un contact visuel plus naturel avec l’interlocuteur
- Cela rend aussi possible un usage de type « webcam utilisable quel que soit l’endroit de l’écran que l’on regarde »
Fonctionnement
- Holocam repose sur une architecture qui envoie la lumière entrant dans un support transparent vers un capteur d’image caché
-
Éléments optiques clés
- Incouplage holographique (holographic in-coupling)
- Guidage de la lumière (light guiding)
- Découplage (de-coupling)
- Même si toute la surface vitrée ne dépasse pas comme un module caméra visible, elle peut transmettre la lumière au capteur
Points mis en avant au CES 2024 et cas d’usage
- La présentation de Zeiss au CES s’est concentrée sur l’ensemble du système Multifunctional Smart Glass et sur les applications automobiles
- Elle met surtout en avant des exemples où l’holographie améliore les interactions dans l’habitacle, mais la technologie peut s’étendre à une gamme de produits plus large
- Les cas d’usage incluent :
- une sonnette connectée sans module caméra séparé
- une webcam utilisable quel que soit l’endroit de l’écran que l’on regarde
- une caméra de stationnement pouvant être entièrement dissimulée
- la reconnaissance faciale ou gestuelle basée sur l’écran
- le déverrouillage de porte par reconnaissance faciale
- la détection de fatigue du conducteur
- des téléphones et tablettes sans encoche ni poinçon
Possibilités optiques et questions restantes
- Utiliser toute une plaque de verre comme objectif de caméra ouvre de nouvelles possibilités optiques
- Les éléments mentionnés par Zeiss incluent « large aperture invisible camera » et « individual adjustment of orientation and size of the field of views »
- L’ouverture maximale et la plage de mise au point de ce type de caméra restent encore des points d’interrogation
Préoccupations liées à la vie privée
- Une technologie comme Holocam peut être directement associée au problème des caméras cachées
- Dans un contexte où les caméras cachées dans les Airbnb suscitent déjà des inquiétudes, la possibilité d’utiliser même les fenêtres ou les portes de douche d’un logement loué à des fins de surveillance a de quoi mettre mal à l’aise
- La technologie elle-même est intéressante, mais si elle se généralise dans les usages quotidiens, la manière de gérer la présence de caméras invisibles deviendra essentielle
1 commentaires
Avis de Hacker News
Pour ceux que cela inquiète, il s’agit actuellement d’un verre très spécialisé dont la fabrication est extrêmement complexe, et qui, selon les lois de la thermodynamique, ne peut pas être transparent à 100 %
Ce n’est pas quelque chose qui permettrait de surveiller à travers des fenêtres existantes ; ce ne serait envisageable que dans de nouvelles installations, avec de la place pour l’équipement d’appui et un coût de dizaines à centaines de milliers de dollars
Ce type de verre-caméra aurait au minimum une légère teinte, serait utilisé pour des applications spécialisées, et aurait probablement un rapport signal/bruit, une résolution et des performances en basse lumière assez médiocres
Aujourd’hui, les composants structurels de cette technologie sont surtout utilisés dans des affichages tête haute du secteur aérospatial très haut de gamme, donc il paraît peu probable qu’on en croise dans les dix prochaines années
La technologie de télédétection dont il faut se préoccuper aujourd’hui relève plutôt de la surveillance RF combinant mmWave, radar à travers les murs et interférométrie Wi‑Fi. Il y a aussi le fait que l’iPhone randomise les adresses MAC, mais que d’autres appareils, y compris les TPMS automobiles, ne le font pas. Le lidar en mode Geiger est aussi intéressant : une entreprise où j’ai travaillé auparavant avait, en démo, cartographié l’intérieur de la maison de quelqu’un
Les caméras sténopé avec un objectif de 2 mm sont déjà bon marché et faciles à trouver ; avec autant d’options disponibles, il y a très peu de raisons d’utiliser une coûteuse « caméra-fenêtre »
Si vous vous inquiétez de la surveillance gouvernementale ou d’un adversaire bien financé, cela peut mériter votre attention, mais la plupart d’entre nous n’entrent pas dans cette catégorie
Même le verre ordinaire n’est pas transparent à 100 %, ne serait-ce que dans le visible. Si la crainte est de savoir si c’est facilement identifiable, il me semble qu’il faut regarder les différences dans le spectre visible
En plus, certains verres sont volontairement teintés, et le réglage dynamique de la teinte fait partie des applications envisagées ici. En théorie, il devrait être possible d’obtenir un signal correct rien qu’en captant les réflexions autour des bords du verre
Aujourd’hui, on peut même faire de la reconstruction 3D en filmant une boule miroir. Le bruit serait important, mais il y aurait un signal. Si la projection est possible, l’inverse devrait l’être aussi, et je doute que la structure interne du verre soit directionnelle à ce point. J’ai fait de l’optique il y a longtemps, donc il se peut que quelque chose m’échappe
Un système qui analyserait n’importe quelle plaque de verre pour en déduire toutes les transformations nécessaires afin de l’utiliser comme guide d’ondes de haute précision. En fait, un ancien manager m’avait demandé de développer quelque chose de ce genre, et j’avais demandé combien de dizaines de docteurs en optique j’avais le droit d’embaucher pour y arriver
L’article est pauvre, car il ne traite que du composant caméra. Étrangement, il choisit une image d’illustration de stock sur les affichages holographiques/optiques, mais n’en parle ensuite jamais
Le site de Zeiss est bien plus intéressant à lire : https://www.zeiss.com/corporate/en/about-zeiss/present/newsr...
En résumé, au CES 2024, ZEISS a présenté un Smart Glass holographique pour l’affichage, la projection et le filtrage, ainsi qu’un composant distinct : une caméra holographique
Holocam utilise des éléments de couplage, de découplage et de guidage de la lumière pour envoyer la lumière entrante vers un capteur caché, sans nécessiter de découpe ni d’espace d’installation dans la zone visible
ZEISS ne prévoyant pas de devenir fabricant, il semble vouloir permettre à d’autres entreprises d’utiliser cette technologie
Le reste ressemble surtout à des images trompeuses d’artiste
« Les surfaces vitrées peuvent aussi produire de l’énergie. La couche micro-optique de la vitre absorbe la lumière solaire entrante et la transmet sous forme concentrée à une cellule solaire. Cela combine les avantages des fenêtres existantes — lumière naturelle et vue dégagée — avec l’avantage supplémentaire d’une production d’énergie efficace » : c’est vraiment impressionnant
Il pourrait aussi y avoir une gravure supplémentaire ou un dépôt de couche sur le pare-brise pour gérer les angles nécessaires
On pourrait probablement aussi placer la caméra ailleurs et modifier discrètement de manière similaire un pare-brise ou une autre vitre pour observer d’autres objets
Deuxièmement, le point 3 m’a toujours l’air d’un signal d’alerte. C’est parfois le code pour dire : « ça marche en laboratoire, mais on ne sait pas le fabriquer ». Un peu comme : « nous avons une excellente idée de programme à concéder sous licence, mais personne ici ne sait vraiment coder »
Troisièmement, il est difficile de surestimer l’impact que cela aurait si la technologie se généralisait. On pourrait créer des écrans transparents dignes d’un film de SF, des systèmes de visioconférence avec un vrai contact visuel, et même des miroirs qui vous montreraient dans d’autres vêtements
Cela dit, le point 3 calme mon enthousiasme. Je me demande si j’ai manqué une annonce indiquant qu’il y avait une vraie démonstration sur place au CES. Si c’était réellement exposé, j’aurais sérieusement envisagé de prendre l’avion pour Las Vegas afin d’aller vérifier
C’est un guide de lumière inversé. On fait de la formation de faisceau depuis longtemps, et il n’est pas surprenant que l’inverse, l’imagerie à travers un conduit optique, soit possible
Le vrai problème est de collecter suffisamment d’énergie. Pour un sujet bien éclairé, comme un miroir de salle de bains, comme le miroir se trouve derrière le guide de lumière, j’imagine que cela peut fonctionner assez bien
Si le guide de lumière est trop efficace, il paraîtra opaque, donc il faut trouver un compromis
Dire que cela « transforme n’importe quelle fenêtre » est assez trompeur. Sauf si j’ai raté quelque chose, il faut un verre très spécial, ou au minimum un revêtement/laminage spécial
Pour ceux qui s’inquiètent de la vie privée, il sera presque toujours plus simple et moins cher d’installer quelque part une toute petite caméra espion
Je doute que Zeiss se mette à vendre du verre bas de gamme à faibles marges
Cela dit, l’argument sur la vie privée n’en est pas beaucoup affaibli. Même si la licence était gratuite, il est certain que le coût de production des composants serait de plusieurs ordres de grandeur supérieur à celui des technologies actuelles permettant d’atteindre un objectif similaire
https://www.microsoft.com/applied-sciences/projects/the-wedg...
L’inverse, c’est-à-dire la réception du signal, relève presque d’une technologie toute nouvelle, quelle que soit la fréquence
Ce genre de choses est devenu facile, et on peut désormais les fabriquer en plusieurs étapes jusqu’à l’échelle du micron. Dans l’esprit : « NSA, mets une simple goutte de Prince Rupert optique sur un œil synthétique ». Une lentille en fibre qui s’autodétruit si elle est découverte, en quelque sorte
Il y a quelques années, j’ai visité Zeiss à Oberkochen. Le siège était superbe et il y avait aussi quelques vieilles lithographies. Certains équipements valaient, je crois, autour de 80 millions de dollars
Les installations de l’autre côté de l’Autobahn étaient si sensibles que le simple passage d’un camion faisait vibrer les équipements, et ils ont dû poser des matériaux amortissants sur l’Autobahn pour l’éviter
C’était après avoir déjà placé les fondations sur une forme de suspension. Un collègue disait que Zeiss était l’entreprise qui recrutait le plus de docteurs en Europe
Les équipements sont si sensibles qu’ils ont dû monter les unités de climatisation de tout le site sur suspension, et il paraît qu’on demande aussi aux gens, lorsqu’ils conduisent sur le campus, de ne pas accélérer ni freiner brusquement
Je suis d’accord avec le passage disant qu’« avec la peur des caméras cachées dans les Airbnb, l’idée que toutes les fenêtres d’un logement loué, voire les portes de douche, puissent devenir des dispositifs de surveillance est assez inquiétante »
Cette technologie a des applications potentielles vraiment intéressantes, mais aussi un côté assez dérangeant
La généralisation des smartphones avec appareil photo et l’arrivée de technologies comme les lunettes Meta nous poussent déjà dans une direction inquiétante mais fascinante, et parfois utile. Pourtant, certains de ces concepts de pointe me préoccupent. Cela me fait aussi penser au Wi-Fi qui voit à travers les murs
Les gens n’aimaient pas le fait que Google Glass puisse filmer en permanence ; désormais, il se pourrait qu’on ne voie même plus de caméra physique
Il me semble que Ray-Ban/Meta dispose d’un capteur qui détecte si le porteur ne masque pas le voyant indiquant que la caméra est en cours d’utilisation, mais je ne vois pas comment ce mécanisme fonctionnerait si chaque morceau de verre devenait une caméra
En cherchant, j’ai trouvé un brevet qui semble lié : https://patents.google.com/patent/WO2020225109A1/en
Il emploie le terme « Holocam », est d’origine allemande, et le communiqué de presse mentionne les applications automobiles comme premier cas d’usage important, car le dépôt vient d’Audi. Comme c’est une traduction depuis l’allemand, c’est un peu plus difficile à lire qu’un brevet classique.
C’est frustrant qu’il n’y ait aucune information de fond en dehors des affirmations audacieuses mais vagues du communiqué. À lire le discours de PR, on dirait une percée miraculeuse qui va tout changer.
Le communiqué original de Zeiss ajoute seulement à peu près ceci : « La transparence de la couche holographique n’a qu’un impact minimal sur la netteté de la reproduction de l’image. Pour compléter l’image visible, des composantes spectrales peuvent aussi être détectées comme informations supplémentaires. Les données ainsi obtenues fournissent des indications sur les pollutions environnementales telles que la pollution de l’air et l’exposition aux UV. »
Mais par expérience, ce genre d’affirmations audacieuses et vagues s’accompagne en réalité de compromis et de contraintes importants — coût, consommation, fidélité, taille, vitesse — qui limitent le champ d’application. C’est particulièrement vrai dans les premières implémentations d’une nouvelle technologie.
Cela peut tout de même être intéressant et utile. Dommage que le marketing de Zeiss ait choisi de jouer à cache-cache plutôt que de publier une explication technique détaillant les compromis et contraintes en question : il devient presque impossible de réfléchir aux cas où ce serait utile.
Si je pouvais parler à quelqu’un de chez Zeiss, je commencerais par demander dans quelle mesure les composants ajoutés affectent les propriétés optiques du verre, quelle est la résolution des données d’image produites, quelle taille ont les composants en bordure et à quelle distance ils peuvent se trouver de la zone de capture.
J’aimerais aussi savoir comment la sortie du système d’imagerie obtenu se compare aux métriques traditionnelles des appareils photo et objectifs : nombre f, ouverture, taille et densité du capteur d’image, gain, distance focale, etc. Après tout, Zeiss est une entreprise d’optique.
L’article mentionné dans la section de description est lisible ici : https://www.academia.edu/52566311/_title_Volume_phase_hologr...
Les éléments indiqués par 20 et 22 dans les dessins du brevet sont ce type de réseaux, probablement avec des franges inclinées à 45 degrés.
On peut aussi obtenir des informations supplémentaires dans d’autres brevets qui citent celui-ci. Le brevet suivant a été inventé par l’un des co-inventeurs du précédent : https://patents.google.com/patent/DE102019206354A1/en
J’ai cherché quelques minutes, mais Zeiss ne semble encore rien avoir publié en dehors du communiqué de presse : https://www.zeiss.com/corporate/en/about-zeiss/present/newsr...
Le passage « Les surfaces vitrées peuvent aussi produire de l’énergie. Une couche micro-optique dans la vitre absorbe la lumière solaire entrante et la transmet sous une forme concentrée à une cellule photovoltaïque. Cela combine les avantages des fenêtres existantes — lumière naturelle et vue sans restriction — avec l’avantage supplémentaire d’une production d’énergie efficace » est assez génial.
Cela dit, comme il n’y a absolument aucune mention du rendement, cette partie du communiqué donne un peu l’impression d’un tour de passe-passe.
Il suffit de chercher « imagerie en ligne de visée indirecte », c’est-à-dire NLOS. Rien qu’un article public donne déjà ça : https://www.pnas.org/doi/full/10.1073/pnas.2024468118
Quand le niveau publié est déjà celui-là, on se demande ce que les agences de renseignement peuvent bien avoir.
Cette vidéo montre mieux que l’article ce dont ils parlent, je pense : https://www.youtube.com/watch?v=NORPeCcIXRQ