- Des chercheurs de Princeton University et de University of Washington ont mis au point un appareil photo meta-optics de la taille d’un grain de sel, proposant un dispositif d’imagerie 500 000 fois plus petit que les appareils photo classiques offrant une qualité d’image comparable
- Sur une metasurface large de 0,5 mm, ils ont disposé 1,6 million de nano-antennes cylindriques, dans une structure pouvant être fabriquée comme une puce semi-conductrice, ce qui renforce son potentiel de miniaturisation
- Les précédents appareils photo meta-optics étaient limités pour produire des images nettes en plein format couleur avec un grand angle de vue, mais ce dispositif génère des images en couleur et à grand angle d’une qualité proche de celle des appareils photo conventionnels
- Les chercheurs utilisent un pipeline matériel-logiciel intégré : optimisation par IA pour calculer rapidement la conception des nano-antennes, puis réseau neuronal fondé sur la physique pour corriger les aberrations produites par l’appareil photo
- Cela pourrait déboucher sur des endoscopes plus petits, des caméras pour smartphones, wearables et AR/VR, des drones, des matrices transformant toute une surface en caméra, ou encore des télescopes ultralégers pour l’espace
Un appareil photo meta-optics de la taille d’un grain de sel
- Des chercheurs de Princeton University et de University of Washington ont réalisé un appareil photo meta-optics de la taille d’un seul grain de sel
- Cet appareil vise une qualité d’image en couleur comparable à celle des appareils photo existants, tout en étant bien plus petit
- Par rapport à un appareil photo classique capable de capturer un niveau de qualité équivalent, il est 500 000 fois plus petit
- Le dispositif est un système de caméra ultraminiature développé par les chercheurs, fondé sur la technologie metasurface
- La metasurface est parsemée de 1,6 million de piliers cylindriques
- Son procédé de fabrication est similaire à celui des puces informatiques
Les limites des lentilles classiques et l’approche metasurface
- Dans la conception d’un appareil photo, la contrainte centrale est le compromis entre taille et quantité de lumière, puisqu’il faut miniaturiser l’appareil tout en enregistrant suffisamment de lumière
- Les smartphones illustrent bien ce problème : même si le boîtier s’amincit, le module photo grossit et dépasse pour intégrer plusieurs lentilles afin d’améliorer la qualité des images
- Une metasurface est un matériau artificiel capable de contrôler la lumière d’une manière particulière
- Il s’agit d’une structure plane ultrafine d’environ 0,5 mm de large
- Sa surface contient des millions de piliers cylindriques appelés nano-antennes
- Chaque nano-antenne peut être ajustée pour façonner la lumière d’une manière précise
- Les lentilles réfractives standard améliorent leurs performances via la forme de leur surface et les variations de matériau, alors qu’une metasurface peut contrôler la lumière à un niveau sous-longueur d’onde
- Dans cet appareil, la lentille meta-optique mesure 0,5 mm et le capteur 1 mm ; la metasurface unique a été conçue pour offrir une capacité de déviation de la lumière supérieure à celle d’une lentille traditionnelle
Ce qui distingue cet appareil des précédentes caméras meta-optics
- Les chercheurs ne se sont pas concentrés sur le simple concept d’utiliser une metasurface dans un appareil photo, mais sur l’obtention d’une qualité réellement exploitable pour des usages vidéo et photo
- Les approches précédentes n’étaient pas parvenues à concevoir une caméra meta-optics capable de capturer des images nettes en couleur avec un large champ de vision
- Le dispositif est présenté comme le premier nano-optic imager indépendant de la polarisation de haute qualité pour l’imagerie couleur à grand angle
- La qualité d’image est du même ordre que celle d’appareils photo existants pourtant plus grands d’un facteur à un chiffre
Pipeline de conception et de post-traitement fondé sur l’IA
- Les chercheurs ont amélioré conjointement la conception matérielle et le post-traitement logiciel afin de réduire les limites des précédents systèmes d’imagerie meta-optics
- La première étape consiste à calculer la conception des nano-antennes sur la metasurface à l’aide d’un algorithme d’optimisation par IA
- Simuler la réponse optique de la metasurface et calculer les gradients associés coûte cher en calcul
- Les chercheurs ont créé un proxy approchant rapidement la physique de la metasurface pour accélérer la conception
- La deuxième étape consiste à traiter les images capturées par l’appareil à l’aide d’un réseau neuronal fondé sur la physique
- Ce réseau neuronal est entraîné à partir de la physique de la metasurface
- Il permet de supprimer les aberrations produites par l’appareil photo
- Les chercheurs traitent la metasurface comme une couche différentiable optimisable, à la manière d’une couche de réseau neuronal optique calculant avec la lumière
- Le simulateur physique de metasurface et l’algorithme de post-traitement sont combinés dans un pipeline unique
- Ce pipeline est utilisé pour fabriquer un véritable appareil photo meta-optique
- Il reconstruit les images capturées en images couleur de haute qualité
- Pour qu’une lentille fonctionne correctement dans des applications à large bande, une approche couplée au calcul est nécessaire
Applications en santé, électronique grand public et drones
- Le domaine d’application le plus direct est l’imagerie médicale
- Plus une caméra est petite, moins elle est invasive
- Des endoscopes ultraminiatures fondés sur les appareils meta-optics pourraient permettre de nouveaux diagnostics et actes chirurgicaux non invasifs
- Il serait aussi possible d’imager des zones du corps aujourd’hui difficiles d’accès avec les technologies existantes
- Dans le matériel grand public aussi, il serait possible de concevoir des caméras et des lentilles plus petites d’un ordre de grandeur par rapport aux appareils actuels
- L’écran d’un smartphone ou même l’arrière du smartphone pourrait devenir un appareil photo
- Des caméras de haute qualité pourraient être intégrées à la surface de wearables comme des lunettes
- Les casques VR pourraient devenir plus légers et plus épurés
- Les drones pourraient eux aussi être fortement affectés par des caméras plus petites
- Qu’il s’agisse d’usages militaires comme la reconnaissance ou d’usages civils comme la livraison, ils ont besoin de caméras
- Des caméras beaucoup plus petites pourraient permettre des drones plus légers et une consommation de batterie réduite
La possibilité de transformer toute une surface en caméra
- La petite caméra des chercheurs amène à repenser les grandes caméras comme des matrices planes de caméras de la taille d’un grain de sel
- De telles matrices pourraient mener à une approche où la surface elle-même devient caméra
- Des metasurfaces plus grandes pourraient remplacer les lentilles nécessaires aux télescopes
- La fabrication des télescopes pourrait devenir plus simple
- Il pourrait aussi devenir plus facile d’envoyer dans l’espace des lentilles plus puissantes
Méthode de fabrication et matériaux
- Les metasurfaces peuvent être fabriquées avec les mêmes techniques éprouvées que celles utilisées pour produire des puces informatiques
- Aujourd’hui, les puces sont produites sur des wafers, et un même wafer contient des centaines de copies d’une même puce
- Les metasurfaces pouvant être produites de la même manière, le coût par metasurface individuelle pourrait fortement diminuer
- Les chercheurs utilisent un silica wafer comme surface de support et du silicon nitride pour les nano-antennes
- Ces deux matériaux sont compatibles avec les technologies de fabrication des semi-conducteurs actuelles
Pour aller plus loin
- Researchers shrink camera to the size of a salt grain: présentation des travaux de 2021 par Princeton University
- Researchers develop tiny camera the size of a grain of salt – and it could turn your phone into one big camera: article connexe de The Independent
- Neural nano-optics for high-quality thin lens imaging: article scientifique connexe publié dans Nature Communications
1 commentaires
Commentaires sur Hacker News
La formule « produit des images en couleur de qualité équivalente à celle d’un appareil photo classique » me rendait assez sceptique, car l’article ne montrait aucun exemple de prise de vue avec cette nano-caméra, mais l’article scientifique original contient des exemples assez impressionnants
https://www.nature.com/articles/s41467-021-26443-0/figures/2
Le piqué et les couleurs semblent clairement en retrait
Si c’est simplement une reconstruction d’image par réseau de neurones, ce n’est pas très impressionnant, un peu comme quand Samsung collait des photos de la Lune dès qu’il détectait un disque blanc
Il y a quelques années, j’ai entendu un futurologue dire dans une interview qu’un jour, des enfants achèteraient une planche de stickers dans un magasin de jouets, et que chaque sticker serait en réalité une caméra avec une adresse IPv6
On pourrait coller le sticker quelque part, ouvrir cette adresse dans un navigateur, et voir le flux vidéo en direct
L’idée était que les éléments techniques nécessaires existent déjà, mais ne sont pas encore assez bon marché pour le marché de masse, et qu’une fois les économies d’échelle enclenchées, la société devra profondément repenser ce que signifie la vie privée physique
À moins de redéfinir très largement ce qu’on entend par « sticker »
Il va falloir en ajouter une autre à Vernor Vinge
Cette technologie semble pouvoir rendre directement possible la surveillance universelle de A Deepness in the Sky, et mérite donc une attention particulière
Si je me souviens bien, elles faisaient à peu près la taille d’une graine
https://en.wikipedia.org/wiki/The_Peace_War
C’est peut-être parce que d’autres sujets ont capté l’attention et les financements, mais il est aussi possible que la technologie soit désormais assez intéressante pour que beaucoup d’équipes R&D travaillent dessus sous couvert d’accords de confidentialité gouvernementaux
Au passage, le prénom correct est bien « Vernor »
Les caméras y étaient toujours représentées comme bien plus grosses qu’un grain de sable
Dans ce livre, le brouillard utilitaire orphidnet permet une perception et une visualisation universelles
Tout le monde ici pense à la vie privée et à la surveillance, mais moi je me demande si cette technologie permettrait d’accélérer des nano-caméras au laser jusqu’à des vitesses relativistes pour aller photographier d’autres systèmes solaires de près
Même sans aller jusqu’à Proxima Centauri, j’aimerais bien voir davantage de caméras dans notre propre système solaire
https://en.wikipedia.org/wiki/Breakthrough_Starshot
Si c’est vraiment très petit et avec un grand champ de vision, on pourrait sans doute poser une lentille classique au-dessus de la matrice pour fabriquer des caméras de smartphone ultra grand-angle de l’ordre de 160×160 degrés
On pourrait aussi imaginer de très petites caméras autonomes en 360×180 degrés, et quelques caméras dans des lunettes AR permettraient de très bien comprendre l’environnement sur un champ de 360×160 degrés
Une autre application pourrait être de petites caméras plenoptiques
Je ne sais pas si cette technologie s’y prête immédiatement ou s’il faudrait l’adapter, mais des caméras plenoptiques petites et bon marché seraient utiles pour la mise au point après la prise de vue et pour une détection 3D / reconstruction de scène meilleure que la simple stéréo
Quand je lis qu’ils « mettent en œuvre un post-traitement d’image propriétaire basé sur l’IA pour produire des images de haute qualité à partir de la caméra », j’ai du mal à considérer cela comme vraiment comparable à un appareil photo classique au sens intuitif du terme
Upscaling, réduction du bruit, deblurring, ajustement des couleurs, correction des ombres et des hautes lumières : après la pipeline de traitement, il ne reste presque rien de ce que le capteur a vu tel quel
Les caméras de téléphone le font de façon bien plus extrême que les appareils professionnels, mais tout le monde applique ce type de traitement
Cela ne semble pas être une nouveauté
C’est un article publié en 2021, et il avait déjà été posté ici
https://news.ycombinator.com/item?id=29399828
Si c’est réel, on pourrait peut-être intégrer dans un smartphone une matrice de 100 caméras (100×100) et faire des choses intéressantes avec la photographie computationnelle
Appliqué naïvement à 100 capteurs, cela ferait environ 10 minutes, même s’il y a évidemment de la marge pour l’optimisation et le parallélisme
Chaque capteur produit des images de 720×720 px, donc une matrice 100×100 donnerait 720×720 px, soit environ 5 gigapixels
Cela représente énormément de pixels à traiter et à stocker pour un smartphone
C’est pour cela que les pros se promènent encore avec de gros boîtiers plein format plutôt qu’avec un téléphone
Il y a aussi des questions de vitesse pour des usages comme la photo de sport, mais en simplifiant, la vitesse dépend elle aussi du volume de données à traiter et de la résolution
Les capteurs haute résolution posent le problème de fichiers démesurés, sont plus lents à traiter que de petites photos de qualité, et prennent bien plus d’espace de stockage
C’est encore pire en vidéo
C’est probablement pour cela qu’Apple a longtemps conservé un capteur principal de 12 mégapixels
Il y a une belle description du dispositif optique, mais pas grand-chose sur la manière dont l’image est réellement enregistrée
Et il y a en plus cette partie « réseau de neurones »
Je me demande si une IA générative « améliore » l’image en comblant les zones floues avec les pixels statistiquement les plus plausibles
L’article est assez médiocre
On pourrait probablement aussi le faire avec un modèle de calcul standard, mais le coût de calcul serait très élevé
Donc l’« amélioration » est peut-être à comprendre dans un sens similaire à la façon dont le JPEG stocke une image sous une forme avec perte
(2021) Le texte original est ici : https://light.princeton.edu/publication/neural-nano-optics/