What if Eye..? - Et si l’œil… ?
(eyes.mit.edu)- What if Eye...? est un projet qui relance l’évolution dans un univers semblable à un jeu vidéo afin d’explorer, par le calcul, les principes de l’intelligence visuelle biologique et de nouvelles formes d’IA
- Les agents partent d’une seule cellule sensible à la lumière et d’un petit cerveau, puis font évoluer une intelligence visuelle sous de vraies contraintes physiques, corporelles et de survie
- En changeant d’objectif, comme la navigation ou la détection, on peut comparer quelles structures oculaires et quels comportements apparaissent naturellement
- Quand on fait croître ensemble la taille du cerveau et celle de l’œil, on observe un scaling en loi de puissance, mais si la vision devient le goulot d’étranglement, agrandir seulement le cerveau ne suffit plus à améliorer le comportement
- Lorsqu’on active des gènes optiques, une optique de type lentille apparaît de manière répétée et fonctionne comme une solution au compromis fondamental entre collecte de lumière et précision spatiale
Un environnement expérimental pour rejouer l’évolution de la vision
- What if Eye...? part de l’idée que « l’évolution ne s’est produite qu’une seule fois » et recrée computationnellement l’évolution de la vision dans un univers semblable à un jeu vidéo
- L’objectif n’est pas une intelligence visuelle conçue à partir de jeux de données fixes et de biais humains, mais un cadre où le matériel de détection et le logiciel de perception, de raisonnement et d’action émergent au sein de l’environnement
- Les agents commencent avec une seule cellule sensible à la lumière et un petit cerveau
- Ils affrontent des conditions physiques réelles
- Ils subissent les contraintes d’un corps incarné
- Ils font évoluer une intelligence visuelle sous la pression de la survie
- Chaque expérience est structurée comme une hypothèse
- Elle pose une question de type what-if ou une condition contrefactuelle
- Elle fait évoluer des agents incarnés dans un moteur physique semblable à un jeu vidéo
- Elle observe quels yeux et quels comportements apparaissent
Les conditions dans lesquelles l’œil et le cerveau évoluent ensemble
- Lorsque l’objectif visuel change, les agents évoluent dans un monde avec seulement deux tâches
- NAVIGATION : l’objectif est d’aller vers la gauche aussi vite que possible tout en évitant les murs du labyrinthe, qui servent d’obstacles
- DETECTION : l’objectif est de détecter la nourriture et d’éviter le poison
- Dans les conditions où le cerveau reste petit tout au long de l’évolution, un scaling en loi de puissance apparaît entre la capacité neuronale et la performance sur la tâche lorsque la taille de l’œil et celle du cerveau augmentent ensemble de manière systématique
- Cette relation ne tient que si la résolution visuelle augmente elle aussi
- Si la résolution visuelle est le goulot d’étranglement, agrandir seulement le cerveau ne conduit pas à un meilleur comportement
- Dans les conditions où l’œil peut réfracter la lumière, les gènes optiques sont activés
- Sans optique, une stratégie de trou d’épingle permet déjà de rendre l’image plus nette, mais au prix d’une perte de lumière, ce qui impose rapidement une limite
- Avec l’optique, des lentilles apparaissent comme solution au compromis entre collecte de lumière et précision spatiale
- Le génotype intégré inclut à la fois le hardware du capteur visuel physique et le software des composants d’apprentissage
- Les gènes morphologiques déterminent les caractéristiques d’échantillonnage spatial, comme la position des yeux et l’angle du champ de vision
- Les gènes optiques gèrent les interactions avec la lumière, comme le nombre de photorécepteurs, les éléments optiques et la taille de la pupille
- Les gènes neuronaux définissent la capacité d’apprentissage
- Le fait de séparer ces trois groupes de gènes pour permettre des mutations indépendantes aide à explorer des trajectoires évolutives réalistes
Ressources publiques et présentations
- Le projet propose un article scientifique, une feuille de route, des présentations, des outils open source et une exposition publique
- Les principales publications sont les suivantes
- Computationally Recreating Vision Evolution : article évalué par les pairs dans Science Advances, qui présente la configuration expérimentale complète, les résultats et l’analyse de l’évolution
- A Roadmap for Generative Design of Visual Intelligence : texte publié chez MIT Press qui explique pourquoi l’intelligence visuelle devrait être générée plutôt que conçue à la main, ainsi que les applications et l’approche proposée
- Designing Imaging Systems with Reinforcement Learning : article ICCV proposant une méthode de co-conception de systèmes d’imagerie et de modèles perceptifs spécialisés par tâche à partir du feedback de l’environnement
- Emergence of foveal image sampling from learning to attend in visual scene : article NeurIPS montrant que l’échantillonnage d’images fovéal émerge lorsqu’on apprend à porter attention à une scène visuelle
- Designing neural network architectures using reinforcement learning : article ICLR sur la conception d’architectures de réseaux de neurones par apprentissage par renforcement afin d’améliorer les performances sur des tâches visuelles
- The First Signs of Vision : mémoire MIT de Cathy Chang sur une simulation interactive de l’évolution de la vision animale, de l’explosion cambrienne à aujourd’hui
- Les présentations publiques incluent les éléments suivants
- Brian Cheung : "The Emergence of Convergence in Different Levels of Biology and AI", présentation au Symposium on the Platonic Space
- Kushagra Tiwary : "Embodied Eyes For Scientific Discovery: Generation and Verification Loops to ask the "why" questions in vision", présentation au Redwood Center de l’UC Berkeley
- Kushagra Tiwary : "What-If Machines for Vision: Evolving Eyes and Brains with AI", présentation à Imagination in Action
- Une présentation Tedx explorant les implications plus larges de ce travail sur l’évolution de l’intelligence visuelle avec des agents artificiels
- Des éléments de code et d’exposition sont également proposés
- Simulator : outil open source permettant d’exécuter le simulateur d’évolution, de définir de nouvelles tâches et de faire évoluer soi-même des agents incarnés
- Colab Notebook : notebook interactif pour expérimenter avec les agents cambriens dans le navigateur, pas encore publié à ce jour
- Video Exhibition : exposition participative permettant aux visiteurs de faire directement l’expérience d’une vision en évolution
- Cette collaboration bénéficie du soutien du MIT GenAI Impacts of Generative AI Grant
1 commentaires
Avis sur Hacker News
Au lycée, un professeur d’informatique nous avait fait un cours sur les yeux des limules.
Il disait que les yeux des limules ne peuvent pas voir ce qui est plus grand que leur champ de vision, si bien qu’elles mangent les petites créatures et ignorent les grandes ; pour l’illustrer, il avait utilisé un modèle de réseau neuronal dans Excel.
C’était un excellent professeur : il nous a appris à cultiver la curiosité et l’intuition en informatique, et nous a aussi fait découvrir Donald Knuth, TeX, etc.
Peut-être est-ce comparable au fait que, chez l’humain, si un objet suffisamment grand et uniformément lumineux se trouve juste devant les yeux, il est difficile de dire qu’on le « voit » vraiment.
Dawkins explique aussi ici, de façon concise, l’évolution de l’œil : https://www.youtube.com/watch?v=2X1iwLqM2t0
Cette condition est si élémentaire que le passage de zéro à « une couche de cellules sensibles à la lumière » peut sembler presque trivial, mais en réalité il ne l’est pas.
Avant cela, il faut des protéines photoréceptrices, un système nerveux ou une voie de traitement du signal fonctionnels, un dispositif capable de convertir l’absorption de lumière en signal électrique, ainsi qu’un système coordonnant ce signal avec le reste de l’organisme.
C’est sans doute davantage une question de physique ou d’informatique que de biologie, mais je me demande combien de temps il nous reste avant de disposer de simulateurs physiques assez bons pour refaire, à l’échelle d’un organisme entier, le type d’expérience que le MIT a menée sur l’œil.
Si cela devient possible un jour, et que l’on peut entrer la physique de la Terre pour obtenir en sortie des organismes à peu près comparables à ceux de la Terre, alors on pourrait aussi entrer la physique d’exoplanètes pour en déduire à quoi pourraient ressembler leurs formes de vie.
À mon avis, on est encore assez loin de pouvoir modéliser toute la complexité d’un organisme entier. Mais si l’objectif est de répondre à une question de recherche, on peut déjà modéliser des versions plus simples, comme cette équipe l’a fait pour étudier l’évolution de la vision.
Récemment, C. elegans a été modélisé en 3D avec tous ses neurones et neurotransmetteurs, et il réagissait à des stimuli virtuels comme un vrai ver (https://www.nature.com/articles/s43588-024-00738-w).
Un organisme isolé, c’est déjà possible, mais faire évoluer de tels êtres en 3D prendra probablement plus de temps. Pour précision, je ne suis pas informaticien de formation, juste un passionné.
Tout dépend du degré d’exactitude que l’on veut donner au modèle ; si l’on pense à un niveau vraiment idéal, je dirais qu’il faudrait l’informatique quantique pour que de telles simulations aient du sens.
L’idée de lois, comme celles qui s’appliquent en mathématiques, peut ne pas convenir aux organismes vivants, car ceux-ci s’expliquent par la téléologie. Le cœur ne fait pas circuler le sang par hasard : il bat afin de faire circuler le sang pour oxygéner le corps.
De même, le fait que les êtres vivant dans des climats froids aient généralement une fourrure épaisse ne signifie pas qu’une fourrure épaisse implique nécessairement un climat froid. Certains mammifères occupent, dans certains écosystèmes, la niche écologique qu’occupent les oiseaux dans d’autres, tandis qu’ailleurs ce sont des poissons qui jouent ce rôle. En Nouvelle-Zélande, des oiseaux occupent parfois des niches qui, dans d’autres écosystèmes, seraient remplies par des mammifères.
Je ne suis pas sûr que la biologie puisse devenir une science purement inductive.
Les vidéos YouTube liées à ce sujet sont aussi assez amusantes : https://www.google.com/search?q=simulating+evolution+muscles
En général, c’est en 2D ou avec de fortes simplifications. Si l’on essaie de faire évoluer un « vrai » organisme, la complexité risque d’exploser très vite, même en ignorant le « cerveau ».
Cela me rappelle l’« Autoverse » dans Permutation City (1994) de Greg Egan. Si cet article vous a plu, je le recommande vivement.
Fait intéressant à propos de l’évolution des yeux : le point noir visible sur l’œil d’une libellule n’est ni une pupille qui vous suit, ni un changement de l’œil lui-même.
En réalité, vous regardez de face la structure en colonnes de l’œil de la libellule. Elle capture la lumière très efficacement, ce qui la fait paraître noire, et elle est très proche de la limite physique en matière d’efficacité.
D’après mon expérience de création de simulateurs de vie artificielle dans les années 90, il y a trop d’éléments du modèle qui dépendent des paramètres introduits par l’auteur de la simulation.
Si l’on part de cellules sensibles à la lumière et que l’on crée un algorithme génétique récompensant les agents qui traversent bien un labyrinthe, on finit par obtenir des agents qui « évoluent » en utilisant plusieurs cellules photosensibles comme des yeux.
Reste à savoir si cela nous apprend vraiment quelque chose sur l’évolution ou la vie, ou seulement sur la simulation que l’on a configurée.
Ici, on est plus proche d’un modèle que d’une simulation : un modèle qui cherche à expliquer un phénomène réel précis de la manière la plus ciblée et concise possible.
Ce que l’on peut en tirer, c’est que deux types d’yeux — les yeux composés et les yeux de type caméra — peuvent être modélisés, avec un minimum d’éléments de réglage anatomique, à partir d’un ensemble de 3 tâches spécifiques.
On peut alors comparer et mettre en contraste les preuves explicites issues du modèle, et voir comment ce genre d’explication s’articule avec les explications moins définitives obtenues par les méthodes de la biologie évolutive. Cela peut être réellement utile.
Une bonne analogie serait de voir si des portes logiques, des verrous et des horloges suffisent à expliquer l’« émergence » des microarchitectures superscalaires modernes. Autrement dit, il n’est pas nécessaire de modéliser tout le chaos analogique qui apparaît quand on injecte de hautes fréquences dans un circuit physique.
La bonne question est probablement de savoir si cette connaissance est totalement inutile, ou si elle pourra aider à quelque chose plus tard.
Avec un titre comme « from scratch », je m’attendais à voir aussi le photorécepteur unique évoluer à partir d’autre chose.
J’ai mis en miroir le site web en attendant qu’ils règlent le problème de leur côté : https://cambrian.pages.dev/
Le site semblait cassé — le dépôt a peut-être été supprimé ? — donc j’ai dû passer par ici à la place : https://eyes.mit.edu/ACI/
Et l’article scientifique dont traite ce site est ici : https://arxiv.org/pdf/2501.15001
Je suis l’auteur. Si vous avez des questions, j’y répondrai.