Des vidéos IA qui évoluent pour activer au maximum des régions cérébrales ciblées

• NEvo utilise comme modèle de récompense un jumeau numérique du cerveau qui prédit les réponses des aires visuelles, et fait évoluer dans un environnement in silico des vidéos maximisant l’activation prédite d’une région donnée
• Il représente le sujet, l’éclairage, le mouvement et l’ambiance comme des gènes, puis répète sur plusieurs générations la génération, l’évaluation, la sélection, le croisement et la mutation de vidéos candidates
• Pour réduire le coût de calcul, il adopte une approche en deux étapes : trouver d’abord l’image fixe la plus forte, puis explorer séparément le mouvement afin d’en faire une vidéo de 2 secondes
• Les vidéos synthétiques concordaient avec les sélectivités par région connues, comme les visages pour la FFA, les lieux pour la PPA et le mouvement pour MT, et ont enregistré une activation supérieure à celle des vidéos localiseurs créées manuellement et des meilleures vidéos naturelles
• Le long de la voie visuelle latérale allant de V1 à aSTS, les stimuli préférés passent de motifs et mouvements simples à des personnes, des visages et des interactions sociales, avec des caractéristiques sociales et dynamiques de plus en plus marquées

---

Évolution de vidéos utilisant un jumeau numérique comme récompense

• Un jumeau numérique, modèle d’encodage du cerveau, est entraîné pour prédire la réponse de chaque aire visuelle à n’importe quelle vidéo, puis la réponse prédite de la région choisie est utilisée comme récompense pour NEvo
• Chaque vidéo est décrite par un petit nombre de gènes, comme le sujet, l’éclairage, le mouvement et l’ambiance
  • Un lot de vidéos candidates est généré, puis noté avec le jumeau numérique
  • Les candidates les mieux notées sont conservées, croisées et mutées
  • Ce processus est répété sur plusieurs générations pour augmenter l’activation prédite
• Pour éviter le coût d’une exploration simultanée des images et des vidéos, une recherche en deux étapes est effectuée
  • D’abord, l’image fixe unique la plus forte est recherchée
  • Ensuite, le mouvement est exploré pour animer cette image en une vidéo de 2 secondes
• Des stimuli sont synthétisés pour les régions d’intérêt (ROI) standard de la surface corticale ainsi que pour des zones searchlight denses
  • L’exemple PPA obtient un score de 0,767, correspondant au 100,0e percentile par rapport aux images naturelles
  • L’exemple de searchlight rh_5 obtient un score de 1,124, correspondant au 100,0e percentile par rapport aux images naturelles

Sélectivité par région et évolution de la voie visuelle latérale

• Les vidéos de 2 secondes synthétisées pour chaque région correspondent aux stimuli que cette région est connue pour préférer
  • FFA répond aux visages, PPA aux lieux, EBA aux corps
  • MT préfère le mouvement, tandis que V1·V3A préfèrent les motifs
  • pSTS·aSTS répondent à des scènes sociales animées
• Dans l’ensemble des régions, les vidéos NEvo induisent une activation plus élevée que les vidéos localiseurs créées manuellement et que les vidéos naturelles les plus fortes
• Dans toutes les régions, les vidéos en mouvement provoquent une réponse plus élevée que la première image fixe de la même vidéo, confirmant une préférence pour les stimuli dynamiques
• Lorsque le searchlight se déplace de V1 vers aSTS, les stimuli synthétisés et les nuages de mots générés automatiquement passent de motifs et mouvements simples à des personnes, des visages et des interactions sociales
  • Le long de la voie visuelle latérale apparaît un gradient d’augmentation progressive des caractéristiques sociales et dynamiques
• Même dans une expérience partant de disques empilés abstraits, les caractéristiques préférées se séparent selon les régions
  • L’optimisation de pSTS produit des personnages ressemblant à des visages et interagissant entre eux
  • L’optimisation de MT génère du mouvement pur

[GN⁺]

Avis de Hacker News

• La prochaine étape des réseaux sociaux ne peut qu’être terrifiante. Aujourd’hui déjà, ils sélectionnent, parmi des millions de vraies vidéos, les courtes vidéos les plus addictives pour chaque utilisateur, mais ce ne sont que des fléchettes lancées au hasard dans l’espace des possibilités de captation de l’utilisateur, donc ce n’est pas parfait.
  Désormais, avec l’IA, on pourra générer des vidéos addictives personnalisées qui appuient précisément sur tous les interrupteurs du cerveau du spectateur et le gardent accroché pendant des jours comme un zombie. J’espère que la réglementation mettra une pression forte sur les réseaux sociaux afin qu’ils n’osent même pas déployer ce genre de technologie.
  • La menace plus grande que les réseaux sociaux, ce sont Anthropic, OpenAI et Google, à qui les gens livrent jusqu’à leurs pensées les plus intimes. La manipulation psychologique personnalisée à grande échelle que les produits d’IA cloud peuvent offrir n’est pas encore vraiment apparue, et avec suffisamment de temps, je pense que des gens comme Dario Amodei ou Sam Altman finiront par nous la montrer.
    La tendance flatteuse de GPT-4o et la crise de psychose liée à l’IA ont peut-être été une bande-annonce, mais même cela n’était qu’une simple optimisation de l’engagement.
  • Ce que nous faisons à nos cerveaux et à nos enfants pour extraire le dernier centime jusqu’à ce que la Terre brûle n’est pas différent de ce que nous faisons aux cochons dans nos élevages.
  • Plutôt que d’espérer une réglementation, il vaut peut-être mieux espérer que les gens reprennent leurs esprits et n’ouvrent tout simplement plus ces sites.
  • Je suis surpris que Infinite Jest de David Foster Wallace n’ait pas encore été mentionné dans cette discussion. Cela fait des années que j’ai commencé à le lire, mais je ne l’ai toujours pas terminé.
• Au-delà des implications sociales et morales, je suis curieux de la validation empirique de l’article. Ils ont entraîné un jumeau numérique, un modèle d’encodage qui prédit comment chaque aire visuelle réagit à des vidéos arbitraires, puis NEvo utilise ces prédictions comme récompense pour rechercher automatiquement les vidéos qui activeront le plus fortement la région choisie.
  Mais je n’ai pas trouvé s’ils avaient vérifié que les vidéos générées produisent le même schéma d’activation cérébrale que le jumeau numérique lorsqu’on mesure de vraies personnes par IRM. Je suis sceptique quant à la possibilité même d’un modèle capable de prédire de manière fiable l’activation cérébrale à partir d’une vidéo.
  • Recueillir un petit jeu de validation sur des humains serait presque trivialement facile, et le fait qu’ils ne l’aient pas fait est suspect. Dans notre établissement, le coût d’un scan est d’environ 800 dollars de l’heure, et 30 minutes auraient de bonnes chances de fournir assez de données pour valider le modèle.
    Méthodologiquement, ils ont ajusté V-JEPA2 aux données fMRI avec une régression ridge voxel par voxel, ce qui suppose que les réponses visuelles agissent indépendamment sur chaque voxel. Les modèles voxel par voxel sont utiles pour l’inférence statistique, mais ils sont faibles pour la prédiction et la modélisation, car le cerveau ne fonctionne pas comme un ensemble de régions indépendantes. Le signal BOLD est un matériau extrêmement sale, et la conception semble trop simple pour refléter la réalité.
  • Les signaux manqués par la fMRI ne sont pas reflétés dans le jumeau numérique, même s’ils semblent similaires à l’écran ; il y a donc un biais de l’expérimentateur intégré dans la machine, et je me demande même si cette méthode reste falsifiable.
    Les entrées sensorielles réelles, remémorées, virtuelles et imaginées sont traitées très différemment par le cerveau et par le post-traitement sensoriel. Le jumeau numérique ne dispose que d’une partie des données, il risque donc surtout de reproduire des motifs superficiels ; et avec une exposition suffisamment répétée, des circuits qui s’activaient initialement ensemble pourraient être recâblés d’une manière difficile à détecter. Cela dit, l’article lui-même reconnaît presque ces limites, en termes scientifiques, ce qui est intéressant.
  • A. Si l’on ne considère pas les neurosciences elles-mêmes comme une science immorale, il n’y a pas de problème intrinsèque dans ce type de recherche. En tant que neuroscientifique, je m’oppose fortement aux insinuations non étayées de déchéance morale.
    B. Le jumeau numérique est un domaine en plein essor de modélisation cérébrale capable d’approximer des schémas d’activité cérébrale à grande échelle, mais il n’en est pas au point de simuler le cerveau réel tel quel. On utilise généralement des modèles neuronaux approximatifs comme l’intégrateur à seuil, ainsi qu’un équilibre entre populations excitatrices et inhibitrices, et l’on améliore la précision en estimant les connexions axonales de la substance blanche du sujet à partir de l’imagerie de diffusion. Cela sert aussi de plus en plus à modéliser l’effet qu’une intervention chirurgicale pourrait avoir sur la propagation de crises d’épilepsie avant une opération réelle. À ce sujet, l’épisode The Virtual Brain du podcast Theoretical Neuroscience est très bon.
    C. La validation n’a été que partielle. NEVO a optimisé les réponses neuronales uniquement au sein du modèle d’encodage du jumeau numérique, et ce jumeau numérique aurait montré une validité prédictive substantielle, mais il est différent du modèle Virtual Brain mentionné plus haut. Les sorties sont plausibles sur le plan neurobiologique, mais il n’y a ni modèle indépendant ni nouveaux résultats fMRI montrant que les stimuli optimisés activent effectivement les régions ciblées. Comme l’étude a été réalisée à partir de données fMRI existantes, une validation complète est naturellement l’étape suivante, et cet article pourrait aider à obtenir les financements nécessaires.
    D. On sait depuis longtemps produire des stimuli statiques qui activent en moyenne certaines régions cérébrales au-dessus de la ligne de base. Les différences individuelles varient selon les paires stimulus-région ; l’aire fusiforme des visages (FFA) est petite, si bien qu’il faut la localiser chez chaque personne avec des stimuli de visages plutôt qu’avec une simple approche par région d’intérêt, mais sa position peut généralement être identifiée de manière fiable. Les mesures de l’activité cérébrale sont très grossières, qu’il s’agisse des voxels d’environ 3×3×3 mm en fMRI et de la réponse hémodynamique fortement autocorrélée spatialement, ou du champ récepteur d’environ 400 mm² en EEG. Les jumeaux numériques modélisent assez bien la dynamique à cette résolution, et comme il n’y a pas énormément d’information à ce niveau, automatiser cela avec de la vidéo n’est pas un saut déraisonnable.
• C’est très similaire à la discussion de la semaine dernière sur la startup de lecture cérébrale, donc il faut lire l’article avant de réagir. Cet outil vise à réduire le biais de l’expérimentateur qui apparaît quand un chercheur décide : « cette région a probablement telle fonction, donc montrons une vidéo X », et à élucider la fonction des différentes parties du cerveau.
  Après avoir fait regarder diverses vidéos à un sujet pendant plusieurs heures dans un scanner, le modèle construit sa propre représentation des données et cherche les entrées auxquelles une zone donnée réagit le plus fortement. En un sens, c’est une généralisation de la recherche cérébrale classique, qui consistait à présenter des stimuli et à enregistrer les réponses du cerveau pour comprendre l’humain et la cognition.
  • Le « but » d’une recherche n’est-il pas simplement l’usage que les gens espèrent en voir faire ? Je me demande dans quelle mesure on peut vraiment contrôler à quoi elle servira en pratique.
  • Il faudrait un lien ou des informations supplémentaires pour savoir ce qu’est la startup de lecture cérébrale mentionnée ici.
  • Ce type de recherche aide aussi Moonbug Entertainment (Candle Media) à fabriquer un meilleur Distractatron. Le principe consiste à diffuser en boucle, sur un petit téléviseur placé à quelques mètres du grand écran, de banales scènes de 20 secondes comme verser du café ou se couper les cheveux, puis à enregistrer chaque fois que l’enfant détourne le regard d’un programme Moonbug.

Distractatron lui-même n’est pas très intéressant, mais il permet d’identifier le moment précis où l’attention décroche afin d’améliorer le contenu. C’est détaillé dans un article du New York Times et un article du New Yorker

• Même si cette recherche et les intentions des chercheurs ne sont pas immorales en soi, elles peuvent mener à des conséquences terribles. La technologie nucléaire aussi a d’abord été développée avec de bonnes intentions et a apporté de nombreux bénéfices à l’humanité, mais au final les acteurs les plus dangereux se sont retrouvés avec de grandes quantités d’armes nucléaires
• J’ai un exemple personnel montrant qu’il peut être dangereux de surexploiter certaines parties du cerveau. Mon oncle, qui s’occupait de ma tante atteinte de démence, avait été toute sa vie une personne compétente, stable et fiable, mais il a fini par s’effondrer mentalement et connaître un épisode maniaque
  Pendant plus d’un an, il a dû rester en alerte 7 jours sur 7, de peur que ma tante fasse quelque chose de dangereux, comme allumer la gazinière, et le système de vigilance face au danger de son cerveau a été sollicité sans relâche. Je reconnais le caractère scientifique de cette recherche, mais si elle n’est pas strictement encadrée, il y aura forcément des entreprises qui tenteront des attaques de type rowhammer sur le cerveau des gens
  • Il est très probable que la cause ait été le stress plutôt que le surmenage. Le stress peut déclencher des épisodes maniaques chez les personnes ayant une prédisposition biologique, et la charge que représente le fait de voir son conjoint développer une démence et de devenir soudain aidant à plein temps est énorme
    Avec le recul, il y avait peut-être déjà eu des épisodes hypomaniaques, comme une réduction du sommeil, une légère paranoïa ou des accès intermittents d’hyperproductivité. Si c’est récent, j’espère qu’il s’est bien rétabli ; les médicaments de dernière génération pour prévenir et traiter la manie se sont beaucoup améliorés par rapport au passé
  • Cette recherche aide à comprendre le cerveau et à mieux modéliser, par exemple, les zones candidates pour une chirurgie de l’épilepsie, mais elle ne constitue pas une base pour la lecture de pensée. Si les entreprises en étaient au stade de nous faire vivre dans des IRM pour activer de manière fiable des régions du cerveau avec des stimuli précis, nous aurions déjà des problèmes bien plus graves
    Cela dit, d’ici 20 ans, au-delà des électrodes EEG posées sur le cuir chevelu, une augmentation cérébrale combinant des puces implantées dotées d’électrodes neuronales et du calcul IA en réseau pourrait devenir possible. Au début, le cerveau utilisera l’interface pour augmenter l’intelligence, mais si une manipulation à distance inverse le sens du contrôle, la manipulation cérébrale redoutée pourrait devenir réalité. Cette étude reste toutefois à des années-lumière de ce scénario, et il est difficile de les relier sauf à s’opposer à toute technologie
  • Ce qui est resté activé en permanence chez votre oncle était probablement davantage la réaction de lutte ou de fuite dans une situation de soin imprévisible que le surmenage
• Rechercher automatiquement des stimuli supranormaux visuels risque fort d’avoir de mauvaises conséquences
  Cela fait penser aux stimuli supranormaux et à la nouvelle BLIT. L’une des animations V3A ressemble vaguement à ce que je voyais la nuit, juste avant de m’endormir, quand j’étais enfant, même si à l’époque c’était plus proche d’une forme circulaire
  • Dans le vocabulaire façon SCP, on pourrait appeler cela un risque cognitif (cognitohazard). Il y a aussi un lien avec cette théorie mathématique expliquant pourquoi les gens hallucinent
    Dans les structures qui prennent en charge des personnes handicapées intellectuelles, on utilise des lumières vives et d’autres stimuli pour les apaiser et les contrôler, et il me semble que les personnes autistes sont fortement stimulées par les couleurs vives. On ne peut pas affirmer avec certitude que le reste de la population n’est pas vulnérable à ce type de stimuli de contrôle
  • Comme dans Harry Potter, où il y avait un avertissement sur le danger de profiter excessivement de la chance, c’est similaire en ce que les stimuli visuels positifs excessifs peuvent eux aussi être dangereux
• Beaucoup de gens tombent en ligne sur des images atroces, ne serait-ce qu’un instant, et voudraient les oublier toute leur vie. Les images que cette technologie pourrait produire pourraient être réellement terrifiantes, et le niveau que le cerveau ne peut pas supporter est peut-être bien pire que ce que nous avons déjà vu
  • On peut imaginer un futur où, le 9 juin 2032, la startup biotech ReMind réussit une introduction en Bourse record après une démonstration choquante et un petit essai. Elle mettrait en avant un système où la caméra de l’écran identifie la personne qui s’approche, génère à partir de données passées l’image qui aura l’impact le plus intense sur son cerveau, et grave un souvenir avec une précision moyenne de 83 % après une seule exposition
    Elle pourrait lancer ReMind Long-term, qui donne une impression de « traumatisme » pour créer des souvenirs publicitaires de long terme, et ReMind Short-term, qui fonctionnerait comme la version visuelle d’une chanson entêtante pour les promotions à durée limitée. Un avenir radieux où les agences de publicité en commandent des dizaines de milliers et les déploient immédiatement dans les supermarchés, les ascenseurs, les stations-service, les divertissements à bord des avions et les panneaux publicitaires publics
  • On se rapproche de plus en plus du Basilic de Langford
• Parmi mes idées de recherche secrètes, celle-ci fait partie des plus dangereuses et des plus moralement répréhensibles. Si les générations futures demandent pourquoi l’examen par un IRB est devenu obligatoire pour la recherche en informatique, ce genre d’étude en sera la réponse
  Certains chercheurs ne se rendent pas compte du moment où ils sont en train de devenir Fritz Haber
  • Dans l’ensemble, la technologie a toujours réduit notre liberté
• Cherchent-ils vraiment à créer Snow Crash ? Explication liée
• Les algorithmes de flux des réseaux sociaux font déjà cela à grande échelle, sans même avoir besoin de contenu généré. Dans l’océan de contenu créé par les utilisateurs, il y a déjà suffisamment de matériaux qui atteignent le niveau d’activation maximal
  • Le plan consiste à retirer les créateurs de contenu du processus afin de réduire le partage des revenus et d’augmenter les profits
  • Optimiser l’engagement et optimiser l’activation d’une région cérébrale précise chez une personne donnée sont des objectifs d’une catégorie complètement différente
• Le fait de chercher comment capter l’attention des gens n’a rien de nouveau. Les dessins animés des années 1950 utilisaient déjà des animaux mignons, des plans courts et rapides, et de la musique accrocheuse pour faire en sorte que le cerveau « reste assis à regarder »
  Les focus groups publicitaires ont évolué vers des tests A/B visant à repérer les préférences révélées, et les recherches sur les graisses, le sel et le sucre ont donné naissance à une restauration rapide quasi addictive. Cette technologie n’est que la suite logique
  • Les livres aussi sont conçus pour absorber le lecteur, et autrefois on adressait aux livres les mêmes critiques qu’aux écrans aujourd’hui. Je pense qu’il est plus important de comprendre la panique émotionnelle dans laquelle les gens se plongent eux-mêmes que la technologie