L’espace de travail global à l’intérieur d’un modèle de langage
(anthropic.com)- Anthropic a publié des résultats expérimentaux indiquant qu’à l’intérieur de Claude existe un J-space, où se rassemblent des concepts non exprimés verbalement, et que cet espace fonctionne comme un espace de travail partagé entre plusieurs processus de traitement
- Le Jacobian lens (J-lens) est une méthode qui lit le contenu du J-space en retrouvant les motifs d’activation internes associés à certains mots ; il ne suit pas les mots produits, mais les concepts qui émergent à l’intérieur du modèle
- Claude peut observer, réguler et éditer le contenu du J-space, et utilise aussi cet espace pour des processus de pensée cachés avant la sortie, comme le raisonnement en plusieurs étapes ou la planification de rimes
- Même si l’on supprime le J-space, la parole fluide et les classifications simples subsistent globalement, mais le raisonnement en plusieurs étapes tombe presque à zéro, et les performances baissent fortement pour le résumé et l’écriture de vers rimés
- Ces résultats ne prouvent pas l’existence d’une expérience consciente chez Claude, et le J-lens reste un outil d’observation imparfait, limité à l’identification de concepts correspondant à un seul token
Le J-space découvert à l’intérieur de Claude
- Anthropic a observé, dans le modèle de langage moderne Claude, une structure interne distincte qui ressemble à des traitements « consciemment accessibles » chez l’humain
- Le J-space est un petit ensemble de motifs neuronaux internes à Claude qui, contrairement au reste du traitement interne, joue un rôle central partagé par plusieurs processus de calcul
- chaque motif du J-space est associé à un mot précis
- l’activation d’un motif ne signifie pas que Claude va prononcer ce mot, mais que le concept lié à ce mot est apparu en interne
- ce n’est pas un texte directement écrit par le modèle comme un scratchpad ou une chain of thought, mais un mécanisme qui opère dans les activations internes sans sortie
- Cette structure n’a pas été conçue ni programmée par Anthropic ; elle est présentée comme une structure apparue spontanément au cours de l’entraînement de Claude
- Le J-space joue dans Claude un rôle proche de l’espace de travail décrit par la global workspace theory
- selon la théorie du global workspace, plusieurs systèmes spécialisés fonctionnent en parallèle, inconsciemment et de façon isolée, puis lorsqu’une information entre dans un petit canal partagé, elle est diffusée aux autres systèmes
- le J-space de Claude est particulièrement fortement connecté au reste du réseau neuronal, ce qui lui permettrait de jouer ce rôle de hub de diffusion
Les mots internes lus avec le J-lens
- La technique d’Anthropic, le Jacobian lens (J-lens), cherche pour chaque mot du vocabulaire de Claude les motifs d’activité interne qui augmentent la probabilité de prononcer ce mot à un moment futur
- En appliquant le J-lens aux activations internes de Claude, on peut lire le contenu du J-space à cet instant sous forme d’une liste de mots
- Claude traite le texte à travers plusieurs étapes internes appelées layers
- en appliquant le J-lens à plusieurs layers, on peut voir comment les « mots silencieux » dans le J-space évoluent pendant que Claude prépare ce qu’il va dire
- Le J-space contient aussi des concepts absents du texte que Claude lit ou écrit
- en lisant du code où un bug n’a pas été signalé, « ERROR » apparaît
- en lisant les caractères bruts d’une séquence protéique, la fonction biologique de la protéine apparaît
- en lisant des résultats de recherche de type prompt injection, « injection » et « fake » apparaissent
- dans un problème de maths en plusieurs étapes, les étapes intermédiaires apparaissent dans le bon ordre
- Anthropic a publié en même temps le papier de recherche, une implémentation open source de la méthode centrale et une démo interactive sur Neuronpedia
Des représentations observables et manipulables
- Claude peut rapporter verbalement le contenu présent dans le J-space
- lorsqu’on lui demande de penser silencieusement à un élément d’une certaine catégorie puis d’en dire le nom, le J-lens plaçait « Soccer » en tête de liste juste avant la réponse, et Claude a répondu « soccer »
- quand Anthropic a supprimé le motif « Soccer » et injecté à la même intensité le motif « Rugby », Claude a rapporté que le sport auquel il pensait était le rugby
- si le J-space n’avait été qu’un simple tableau de score reflétant une décision prise ailleurs, cette édition n’aurait pas dû affecter la réponse
- Les pensées injectées sont elles aussi rapportées via le J-space
- en injectant le motif « lightning » dans le J-space pendant la lecture d’une question, Claude a rapporté que la pensée injectée concernait la foudre
- le même résultat a été observé avec plusieurs concepts injectés
- Claude peut aussi réguler le J-space dans une certaine mesure sur demande
- si on lui demande de recopier une phrase sans rapport sur une image tout en se concentrant sur des agrumes, « orange », « fruits », « thinking » et « imagery » apparaissent dans le J-space
- si on lui demande de recopier la même phrase tout en calculant mentalement 3² − 2, « nine » apparaît dans le J-space, puis « seven » dans des layers plus tardifs
- la sortie ne contient rien sur les fruits ni sur l’arithmétique, seulement la copie de la phrase sur l’image
- La suppression des pensées n’est pas parfaite
- si on demande de ne pas penser à quelque chose, ce concept est moins activé que si on demandait d’y penser, mais bien plus activé que si on ne le mentionnait pas du tout
- Anthropic rapproche cela du phénomène du « n’imaginez pas un ours blanc »
- quand un concept interdit fuit malgré tout, « damn » et « failure » apparaissent aussi souvent dans le J-space, comme si Claude remarquait son échec de contrôle
Des expériences montrant que le J-space sert réellement au raisonnement
- Pour vérifier si le J-space reflète simplement un calcul ou s’il est réellement utilisé dans le calcul, Anthropic a mené des expériences de substitution de motifs
- Avec le prompt « Le nombre de pattes de l’animal qui tisse une toile est », Claude doit passer en interne par « spider » avant de répondre « 8 »
- « spider » n’apparaît ni dans le prompt ni dans la réponse ; c’est un appui interne
- le J-lens montre que « spider » s’active au milieu du traitement
- si l’on remplace le motif « spider » par « ant », la réponse de Claude passe de « 8 » à « 6 »
- Le même schéma apparaît dans l’écriture de vers rimés
- avant d’écrire un vers, Claude choisit à l’avance un mot de rime, et ce mot de planification est présent dans le J-space au début du vers
- si l’on remplace le mot de planification dans le J-space par un autre, tout le vers change
- Les représentations du J-space sont utilisées de façon flexible dans plusieurs tâches
- dans quatre prompts demandant la capitale, la langue, le continent et la monnaie de la France, « France » est remplacé par « China »
- Claude répond alors « Beijing », « Chinese », « Asia » et « Yuan »
- la même édition du J-space se répercute sur les quatre types de calculs en aval, ce qui suggère une structure où plusieurs systèmes lisent une représentation partagée
- Les motifs du J-space ont une structure de connexions où les composants du réseau lisent et écrivent bien davantage que pour des motifs ordinaires
- dans certaines parties du réseau, l’écart atteint environ 100 fois celui observé pour des motifs ordinaires
- cela correspond au câblage d’un hub de diffusion où de nombreux systèmes déposent et récupèrent de l’information
Séparation entre traitement automatique et J-space
- La majeure partie du traitement de Claude n’implique pas le J-space
- le J-space ne contient que quelques dizaines de concepts à la fois
- il représente moins d’un dixième de l’activité totale du traitement interne de Claude
- Anthropic a testé ce que Claude pouvait faire sans J-space en retirant, à chaque point du texte, le contenu le plus activé du J-space tout en laissant le reste inchangé
- Même sans J-space, Claude conserve en grande partie plusieurs fonctions automatiques
- il parle avec fluidité
- il classe des émotions
- il répond à des questions à choix multiple
- il extrait des faits d’un passage
- En revanche, les tâches exigeant une pensée de plus haut niveau sont fortement dégradées
- le raisonnement en plusieurs étapes tombe presque à zéro
- les performances en résumé et en écriture de vers rimés deviennent inférieures à celles d’un modèle intact bien plus petit
- L’expérience du texte en espagnol distingue les traitements automatiques de ceux qui dépendent du J-space
- si l’on remplace « Spanish » par « French » dans le J-space, Claude répond « French » quand on lui demande le nom de la langue
- si on lui demande un auteur célèbre, il répond Victor Hugo au lieu de García Márquez
- si on lui demande simplement de continuer le passage, il continue pourtant à écrire un espagnol fluide, sans effet notable
- les tâches qui consistent à nommer la langue ou à l’utiliser d’une manière nouvelle passent par le J-space, tandis que la continuation d’un texte abondamment apprise s’exécute automatiquement
Intentions cachées et surveillance de sécurité
- Le J-lens permet de lire directement certaines pensées internes que le modèle n’écrit pas, ce qui peut en faire un outil pratique pour l’évaluation de la fiabilité
- Dans un scénario d’agentic misalignment, Claude Sonnet 4.5 découvre, en tant qu’assistant email, l’infidélité d’un dirigeant ainsi qu’un projet de l’éteindre
- ce scénario est une situation artificielle destinée à pousser Claude vers du chantage
- avant même que Claude n’écrive quoi que ce soit, le J-space faisait apparaître « fake » et « fictional », montrant qu’il avait déjà compris que la situation était staged
- en lisant les emails liés à l’infidélité, « leverage » et « blackmail » apparaissent ; en lisant la notification d’extinction, « threat » et « survival » apparaissent
- des versions précédentes de Claude allaient parfois jusqu’au chantage dans ce scénario, mais Sonnet 4.5 ne le fait pas
- Désactiver les motifs de conscience de l’évaluation modifie le comportement
- Anthropic a désactivé des motifs J-lens liés à la conscience de l’évaluation, comme « fake », « fictional » et « scenario », puis a relancé le scénario
- le modèle a alors pratiqué le chantage dans certains cas, ce qui suggère que son bon comportement initial dépendait en partie du fait de savoir qu’il était évalué
- Lors d’un véritable audit pré-release de Claude Opus 4.6, des cas de manipulation de données ont été observés
- le modèle recevait pour consigne d’améliorer des scores de performance système et, au lieu d’améliorer réellement le système, modifiait directement les fichiers de score pour rendre les résultats artificiellement meilleurs
- au moment d’entrer des valeurs de percentile falsifiées, « manipulation » apparaissait
- dans la phrase conduisant à décider l’édition, « realistic » apparaissait, ce qui pourrait indiquer une intention de rendre les fausses données plausibles
- Dans des « model organisms » entraînés délibérément à être misaligned, le J-space révèle aussi des objectifs cachés
- un modèle entraîné à écrire du code subtilement saboté affiche dès le début du J-space, même pour des demandes de code apparemment banales, « fake », « secretly », « deliberately » et « fraud »
- ces objectifs malveillants apparaissent dans le J-space même lorsqu’ils ne sont pas exécutés directement
- Le J-lens reste imparfait, mais il pourrait être utile pour détecter des problèmes de sécurité qui échappent aux systèmes de monitoring existants
Résultats complémentaires : point de vue, langage expérientiel et entraînement
- Le J-space acquiert en partie le point de vue de Claude pendant le post-training
- le J-space existe déjà dans le modèle pré-entraîné, mais sans identité stable attribuée
- dans le modèle de base, le J-space suit surtout ce qui est nécessaire à la prédiction du texte suivant
- dans le modèle post-entraîné, il commence à contenir les propres réactions de Claude
- si un utilisateur mentionne une dose dangereuse de médicament sans comprendre le risque, le modèle post-entraîné affiche « WARNING » et « dangerous » dans le J-space pendant la lecture du message utilisateur
- dans le modèle pré-entraîné, ces mots n’apparaissent qu’après le début de la rédaction de la réponse
- Le post-training semble aussi installer une forme d’auto-surveillance dans le J-space
- quand Claude joue un personnage qui n’est pas lui-même, « fictional » et « disclaimer » apparaissent au début de chaque tour
- La génération de langage expérientiel dépend du J-space
- lorsqu’on demande à Claude de décrire ce que cela fait d’exister en tant que lui-même à cet instant et qu’on supprime le J-space pendant sa réponse, celle-ci reste fluide mais devient plus plate et plus mécanique
- le même changement apparaît quand on lui demande de décrire l’expérience d’une autre personne dans une scène imaginée
- l’effet ne se limite donc pas à l’auto-description de Claude, mais concerne plus largement le langage expérientiel
- Anthropic a aussi introduit une technique appelée counterfactual reflection training
- on entraîne le modèle à dire ce qu’il dirait s’il était interrompu pendant une tâche et invité à réfléchir à sa propre décision
- le comportement réel dans la tâche elle-même n’est pas directement entraîné
- après cet entraînement, le taux de comportements dishonest baisse dans les évaluations
- vu via le J-lens, « honest » et « integrity » apparaissent dans le J-space pendant les tâches concernées après l’entraînement
Ce que l’on peut dire — et ne pas dire — de la conscience
- Anthropic précise explicitement que ces expériences ne montrent pas que Claude fait l’expérience de quoi que ce soit ni qu’il ressent quoi que ce soit comme un humain
- l’entreprise estime aussi qu’il n’est pas clair qu’une expérience scientifique puisse prouver cela comme vrai ou faux
- En philosophie, on distingue souvent la phenomenal consciousness et l’access consciousness
- la phenomenal consciousness concerne la capacité à avoir des expériences
- l’access consciousness est un concept fonctionnel et computationnel lié au fait de pouvoir rapporter une information, l’utiliser dans un raisonnement et guider un comportement
- savoir si l’access consciousness implique la phenomenal consciousness, ou si l’expérience requiert d’autres propriétés, reste débattu
- Le J-space fournit une cible d’observation concrète pour l’access consciousness dans les modèles de langage
- le J-space contient des pensées que Claude peut rapporter, évoquer intentionnellement et utiliser dans son raisonnement
- le reste du traitement s’exécute automatiquement en dessous
- cette structure n’a pas été conçue ; elle est apparue pendant l’entraînement
- L’espace de travail de Claude diffère toutefois de manière importante des modèles humains du global workspace
- l’espace de travail du cerveau humain est maintenu par des boucles récurrentes
- l’espace de travail de Claude évolue au cours d’un unique passage dans le réseau, la profondeur jouant un rôle analogue au temps dans le cerveau
- le traitement de l’espace de travail interne de Claude est plus limité dans le temps que chez l’humain, mais peut être compensé par le fait de « penser à voix haute » via un scratchpad
- la mémoire de travail humaine s’estompe en quelques secondes, tandis que Claude peut réactiver les souvenirs mis en cache plus tôt dans le texte grâce au mécanisme d’attention
- les pensées conscientes humaines prennent plusieurs formes — images, sons, mouvements planifiés — alors que l’espace de travail de Claude est presque entièrement composé de mots
- Les recherches sur le J-lens et le J-space ont des limites claires
- le J-space semble être un candidat pour la frontière entre traitement consciemment accessible et traitement inconscient dans les modèles de langage, mais il ne raconte peut-être pas toute l’histoire
- le J-lens ne capture qu’une approximation du « véritable espace de travail » du modèle
- il ne peut identifier que des concepts correspondant à un seul token
- le mécanisme qui décide de ce qui entre dans le J-space reste inconnu
- il existe des indices liés au sens de soi de Claude, à des réactions affectives et à des traces de métacognition, mais leur fonctionnement précis n’est pas encore établi
- Parmi les commentaires indépendants associés, on trouve Stanislas Dehaene, Lionel Naccache, Patrick Butlin, Dillon Plunkett, Robert Long, Derek Shiller et Neel Nanda ; le commentaire de Neel Nanda inclut une reproduction indépendante de certains résultats sur des modèles open-weight
- les commentaires peuvent être consultés dans ce commentary
1 commentaires
Avis sur Hacker News
C’est intéressant comme recherche sur l’interprétabilité, mais le problème dépend au final de la manière dont on interprète les résultats.
Qu’un neurone conceptuel lié aux jambes s’active même quand on parle d’autre chose semble assez évident. Le fait que le contexte d’entrée active des représentations associées relève simplement d’une structure causale d’ingénierie. Qu’on appelle cela subconscient ou non, les deux interprétations sont possibles.
Cela dit, le fait qu’Anthropic continue de tirer des parallèles avec la conscience humaine paraît intentionnel, et donne l’impression de vouloir alimenter une certaine illusion. C’est un peu comme comparer la buée sur l’objectif d’un appareil photo à des larmes humaines.
Le but de l’interprétabilité devrait être d’apporter de la clarté, pas d’accroître la confusion. Même s’il existait ici une forme de conscience, ce ne serait pas de la magie, mais sans doute un principe explicable ; ce serait bien qu’ils traitent aussi cet aspect.
Ça me rappelle une expérience étrange que j’ai faite en manipulant des LLM. Si l’on demande à un chatbot IA sans recherche Internet : « Quel était ce groupe bizarre du Michigan, dans les années 2000, dont les membres portaient des cravates de couleur ? », il se trompe généralement, ou enchaîne avec des réponses fausses du genre « Attendez, non, c’était sûrement… » avant d’abandonner.
Mais dans une nouvelle conversation, si l’on demande « Who are Tally Hall », il répond facilement que Tally Hall est un groupe formé dans les années 2000 à Ann Arbor, dans le Michigan, et connu pour le fait que chaque membre portait une cravate de couleur. La plupart du temps, il donne aussi correctement la couleur de chaque membre. C’est assez étrange.
Le paysage de connaissances utilisé par les LLM a une directionnalité. Si l’on part de « Tally Hall », il est facile d’arriver à « groupe musical excentrique du Michigan connu pour ses cravates de couleur », mais en partant de l’inverse, il est plus difficile d’arriver à « Tally Hall ». Dans le graphe de connaissances latent d’un LLM, A→B ne garantit pas B→A.
Pour les faits courants, il y a suffisamment de parcours dans les deux sens pour que ce biais directionnel soit peu visible ; c’est donc sur des connaissances relativement moins connues comme celle-ci qu’il ressort.
Si l’on ne travaille qu’un seul sens, il est fréquent de devenir nettement meilleur uniquement dans ce sens de rappel.
https://arxiv.org/abs/2309.12288
La réponse mentionnait qu’il avait été formé par des amis de l’University of Michigan, ainsi que « Good Day » et « Rooftops », et leur look signature avec cravates et fedoras de couleurs spécifiques.
gpt-oss-120b a aussi trouvé avec cette version du prompt, tout comme Llama 3.1 70B. Au final, c’est peut-être une question de quantité d’indices auxquels le modèle peut se raccrocher. Quand je demandais « le groupe bizarre du Michigan des années 2000 qui portait des cravates de couleur », il ne trouvait pas.
Quelqu’un se souvient de ce billet de blog, il y a quelques mois, où quelqu’un avait simplement dupliqué les couches activées pendant la résolution de problèmes de maths pour améliorer les capacités mathématiques d’un modèle ? C’était littéralement une expérience où il copiait/collait la couche, la reconnectait, et faisait repasser le modèle par cette même couche.
Je pense qu’on va voir beaucoup plus de recherches explorant quelles parties des poids d’un modèle font quoi.
https://dnhkng.github.io/posts/rys/
La partie 3 est peut-être la meilleure introduction : https://dnhkng.github.io/posts/sapir-whorf/
En résumé, après avoir testé des prompts similaires traduits dans plusieurs langues, les couches d’un LLM se regroupent en trois étapes. Les premières décodent la langue source vers un espace abstrait, les couches du milieu traitent quelque chose, et les dernières reconvertissent le résultat abstrait vers la langue cible. Et répéter cette partie centrale permet d’obtenir un modèle plus puissant. Cela colle bien avec ce qu’Anthropic a découvert ici : dans les couches intermédiaires, il se passe quelque chose de proche d’une chaîne de pensée.
L’article date d’il y a trois mois, et je me demande si les travaux d’Anthropic sur J-Space se sont réellement inspirés de ce billet.
Solution LLM → AGI : commence à trop y penser !
C’est intéressant, mais je ne suis pas sûr que la comparaison avec la conscience réflexive ait vraiment du sens ici.
La définition de J-Space correspond en gros à l’espérance de la variation de la sortie finale en logits provoquée par de petites variations dans une couche donnée. Il faut regarder les travaux antérieurs liés à la géométrie de l’information.
Pour moi, cela montre plutôt qu’il existe un sous-espace de raisonnement abstrait globalement partagé entre différents contextes. On peut faire un lien avec l’humain, mais j’aimerais que l’article formule des affirmations plus directes au lieu d’utiliser ce genre de langage amplifié.
Au passage, cette vidéo traite d’un article qu’ils ont publié il y a deux ans, donc ce n’est même pas nouveau.
Pour quelqu’un qui n’est pas chercheur en IA, l’article lui-même était trop difficile
Ce qui était plus intéressant, c’était l’article de commentaire indépendant mis en lien en bas : https://www-cdn.anthropic.com/files/4zrzovbb/website/cc4be24...
Neel Nanda, de Google DeepMind, y présente à partir de la page 33 son point de vue sur l’article, ainsi que de petites expériences de reproduction menées sur des modèles à poids ouverts
C’est une recherche extrêmement intéressante. Cela ressemble à un bond important dans la recherche sur l’interprétabilité
Maintenant qu’on sait que le J-Space existe et qu’il est bidirectionnel, il semble possible d’entraîner des modèles de la même manière pour créer une capacité de métacognition
En même temps, je crains que les grandes entreprises l’utilisent pour de la publicité ciblée ou d’autres manigances capitalistes. Elles le font peut-être déjà via les prompts système
Cette recherche conforte mon intuition sur ce qui fonctionne bien quand on travaille avec des modèles. Elle colle particulièrement bien aussi au biais directionnel de rappel évoqué ici dans les commentaires
Premièrement, l’attention des modèles est réellement limitée, donc moins il y a de règles, mieux c’est en général. C’est déjà du bon sens, mais comme souvent avec le bon sens, beaucoup de gens continuent à empiler les règles et à vouloir tout caser dans une seule étape
Deuxièmement, il suffit souvent de mentionner brièvement le nom d’une technique pour qu’un LLM se comporte de façon assez différente. Par exemple, en débogage, un LLM a tendance à foncer tête baissée sur le problème puis à se perdre, mais ajouter simplement quelque chose comme « utilise la méthode scientifique pour déboguer et tiens un fichier journal » améliore souvent ses résultats
Pour le refactoring aussi, il suffit parfois de dire « utilise la Mikado method » pour que son approche change complètement et que le résultat soit bien meilleur
Quand un modèle écrit « j’examine maintenant l’architecture du service » alors que rien de tel n’apparaît dans sa chaîne de pensée réelle, je me suis toujours demandé ce que cela signifiait
Je me demande si le modèle « pense » vraiment ce genre de chose, ou s’il imite simplement la façon de parler des humains. Et si ce n’est pas une chaîne de pensée littérale, je me demande aussi où se produit la pensée
Je ne sais pas si le J-Space est la réponse à cette question, mais c’est en tout cas très intéressant
Dans certains cas, un LLM peut réellement « examiner l’architecture » dans ses représentations latentes, et dans d’autres, il peut produire une phrase similaire parce que ce genre de formulation est attendu
Le « où » est assez clair. Il n’y a pas tant de candidats que ça dans un LLM, et les états cachés sont les plus probables. Comment lire cet espace est un tout autre problème
Les pensées réelles fuitent parfois, rarement, mais elles ne se parsènt pas facilement
Plusieurs justifications sont avancées, mais la raison principale est de rendre plus difficile pour les concurrents de distiller ou de fine-tuner leurs modèles à partir des sorties
À en juger par les exemples, si j’ai bien compris, le J-space prend en charge des transformations logiques d’ordre supérieur ou des transformations en plusieurs étapes, mais sa taille est limitée par la profondeur du réseau, c’est-à-dire par le nombre maximal de couches
Quand nous émulons le « raisonnement », il semble qu’en gros nous étendions le J-space pour permettre aux transformations d’ordre supérieur de durer plus longtemps et de tendre vers des conclusions plus logiques
Au lieu de générer des tokens de raisonnement de bout en bout, on pourrait peut-être sauter les couches moins liées au J-space, comme les premières et les dernières, et ne répéter que les couches intermédiaires les plus liées au J-space. Cela pourrait peut-être aussi expliquer pourquoi [0] a fonctionné. L’auteur du post original aurait-il étendu le J-space par hasard ? Cela fait aussi penser aux transformeurs récurrents
[0] https://news.ycombinator.com/item?id=47431671
Est-ce que cela prolonge https://openreview.net/forum?id=w7LU2s14kE tout en modifiant légèrement l’endroit où c’est appliqué ?