Hypothèse du sous-espace universel des poids

 (arxiv.org)
2 points par GN⁺ 2025-12-11 | 1 commentaires | Partager sur WhatsApp
  • Plusieurs modèles de deep learning convergent vers un sous-espace de paramètres de faible dimension commun, même lorsqu'ils sont entraînés avec des données et des initialisations différentes, comme l'ont confirmé des expériences à grande échelle
  • L'analyse spectrale de plus de 1100 modèles (500 Mistral-7B LoRA, 500 Vision Transformer, 50 LLaMA-8B, etc.) montre que la plupart de la variance est concentrée sur un petit nombre de directions principales
  • Ce sous-espace universel (Universal Subspace) se forme selon l'architecture du modèle et apparaît de manière répétée, indépendamment des données et de l'initialisation
  • Cette structure recèle un fort potentiel pour la compression de modèles, l'apprentissage efficace de paramètres, la fusion de modèles et l'inférence rapide
  • La recherche apporte des indices pour mieux comprendre la structure inhérente des réseaux neuronaux et leur capacité de généralisation, et pourrait devenir une base importante pour la conception future d'algorithmes d'entraînement efficaces

Découverte d'un sous-espace universel

  • Il est observé que des réseaux de deep learning entraînés avec différentes combinaisons de jeux de données, d'initialisations et d'hyperparamètres convergent vers un sous-espace de faible dimension commun
    • Ce phénomène se manifeste par une structure de faible rang similaire par architecture et par couche
    • La même tendance structurelle apparaît même lorsque les données d'entraînement ou la fonction de perte sont différentes
  • Les résultats de l'analyse spectrale montrent que, bien que l'espace de poids de chaque tâche semble différent, il appartient en réalité à une partie d'un espace de faible dimension partagé
  • Ces résultats sont présentés comme une explication possible au fait qu'un modèle sur-entraîné généralise, que des initialisations différentes convergent vers des représentations similaires, et que la réglage fin efficient en paramètres fonctionne

Expériences à grande échelle et analyses

  • La recherche a analysé plus de 1100 modèles, dont 500 adaptateurs Mistral-7B LoRA, 500 Vision Transformer et 50 modèles LLaMA3-8B
    • Chaque modèle a été entraîné avec des jeux de données et des conditions d'initialisation différents
  • Les résultats de l'analyse en composantes principales (PCA) indiquent qu'un petit nombre de composantes principales explique la majeure partie de la variance, suggérant l'existence d'un sous-espace partagé à faible rang
  • Même 500 modèles ViT initialisés aléatoirement convergent vers le même sous-espace de faible dimension, ce qui est interprété comme une propriété fondamentale des réseaux neuronaux

Modélisation théorique et formalisation mathématique

  • La recherche modélise les prédicteurs comme des éléments d'un espace de Hilbert pour analyser les conditions de reconstruction d'un sous-espace commun entre plusieurs tâches
  • À partir du prédicteur de chaque tâche ( f_t^* ), l'opérateur de second moment commun S est défini, et il est montré que l'opérateur approché ( \tilde{S} ) issu du prédicteur entraîné ( \hat{f_t} ) converge vers S
  • Le Théorème 2.5 montre la convergence du sous-espace appris vers le vrai sous-espace commun, avec un taux gouverné par le nombre de tâches (T) et la précision d'estimation de chaque tâche (η)
  • Plus l'écart spectral (γₖ) est grand, plus la reconstruction du sous-espace est stable

Applications et impact

  • L'exploitation du sous-espace partagé permet les applications suivantes
    • Compresser le modèle en stockant uniquement les coefficients du sous-espace au lieu des poids complets
    • S'adapter rapidement à de nouvelles tâches dans le sous-espace appris
    • Fournir des insights théoriques sur les limites de généralisation et le paysage d'optimisation
    • Réduire le coût de calcul de l'entraînement et de l'inférence, avec un potentiel de baisse des émissions de carbone
  • Cette structure peut aussi améliorer l'efficacité de la réutilisabilité des modèles, de l'apprentissage multitâche et de la fusion de modèles

Perspectives de recherche

  • Les différences de sous-espace universel entre architectures et leur potentiel d'optimisation géométrique restent des questions ouvertes
  • Si tous les réseaux convergent vers le même sous-espace, un manque de diversité peut devenir un nouveau goulot d'étranglement en raison du partage des biais et des modes de défaillance
  • Les futures recherches devront développer des méthodes pour disperser intentionnellement cette convergence

Résumé des contributions principales

  • Démontrer l'existence d'un sous-espace universel de faible dimension dans l'espace des paramètres des réseaux de deep learning
  • Proposer une méthode pour apprendre un sous-espace partagé approximatif à partir d'ensembles de tâches variés
  • Valider qu'il est possible de s'adapter efficacement à de nouvelles tâches avec peu de paramètres en exploitant le sous-espace appris
  • Suggérer des usages pour la compression de modèles, l'apprentissage et l'inférence rapides, et une mise à l'échelle efficace

À lire aussi

1 commentaires

 
GN⁺ 2025-12-11
Réactions sur Hacker News

  • La formulation « 500 Vision Transformers » prêtait à confusion
    En réalité, il s’agit de 500 versions fine-tunées d’un même modèle de base
    Ces modèles ont été téléchargés depuis des comptes utilisateurs anonymes sur Hugging Face, et l’adjectif « universel » ne s’applique en pratique qu’à un seul modèle pré-entraîné
    Il n’y a rien d’étonnant à ce que des modèles fine-tunés, comme avec LoRA, se ressemblent
    À noter que l’un des modèles cités dans l’article, CheXpert-ViT-U-MultiClass, affiche un avertissement de malware sur Hugging Face

    • Cette explication a permis de clarifier ce que l’article entend par « sous-espace universel »
      Au début, j’étais perdu parce que je pensais qu’ils avaient trouvé un sous-espace commun entre des architectures de modèles différentes, mais au final il s’agit simplement de stabilité au sein d’une même classe de modèles
      Cela dit, au fond, cela revient juste à confirmer une évidence : « la fonction de perte possède un minimum bien défini », donc le nom « hypothèse du sous-espace de poids universel » semble un peu exagéré
    • Les résultats du fine-tuning étaient prévisibles, mais l’expérience sur un ResNet entraîné depuis zéro (Figure 2, Section 3.2.1) était plus intéressante
      Ce n’est pas aussi directement utile que LoRA, mais cela ouvre la voie à des travaux ultérieurs
    • Chaque fine-tuning déplace les poids du modèle de base dans une direction particulière
      Avec 500 jeux de données, on pourrait s’attendre à former un espace de dimension 500, mais en pratique cela converge vers un sous-espace d’environ 40 dimensions
      Autrement dit, les poids fine-tunés pourraient être compressés en 40 nombres réels
      Un jour, on verra peut-être la taille des modèles affichée sur Hugging Face en unités de « 160 octets »
      Cela dit, ces vecteurs de base restent eux-mêmes aussi volumineux que le modèle, et il faut supposer que la dimension n’augmente pas quand le nombre de jeux de données croît
      Il est dommage que les auteurs aient utilisé des modèles aléatoires, mais j’espère que ces travaux mèneront à une suite sur l’entraînement de grands modèles depuis zéro
    • Je me demande pourquoi on considère ces modèles comme similaires alors qu’ils ont été entraînés sur des données différentes
      Et il me semble que l’article analysait aussi des modèles entraînés depuis zéro
    • L’article traite de modèles Mistral et LLaMA, mais le terme « universel » paraît exagéré

  • À mon avis, la partie la plus importante de l’article tient dans ces deux phrases
    Premièrement, projeter les poids de 5 nouveaux modèles ViT dans un sous-espace universel de dimension 16 n’a entraîné aucune perte de précision
    Deuxièmement, il a été possible de remplacer 500 modèles ViT par un unique modèle de sous-espace universel, avec une réduction de l’usage mémoire d’un facteur 100
    En d’autres termes, ils ont mis en évidence une structure commune dans 50 modèles LLaMA3-8B, 177 GPT-2 et 8 modèles Flan-T5, tout en conservant les performances lorsqu’on utilise cette représentation à la place des modèles originaux
    Par analogie, c’est comme avoir découvert un dictionnaire bzip2 capable de compresser tous les fichiers à 99 %

    • Côté cadre théorique, il y a l’article arXiv:2007.00810
      Il explique que des modèles peuvent converger vers le même espace à une transformation linéaire près
      Par exemple, des encodeurs siamois utilisant une perte MSE convergent vers le même espace latent même sans décodeur
      Donc des Transformers entraînés sur des données similaires ont de fortes chances d’atteindre eux aussi le même espace, au moins à transformation linéaire près
      Dans cette perspective, le résultat ici n’a rien de surprenant, et des preuves mathématiques comme dans cet article me paraissent plus importantes
    • Je me demande comment exploiter concrètement cette « commonality »
      Par exemple, est-ce qu’on pourrait initialiser de nouveaux modèles avec ce sous-ensemble universel de poids, et est-ce que cela ne s’applique qu’à certaines architectures ?
    • Si les modèles occupent naturellement un sous-espace spectral partagé, cela pourrait fortement réduire les coûts d’entraînement et le stockage
    • L’idée que « 16 dimensions suffisent » est frappante
    • Mais le nombre 16 est un peu trop propre pour ne pas éveiller des soupçons
      C’est peut-être un bug dans le code, ou juste une valeur choisie arbitrairement

  • J’ai l’impression que l’article survend la « universalité »
    Dans le cas des CNN, le fait que les filtres convergent vers des formes Laplacian/Gabor vient d’un fort biais inductif
    Les Transformers n’ont pas ce type de contrainte de localité, donc le sous-espace n’a pu être trouvé qu’à travers une initialisation partagée (fine-tuning)
    Au final, cette « universalité » n’est pas une propriété intrinsèque de l’apprentissage, mais le résultat de contraintes structurelles + la stabilité du pré-entraînement

    • Malgré tout, le simple fait qu’une telle direction de recherche existe est surprenant et intéressant

  • Cette approche semble bien meilleure que LoRA, et pourrait même servir à accélérer l’inférence
    Les grands modèles l’utilisent peut-être déjà en interne
    Le point clé, c’est qu’on a trouvé un sous-ensemble de paramètres impliqué dans le transfert de capacités vers de nouvelles tâches
    Cela ne s’applique pas à des tâches complètement nouvelles, mais c’est efficace au sein d’un même domaine
    Pour reprendre l’analogie de GPT 5.1, cela ressemble à une expression de base qui ajuste les « expressions faciales » dans le rigging d’un personnage 3D

    • Il y a aussi la question philosophique : « existe-t-il vraiment des tâches totalement nouvelles ? »
      Selon certains, le nombre de tâches possibles dans les lois de la physique est fini, et la plupart n’ont aucun sens
    • En pratique, cela semble fonctionner dans une certaine mesure même pour de nouvelles tâches

  • Le concept de « sous-espace universel » décrit dans l’article ne m’a pas semblé clair
    Comme la comparaison ne portait qu’au sein d’une même famille de modèles, il n’existe pas de sous-espace commun entre des architectures différentes comme ViT et GPT-2
    Le fait que l’analyse en composantes principales décroisse de manière logarithmique est un phénomène attendu
    De plus, comme on peut inverser le résultat d’une multiplication matricielle en permutant lignes et colonnes, des modèles entraînés de manière totalement indépendante ne peuvent pas partager les mêmes directions de sous-espace

    • Au final, cela ressemble davantage à une technique de compression de modèles qu’à une véritable « universalité » au sens philosophique

  • Si les modèles convergent naturellement vers un espace de faible dimension, on pourrait commencer l’apprentissage directement dans cet espace et accélérer fortement l’entraînement

    • Comme pour les encodeurs siamois, utiliser la même fonction de perte peut conduire au même espace latent à transformation linéaire près
      Les Transformers pourraient très bien suivre un principe similaire
      Théoriquement, il faudrait des preuves mathématiques du type de cet article
    • C’est intéressant que ce travail vienne de JHU
      Le fait d’avoir obtenu de tels résultats avec bien moins de ressources qu’OpenAI ou Google est impressionnant
    • Mais si un tel espace commun existe, alors il pourrait aussi y avoir une limite à la capacité de représentation des modèles
    • Ou alors on pourrait concevoir de nouvelles architectures qui prennent directement les propriétés de ce sous-espace comme biais inductif

  • Je me demande ce que donnerait l’évolution de cette structure avec des algorithmes génétiques (GA)
    En fait, dès qu’on parle de réseaux de neurones, je pense toujours aux GA

    • J’ai une affection particulière pour les GA à cause de Artificial Life de Levy, que j’ai lu enfant
      Le croisement (crossover) et la mutation se comprennent intuitivement, alors que la rétropropagation (backpropagation) me semble toujours difficile
    • En ce moment, j’expérimente des GA à encodage indirect, et cet article semble aller dans le même sens
      L’idée est de décomposer les matrices de poids en motifs spectraux afin d’explorer l’espace compressé
      On pourrait aussi encoder un grand modèle existant sous forme compressée pour servir de point de départ aux mutations
      Si ce type d’approche progresse, on pourrait peut-être faire émerger de nouveaux mécanismes par évolution
    • Maintenant qu’on a ce genre d’objectif, c’est peut-être le bon moment pour redonner leur chance aux GA et à d’autres méthodes non fondées sur l’apprentissage
    • À une époque, j’étais complètement obsédé par le projet EvoLisa
      Lien EvoLisa
      Cela n’a rien à voir avec l’entraînement des LLM, mais d’une certaine manière, j’y retrouve une sensation similaire
    • Personnellement, je suis plus attiré par la quantification vectorielle (vector quantization) que par les GA

  • Je me demande quel est le lien avec la « Platonic Representation Hypothesis »

    • J’aimerais qu’une personne plus intelligente que moi réponde
      Vu le retour en force récent des discours platoniciens, on a l’impression qu’ils convergent vers une intuition fondamentale
    • Les deux hypothèses sont étroitement liées
      Une structure de représentation partagée pourrait être un bon candidat pour des catégories platoniciennes
      Il semble y avoir une correspondance intéressante entre les deux concepts
    • L’article arXiv:2405.07987 s’inscrit dans ce prolongement
      On peut le voir comme une preuve empirique venant étayer l’hypothèse précédente

  • Il y a aussi la supposition mi-sérieuse, mi-blague, selon laquelle « tous les modèles seraient en fait des versions fine-tunées de LLaMA »

  • Les auteurs affirment avoir analysé divers modèles de fine-tuning low-rank et y avoir trouvé une structure low-rank commune
    Cela dépend du modèle de base, un peu comme les variations génétiques humaines peuvent s’exprimer à travers quelques composantes principales
    Au fond, ce phénomène existe peut-être simplement parce qu’il y a une ascendance commune