Representation Engineering Mistral-7B : voyage acide

Representation Engineering Mistral-7B, voyage acide

• Qu'est-ce qu'un vecteur de contrôle ?

  • Le vecteur de contrôle est un vecteur (une liste de vecteurs par couche) appliqué aux activations du modèle pendant l'inférence, qui permet de contrôler son comportement sans prompt supplémentaire.
  • En utilisant le même prompt et le même modèle, il produit des résultats différents selon que le vecteur de contrôle est appliqué ou non, et selon l'intensité de l'application.

• Créer un vecteur de contrôle n'est pas compliqué

  • On construit un jeu de données de paires de prompts contrastés avec la PCA, on exécute le modèle pour collecter les états cachés de chaque couche, puis on applique une PCA à composante unique pour obtenir le vecteur de contrôle de chaque couche.
  • Cette procédure ne prend que quelques lignes de code et environ une minute.

• Ce que l'on peut faire avec un vecteur de contrôle

  • À l'aide d'un vecteur de contrôle, on peut mettre un modèle d'IA dans un état de « voyage acide » ou en mode « paresse », « assiduité », « créativité », entre autres.
  • Chaque vecteur de contrôle peut être entraîné en quelques minutes, et vous pouvez l'essayer directement via les notebooks d'expérimentation sur GitHub.

• Vecteurs de contrôle vs prompt engineering

  • Les vecteurs de contrôle et le prompt engineering sont des approches différentes, mais elles se recoupent en partie.
  • Les vecteurs de contrôle peuvent produire des résultats reproduisables par prompt engineering, mais il est plus facile de régler leur intensité.

Opinion de GN⁺

• L'importance des vecteurs de contrôle : Les vecteurs de contrôle sont un outil puissant pour ajuster finement le comportement des modèles d'IA, offrant de nouvelles possibilités au-delà des limites du prompt engineering.
• Efficacité et accessibilité : Les vecteurs de contrôle permettent aux utilisateurs d'ajuster le comportement du modèle sans avoir à élaborer des prompts complexes, ce qui peut considérablement améliorer l'ergonomie de l'IA.
• Utilisations créatives : Utiliser des vecteurs de contrôle pour faire entrer une IA dans un état de « voyage acide » ouvre de nouvelles voies expérimentales en IA.

[GN⁺]

Commentaires Hacker News

• J'ai l'impression d'être un peu fou à l'idée de l'impact énorme de cette technologie. Je ne suis peut-être pas totalement certain de ma compréhension, mais cela semble signifier qu'en stockant des « vecteurs de contrôle » personnalisés, on peut ajuster la sortie de ChatGPT pour la rapprocher des préférences individuelles. Cela pourrait mener à du divertissement IA personnalisé, et sur un marché comme celui-ci des effets de réseau puissants, à la fois individuels et globaux, peuvent émerger. Cela suggère qu'à l'avenir, une seule grande entreprise pourrait monopoliser tous les marchés.
• L'article est bien écrit et intéressant. On demande de partager des références ou des billets de blog pour mieux comprendre les LLM.
• Les vecteurs de contrôle me font penser aux hormones humaines : ils ajustent en une seule fois une grande partie du comportement du modèle. Je pense qu'on verra, d'ici dix ans, un psychiatre IA prescrire des suppléments de « vecteurs de bonheur » de contrôle à des assistants compagnons.
• C'était la première fois que je voyais les LLM résumés de cette manière, et j'aime bien cette approche.
• Cet article est amusant et offre un bon contraste avec le post "You Sound Like a Bot" sur le fait que l'IA est de plus enven un peu ennuyeuse en ce moment. Dans un registre moins sérieux, trouver un « vecteur d'auto-conscience » est un défi lancé à un romancier qui sait que cela provoquera des ennuis pour l'humanité.
• Cela ressemble à l'ajustement des biais, un concurrent de LoRA. En ajoutant simplement un vecteur à l'activation de chaque couche linéaire, on peut obtenir un bon adaptateur.
• L'article est excellent. Question : pourquoi intégrer un vecteur de contrôle à travers toutes les couches d'un réseau de neurones ? Puisque chaque vecteur affecte toutes les couches qu'il traverse, n'y a-t-il pas un risque de déformer excessivement la représentation des données ?
• L'article est très bon. Avec les vecteurs de contrôle, ce qui change, c'est l'évaluation que le modèle a du comportement des autres, pas le comportement du modèle lui-même. Il s'agit du même vecteur d'honnêteté généré en demandant au modèle d'agir honnêtement ou malhonnêtement.
• Le plan d'inférence (ajouter quelque chose à toutes les couches) est très proche de LoRA. Je me demande si un vecteur de contrôle peut être encodé en tant que LoRA pour être utilisé avec les frameworks d'inférence existants sans gros problème, ou si ma compréhension est mauvaise.
• Question de savoir s'il est possible d'appliquer plusieurs vecteurs simultanément, par exemple des combinaisons comme « hallucinatoire et triste », « honnête et conscient de soi », « paresseux et créatif ».