- Kimi Linear adopte une architecture hybride disposant KDA et MLA selon un ratio 3:1 ; dans des conditions d’entraînement identiques, elle obtient de meilleures performances que le MLA complet sur les contextes courts et longs ainsi que sur l’ensemble des évaluations en apprentissage par renforcement
- Le module central, Kimi Delta Attention (KDA), affine la porte d’oubli par tête de Gated DeltaNet au niveau des canaux, afin que chaque dimension de caractéristique de la mémoire RNN finie dispose de son propre taux d’oubli
- Grâce à une matrice de transition Diagonal-Plus-Low-Rank (DPLR) spécifique et à un algorithme parallèle par chunks, il réduit le volume de calcul par rapport au DPLR général, avec une efficacité opérateur améliorée d’environ 100 %
- Un modèle de 3B de paramètres actifs et 48B de paramètres au total, entraîné sur 1,4T de tokens, atteint 51,0 sur MMLU-Pro 4K, 84,3 sur RULER 128K avec une accélération de 3,98× ; à 1M de tokens, le temps par token de sortie est 6,3× plus rapide qu’avec MLA
- Lors de la génération de longs textes, il réduit le cache KV jusqu’à 75 % tout en pouvant s’intégrer sans modifier les interfaces de cache et de scheduling du pipeline d’attention complète existant ; le kernel KDA, l’implémentation vLLM et les checkpoints du modèle sont également publiés
Le goulot d’étranglement créé par l’attention complète dans le raisonnement long
- Les LLM agentiques et le passage à l’échelle du temps de test fondé sur l’apprentissage par renforcement doivent traiter pendant l’inférence de longues trajectoires, des interactions avec des outils et des espaces de décision complexes
- L’attention softmax standard a une complexité temporelle qui croît quadratiquement et un cache KV qui augmente proportionnellement à la longueur du contexte, ce qui limite le débit, l’extension du contexte et les interactions en temps réel
- L’attention linéaire peut réduire la complexité de calcul, mais son expressivité limitée la rendait moins performante que l’attention softmax même pour la modélisation du langage sur de courtes séquences
- Les mécanismes récents de gating et de décroissance, ainsi que la règle delta (delta rule), ont réduit l’écart de qualité sur les séquences de longueur intermédiaire, mais les architectures purement linéaires restent limitées pour la modélisation des longues séquences et la recherche en contexte, en raison de leur capacité finie d’état
- Des architectures hybrides combinant quelques couches d’attention globale et de nombreuses couches linéaires sont apparues comme un compromis entre qualité et efficacité, mais les modèles existants étaient limités en taille ou insuffisamment évalués sur des benchmarks variés
De l’attention linéaire à Gated DeltaNet
- L’attention linéaire de base accumule en continu des associations clé-valeur dans un état récurrent sous forme matricielle et l’utilise comme poids rapides (fast weight), une mémoire associative temporaire
- Faute de critère pour décider quelles mémoires effacer, l’état s’accumule sans limite et des interférences apparaissent dans les longs contextes
- DeltaNet effectue une descente de gradient en ligne sur une perte de reconstruction afin que l’état restaure les clés en valeurs
- Il utilise la règle delta classique, qui corrige continuellement l’état existant
- La mise à jour de rang 1 est équivalente à une transformation de Householder généralisée et peut être parallélisée par chunks
- Gated DeltaNet (GDN) ajoute une porte d’oubli scalaire
αtpour atténuer les anciennes associations- La porte agit comme une décroissance de poids sur les poids rapides et implémente un mécanisme d’oubli similaire à une régularisation L2 dépendante des données
- Elle contrôle la durée de vie de la mémoire et réduit les interférences tout en conservant la structure parallélisable de DeltaNet
- GDN peut être interprété comme un encodage positionnel multiplicatif qui assouplit la contrainte d’orthogonalité de RoPE, dans la mesure où sa matrice de transition est dépendante des données et apprenable
Le contrôle fin de la mémoire dans Kimi Delta Attention
- KDA remplace la décroissance scalaire unique de GDN par une porte diagonalisée au niveau des canaux, afin de contrôler indépendamment la décroissance mémoire et l’information positionnelle de chaque dimension de caractéristique
- Les taux d’oubli par canal permettent d’ajuster plus précisément la mémoire RNN à état fini limitée et offrent une granularité proche de celle de Gated Linear Attention (GLA)
- La dynamique de transition est paramétrée par une matrice DPLR spécifique, tout en restant cohérente avec la règle delta classique
- Une série de transformations matricielles de rang 1 est compressée dans une représentation dense, ce qui permet un traitement parallèle stable par chunks même sous gating diagonal
Algorithme parallèle par chunks
- La séquence est divisée en chunks de longueur fixe, et l’état final du chunk précédent sert d’état initial au chunk suivant
- La représentation WY regroupe plusieurs mises à jour de rang 1 dans une représentation compressée et, suivant le développement de Comba, évite d’avoir besoin d’inversions matricielles supplémentaires dans les calculs ultérieurs
- La transformation UT réduit les FLOP des opérations autres que les multiplications matricielles, ce qui améliore l’utilisation du matériel pendant l’entraînement
- L’inverse d’une matrice triangulaire inférieure est calculé ligne par ligne au moyen de la substitution avant de l’élimination de Gauss
- La mise à jour de l’état est effectuée sous forme matricielle par chunks, et l’étape de sortie combine un traitement récurrent entre chunks et un traitement parallèle à l’intérieur des chunks
- Les calculs internes aux chunks sont organisés autour de multiplications matricielles afin d’exploiter le débit des Tensor Core
Un volume de calcul réduit par rapport au DPLR général
- KDA et le DPLR généralisé prennent tous deux en charge une décroissance fine, ce qui les rapproche du point de vue de la capacité d’expression
- Une décroissance fine peut provoquer des problèmes de précision numérique lors des divisions à l’intérieur des chunks
- GLA utilise des calculs dans le domaine logarithmique et un chunking secondaire en pleine précision, mais l’exploitation des multiplications matricielles en demi-précision est limitée, ce qui réduit la vitesse de l’opérateur
- KDA lie les deux variables de la transition DPLR à la clé
k- Le calcul des matrices de chunks secondaires passe de 4 à 2
- 3 multiplications matricielles supplémentaires sont éliminées
- Dans les mesures de kernel selon la longueur d’entrée, l’efficacité opérateur de KDA est améliorée d’environ 100 % par rapport au DPLR général
Configuration du modèle Kimi Linear
- Le backbone du modèle suit Moonlight, avec une couche de mélange de canaux MoE placée après la couche de mélange de tokens
- Les requêtes, clés et valeurs de chaque tête KDA sont calculées via ShortConv et Swish
- Une normalisation L2 est ajoutée aux requêtes et aux clés pour stabiliser les valeurs propres
- La dimension de tête des clés et des valeurs est fixée à 128 dans toutes les expériences
- La porte de décroissance par canal est paramétrée par une projection bas rang du même rang que la dimension de tête, et utilise une fonction de décroissance similaire à celles de GDN et Mamba
- Avant la projection de sortie, un RMSNorm par tête et une porte de sortie dépendante des données sont appliqués
- La porte de sortie est elle aussi construite en bas rang, afin de conserver des performances similaires à une porte de rang complet tout en permettant une comparaison équitable des paramètres
- Cette porte atténue l’Attention Sink
Un hybride KDA et MLA en 3:1
- Pour compenser les limites de recherche en contexte long de l’attention purement linéaire, des couches Full MLA, une attention globale complète, sont intercalées entre les couches KDA
- Au lieu de mélanger les têtes au sein d’une même couche, des couches entières sont alternées
- Une configuration au niveau des couches simplifie l’infrastructure et améliore la stabilité de l’entraînement
- Dans les expériences, le ratio 3:1, répétant 3 couches KDA puis 1 couche MLA, offre le meilleur équilibre entre qualité et débit
- Lors de la génération longue, seules les couches d’attention complète conservent le cache KV, ce qui réduit l’usage mémoire et du cache KV jusqu’à 75 % tout en préservant le flux d’information global
Application de NoPE et résultats d’évaluation
- Toutes les couches MLA utilisent NoPE, sans encodage positionnel ; l’information positionnelle et le biais de récence sont pris en charge par KDA
- KDA joue un rôle comparable, voire plus fort, que des composants auxiliaires sensibles à la position tels qu’une courte convolution ou une attention à fenêtre glissante
- Avec NoPE, MLA peut être converti à l’inférence en une pure Multi-Query Attention (MQA) efficace
- L’entraînement sur contexte long est simplifié, car il n’est pas nécessaire d’utiliser des ajustements fondés sur les fréquences de RoPE ni des techniques comme YaRN
- Dans une comparaison entraînée de la même manière sur 1,4T de tokens, Kimi Linear obtient les résultats suivants
- 51,0 sur MMLU-Pro 4K, devant MLA à 47,2 et GDN-H à 47,9
- 84,3 sur RULER 128K avec une accélération de 3,98×, devant MLA à 81,3 et GDN-H à 80,5
- À 1M de tokens, le temps par token de sortie (TPOT) est de 1,84 ms, soit 6,3× plus rapide que les 11,48 ms de MLA
- Il maintient un TPOT faible même sur de longues séquences, ce qui permet d’utiliser des batches plus grands
- Le modèle pré-entraîné compte 3B de paramètres actifs et 48B de paramètres au total, et dépasse systématiquement le MLA complet sur les contextes courts, les contextes longs et les tâches de post-entraînement de type apprentissage par renforcement
- Le kernel KDA, l’intégration vLLM et le checkpoint Kimi-Linear-48B-A3B-Instruct sont publiés
- Il peut remplacer le pipeline d’attention complète existant sans modifier ses interfaces de cache ou de scheduling
1 commentaires
Avis sur Hacker News
Le récent article sur Kimi K3 montre qu’il s’agit d’une architecture qui étend à grande échelle Kimi Linear, traité ici, en y ajoutant notamment la vision native et des améliorations de l’apprentissage par renforcement
https://arxiv.org/abs/2607.24653
Je me demande si l’intelligence observée dans les modèles de pointe est vraiment un phénomène émergent qui n’apparaît que lorsqu’on met l’architecture à l’échelle
Il paraît contre-intuitif qu’un modèle de 1 million de paramètres avec la même structure ne puisse même pas résoudre des puzzles élémentaires, tandis qu’un modèle de 1 000 milliards de paramètres arrive jusqu’à produire un contre-exemple à la conjecture jacobienne. Donner plus de calcul à un simple algorithme de tri ne le fera pas battre quicksort, mais la recherche moderne sur les LLM ressemble à une course où l’on agrandit sans cesse le même algorithme et la même structure en espérant qu’une solution en sorte
Le court texte original vaut aussi la lecture : http://www.incompleteideas.net/IncIdeas/BitterLesson.html
Les grands modèles trouvent plus facilement des points d’appui dans cet espace de représentations internes, et une fois l’optimisation avancée, la majeure partie des poids peut très bien ne pas faire grand-chose. On ne sait pas encore clairement quelle expressivité est nécessaire pour apprendre cet espace, mais jusqu’ici il semble falloir des milliards de paramètres
La question la plus intéressante est plutôt de savoir à quel point le modèle doit être invariant aux données. À mon avis, si le raisonnement mathématique et la programmation ont fortement amélioré les performances globales, c’est parce qu’il s’agit de compétences réutilisables sur un large ensemble de tâches. Entraîner intensivement la logique de programmation indépendante de la langue ou de la tâche pourrait être une voie vers des modèles plus petits
Par analogie, un petit modèle reste en interne au niveau d’un tri à bulles à cause de contraintes de capacité et de signal d’apprentissage, tandis qu’un grand modèle peut explorer plus profondément et trouver une méthode plus proche de quicksort
L’intelligence n’est pas binaire : les modèles à 1 milliard comme ceux à 10 000 milliards de paramètres possèdent tous deux un certain degré d’intelligence. Le premier est facile à négliger parce qu’il dépend trop de régularités statistiques ; le second a simplement progressé au point de trouver de nouveaux contre-exemples à des conjectures ouvertes. Entre les deux, il s’agit moins d’un saut soudain que d’une accumulation de petites améliorations qui finit en avalanche
Des résultats concrets comme les capacités en mathématiques peuvent sembler progresser brutalement, mais en dessous s’accumulent progressivement des capacités générales de réduction des erreurs et de récupération après erreur. Quand ces capacités deviennent suffisamment bonnes, même des problèmes logiques d’un type entièrement nouveau commencent à être résolus
Le laboratoire de Marcus Hutter a formulé cela via l’induction de Solomonoff, montrant que ce biais est universellement efficace. Un biais efficace exploite en quelque sorte la malédiction de la dimension à l’envers : de même que davantage de données permettent d’obtenir de meilleures réponses, il peut faire continuer à progresser les performances dans les grands modèles
Cela dit, la classe de modèles qui présentent ce comportement est extrêmement étroite, et nous avons plutôt eu la chance d’atteindre ce point. C’est pourquoi les principes statistiques généraux enseignent encore qu’il ne faut généralement pas s’attendre à un tel comportement
Passer de 1 million à 1 000 milliards de paramètres représente un facteur d’échelle de 1 million. C’est comparable à réduire le cerveau humain à 1 % de sa taille dans chaque direction, soit à quelques millimètres
J’ai commencé à créer un modèle interne avec Kimi Linear, mais Gated Deltanet 2, sorti ensuite, m’a semblé être une évolution en termes d’expressivité, et dans nos propres tests il était effectivement meilleur
https://arxiv.org/abs/2605.22791
C’est excellent qu’ils aient publié en open source le kernel KDA et l’implémentation vLLM pour la recherche, ainsi que des checkpoints de modèles pré-entraînés et ajustés par instruction
Si vous voulez croire que le succès de Kimi ne tient qu’à une attaque par distillation, vous pouvez ignorer cette recherche
Je me demande quelles sont ses performances en recherche dans de longs contextes par rapport à un modèle full attention de même taille, en particulier sur needle-in-a-haystack ou RULER. Les gains d’efficacité sont excellents, mais les modèles hybrides à attention linéaire s’effondrent généralement sur ce point
Je me demande si des entreprises comme Etched seraient en difficulté si ce type de Transformer non standard commençait à être largement utilisé
Cet article date de 2025, il a déjà 9 mois, et plusieurs modèles majeurs sont sortis entre-temps
La contribution principale de l’article K3 est Stable LatentMoE. Comme certains autres modèles, il compresse les données transmises entre les couches, ce qui impose certaines conditions au routeur, et K3 améliore les performances avec une stratégie de sélection des experts plus équilibrée