Kimi K2 - Modèle de langage MoE de pointe

 (github.com/MoonshotAI)
4 points par GN⁺ 2025-07-13 | 1 commentaires | Partager sur WhatsApp
  • Kimi K2 de Moonshot AI est un modèle de langage Mixture-of-Experts (MoE) de pointe doté de 1 trillion de paramètres
  • Il adopte la méthode d’optimisation Muon durant l’entraînement pour résoudre les problèmes de stabilité à grande échelle
  • Il met l’accent sur l’intelligence agentique pour l’usage d’outils, le raisonnement et la résolution autonome de problèmes
  • Il démontre des performances de premier plan dans divers benchmarks en codage, mathématiques et tâches générales
  • Il est pratique à déployer et exploiter, avec une API compatible OpenAI/Anthropic et un environnement prenant en charge des moteurs flexibles

Pourquoi Kimi K2 est important

  • Kimi K2 est le dernier modèle de langage Mixture-of-Experts (MoE) développé par Moonshot AI
  • Avec une échelle de 1 trillion de paramètres et une méthode d’optimisation innovante (Muon), il offre de hautes performances et une grande stabilité dans le domaine des grands modèles de langage
  • Comparé aux modèles open source haute performance existants, il atteint l’état de l’art mondial (SOTA) et le meilleur niveau open source dans divers cas d’usage réels comme le codage, les mathématiques et l’utilisation d’outils
  • Il se distingue par sa capacité à entraîner rapidement et de manière stable de très grands modèles, ainsi que par sa flexibilité pour prendre en charge divers scénarios d’utilisation de l’IA

1. Présentation du modèle

  • Kimi K2 est un modèle de langage MoE de pointe avec 1 trillion (1T) de paramètres au total et 32 milliards (32B) de paramètres actifs
  • Il utilise l’optimiseur Muon pour résoudre efficacement l’instabilité de l’entraînement des modèles à grande échelle
  • Il est spécialisé dans des capacités de haut niveau comme l’usage d’outils, le raisonnement complexe et les agents autonomes

Caractéristiques principales

  • Entraînement à grande échelle : le modèle à 1 trillion de paramètres a été préentraîné sur 15,5 trillions de tokens, sans instabilité durant l’apprentissage
  • Optimiseur MuonClip : il combine l’algorithme Muon, spécialisé pour les grands modèles, avec de nouvelles techniques d’optimisation afin d’assurer la stabilité
  • Agentic Intelligence : conçu en pensant à l’usage d’outils, au raisonnement complexe et à la résolution autonome de problèmes

Types de modèles

  • Kimi-K2-Base : modèle de base adapté au fine-tuning personnalisé et à l’usage par les chercheurs
  • Kimi-K2-Instruct : modèle post-entraînement (post-training) optimisé pour le chat et l’exécution d’agents généralistes

2. Résumé du modèle

  • Architecture : Mixture-of-Experts (MoE)
  • Paramètres totaux : 1 trillion (1,000,000,000,000)
  • Paramètres actifs : 32 milliards (32B)
  • Nombre de couches : 61 (avec couche Dense)
  • Nombre de couches Dense : 1
  • Attention hidden dimension : 7168
  • MoE hidden dimension (par expert) : 2048
  • Attention Head : 64
  • Nombre d’experts : 384
  • Nombre d’experts sélectionnés par token : 8
  • Nombre d’experts partagés : 1
  • Taille du vocabulaire : 160K
  • Longueur de contexte : 128K
  • Mécanisme d’attention : MLA
  • Fonction d’activation : SwiGLU

3. Résultats d’évaluation

Performances du modèle Instruction

  • Il enregistre des performances de premier plan sur divers benchmarks couvrant les tâches de codage, l’usage d’outils, les mathématiques/sciences et les tâches générales
  • Sur SWE-bench, LiveCodeBench, OJBench, MultiPL-E, TerminalBench, AceBench, Tau2, AIME, MATH-500 et d’autres évaluations de code/outils, mathématiques/logique et tâches générales, il atteint des performances SOTA ou au meilleur niveau de sa catégorie
  • Il enregistre 65,8 % de pass@1 sur SWE-bench Verified et 47,3 % sur SWE-bench Multilingual, avec des résultats particulièrement remarquables en environnement de codage agentique
  • Il affiche aussi une excellente précision sur des tests scientifiques et mathématiques comme MATH-500, AIME, HMMT et CNMO
  • Sur diverses tâches générales comme MMLU (culture générale) et SimpleQA, il obtient des performances supérieures à celles de modèles open source et commerciaux concurrents

Performances du modèle Base

  • Sur des benchmarks de référence comme MMLU, TriviaQA et GPQA-Diamond, il obtient des scores parmi les meilleurs de sa catégorie parmi les modèles open source
  • Il prend globalement l’avantage sur les grands modèles de base open source en codage, mathématiques et évaluations en chinois

4. Déploiement et exécution sur moteurs

5. Exemples d’utilisation du modèle

Interface de chat

  • Après avoir lancé un service d’inférence local, il est possible d’interagir directement depuis un client compatible OpenAI (comme l’API Chat Completions)
  • Température recommandée : 0.6, et il est également recommandé d’utiliser le prompt System dans sa forme par défaut

Fonction d’appel d’outils

  • Kimi-K2-Instruct dispose d’une puissante capacité d’appel d’outils (tool-calling)
  • À chaque requête, l’utilisateur peut fournir la liste des outils disponibles, et le modèle décide de manière autonome s’il faut les utiliser et à quel moment les exécuter
  • Il est possible de démontrer des exemples et des messages de résultat sur l’ensemble du pipeline
  • Le moteur doit prendre en charge la logique de parsing des outils de Kimi-K2

6. Licence

À lire aussi

1 commentaires

 
GN⁺ 2025-07-13
Avis Hacker News
  • J’ai essayé Kimi sur quelques problèmes de code, et il s’est plutôt bien comporté là où Claude se trompait ou tournait en rond. Le modèle est énorme, donc peu adapté comme modèle « local » ; je pense qu’il faudrait quelque chose comme 16 GPU H200 pour le faire tourner. Il avait aussi une personnalité un peu différente des autres modèles, ce qui m’a plu. Au minimum, il semble utile dans un contexte d’ensemble.
    • Avec une quantification en 4 bits, on peut obtenir des vitesses pratiques avec deux Mac Studio 512 Go (méthode MLX TB4 Ring, voir ce lien) ou un seul système Epyc avec plus de 1 To de RAM. On peut expérimenter pour environ 20 000 dollars, mais pour de vraies performances de niveau production, il faut un matériel bien plus puissant. Il vaut mieux parler de « modèle personnel hébergé chez soi » que de modèle « local ».
    • Je l’ai testé plusieurs fois en comparaison directe avec Claude. Kimi produisait un code plus simple et plus lisible, alors que Claude donnait souvent quelque chose de trop sur-ingénieré. En revanche, Kimi ratait parfois quelques cas limites subtils que Claude, lui, prenait en compte.
    • Quand tu dis Claude, tu parles de Sonnet ? 3.7 ? 3.5 ? Opus ? 4 ? Je me demande de quelle version il s’agit.
    • La toute première question que j’ai posée à Kimi — un petit problème mathématique assez simple — a reçu une réponse complètement fausse. Pour être juste, les modèles d’OpenAI ont aussi échoué sur cette question. Des prompts supplémentaires ont un peu amélioré la situation, mais ça m’a surpris.
  • Comme GPT 4o ou la famille DeepSeek-V3, ce modèle (Kimi K2) est un LLM généraliste extrêmement impressionnant, et en plus il est open source. S’il attire moins l’attention en ce moment, c’est probablement parce que la frontière s’est déplacée vers les modèles de raisonnement et multimodaux. Si on regarde les benchmarks de précision, les meilleurs modèles sont tous spécialisés en raisonnement (lien de référence). Si quelqu’un entraînait un modèle spécialisé en raisonnement à partir de Kimi K2, je serais très curieux de voir ses performances.
    • Quand tu dis « entraîner un modèle spécialisé en raisonnement à partir de Kimi K2 », j’imagine que MoonshotAI est probablement déjà en train de le faire.
    • Je me demande pourquoi les modèles actuels ou passés de Kimi n’ont toujours pas été ajoutés aux benchmarks d’Artificial Analysis.
  • Au-delà de ses qualités techniques, Kimi K2 impressionne aussi parce qu’il fait moins robotique. Comme les meilleurs modèles d’Anthropic, il a une personnalité enjouée, intelligente et fluide. C’est une petite victoire de ne pas avoir à subir ce style de réponse rigide et mécanique.
  • À mon avis, la sortie du modèle open source d’OpenAI a été repoussée parce que Kimi K2 a pris toute l’attention et a fait mieux sur les chiffres.
    • Chez OpenAI, ils ont aussi dit que c’était « trop gros pour être hébergé chez soi », donc c’est plausible. À l’heure qu’il est, ils sont sans doute en train de lancer des benchmarks pour trouver les critères sur lesquels ils peuvent « gagner ».
    • D’après les benchmarks, Kimi K2 bat GPT-4.1 dans plusieurs domaines. Si OpenAI veut vraiment rivaliser, il lui faudrait publier les poids de GPT-4.1 ou d’un modèle équivalent, mais ça me paraît peu probable.
  • Ce n’est pas de l’open source, c’est une « licence MIT modifiée ». Si on l’utilise dans un service commercial avec 100 millions d’utilisateurs actifs mensuels ou 20 millions de dollars de chiffre d’affaires mensuel (ou plus), il faut afficher clairement « Kimi K2 » dans l’interface du service.
    • Cette condition ressemble à un mélange entre l’obligation d’affichage « Built with Llama » de Llama et la clause des « 700 millions d’utilisateurs actifs mensuels », le tout vaguement présenté comme une sorte de « MIT modifiée ».
    • Je ne pense pas que cette condition viole l’OSD (Open Source Definition), ni la définition du logiciel libre de la FSF, ni les critères Debian. GPLv2, GPLv3 et la BSD à 4 clauses imposent aussi des obligations de mention publique similaires, sans seuil d’utilisateurs ou de revenus. Et comme un réseau de neurones n’est pas construit à partir du code source, le terme « open source » est déjà un peu flou ici. Par analogie, le véritable open source impliquerait plutôt de publier aussi les données d’entraînement et le processus, mais cela coûte des millions de dollars et ce n’est pas comparable à une compilation. C’est donc une question distincte de celle de la licence.
    • Je me demande en quoi exactement cette condition porterait atteinte à l’une des quatre libertés fondamentales du logiciel libre. Quelqu’un pourrait-il l’expliquer précisément ?
    • C’est même moins restrictif que les conditions d’OpenStreetMap.
    • Cette clause a l’air d’avoir été ajoutée pour éviter que Google ne fasse une « adaptation » et n’en sorte un Gemini-3.0-pro.
  • Pour moi, K2 est une montagne, et SOTA veut dire « summits on the air », donc le titre m’a surpris.
  • J’aime l’idée qu’un nouveau LLM, solide sans être un modèle de raisonnement, élargisse encore la frontière. Ce genre de modèle a toujours de très bons cas d’usage (hors STEM et hors casse-têtes logiques), et c’est pratique quand on n’a pas envie de payer le coût des tokens de raisonnement.
  • « Open source », vraiment ? En pratique, ce sont juste des open weights. Comme toujours, ni le dataset, ni les scripts d’entraînement, etc. ne sont fournis.
    • Pour l’instant, ce ne sont même pas vraiment des open weights, puisque la publication des poids est soumise à cette « licence MIT modifiée » (voir plus haut).
    • Avec le système actuel du droit d’auteur, il est pratiquement impossible de développer un modèle SOTA sans textes sous copyright ; je me demande donc comment cela peut être distribué.
  • J’aime bien la qualité des réponses et le ton (moins poli et plus direct que ChatGPT ou DeepSeek), mais il me semble qu’il rate ou casse plus souvent le format de réponse que les modèles SOTA actuels, DeepSeek compris.
  • En ce moment, tous les modèles d’IA abusent du tiret cadratin (—). J’ai dit à ChatGPT de ne pas l’utiliser, et pourtant il continue. Quelqu’un sait pourquoi ?
    • En tant que personne qui aime utiliser le tiret cadratin, ça m’attriste un peu qu’il soit désormais perçu comme un signe de négligence propre aux LLM.