2 points par GN⁺ 2025-11-07 | 1 commentaires | Partager sur WhatsApp
  • Kimi K2 Thinking est un modèle de raisonnement open source qui utilise des outils et raisonne étape par étape, en reproduisant un processus de pensée de niveau humain pour résoudre des problèmes complexes
  • Il atteint l’état de l’art (SOTA) sur des benchmarks majeurs comme Humanity’s Last Exam (HLE), BrowseComp et SWE-Bench Verified
  • Il peut effectuer jusqu’à 200 à 300 appels d’outils consécutifs et étend simultanément les jetons de raisonnement et les étapes d’appel d’outils grâce au test-time scaling
  • Il se distingue dans les domaines du raisonnement agentique, de la recherche et du code, en résolvant des problèmes complexes de mathématiques, de programmation et de navigation web via une planification de long terme
  • Grâce à une optimisation de l’inférence basée sur la quantification INT4, il double la vitesse et réduit la mémoire GPU, atteignant l’un des meilleurs niveaux d’efficacité parmi les grands modèles open source

Présentation de Kimi K2 Thinking

  • Kimi K2 Thinking est le modèle de pensée open source le plus performant publié par Moonshot AI
    • Une architecture de « thinking agent » qui effectue un raisonnement étape par étape même pendant l’utilisation d’outils
    • Des performances SOTA sur HLE, BrowseComp et d’autres benchmarks
  • Grâce au test-time scaling, il étend simultanément le nombre de jetons de raisonnement et les étapes d’appel d’outils
  • Il est actuellement disponible dans le mode chat de kimi.com, et le mode agentique complet sera bientôt publié
  • Une intégration externe est possible via l’API

Résultats d’évaluation

  • HLE (avec utilisation d’outils) : 44,9 %, BrowseComp : 60,2 %, SWE-Bench Verified : 71,3 %
  • Il démontre une capacité de généralisation cohérente sur des problèmes de niveau expert dans plusieurs domaines
  • Il améliore les performances par rapport aux modèles existants sur l’ensemble du raisonnement agentique, de la recherche et du code

Raisonnement agentique (Agentic Reasoning)

  • Il atteint un record de 44,9 % sur Humanity’s Last Exam (HLE)
    • Un benchmark fermé contenant des problèmes de niveau expert couvrant plus de 100 disciplines
    • Utilisation combinée d’outils de recherche, Python et navigation web
  • Il présente un exemple de résolution d’un problème de mathématiques de niveau doctorat en alternant 23 étapes de raisonnement et d’appels d’outils
  • Il peut résoudre des problèmes académiques complexes via des centaines d’étapes de planification, raisonnement, exécution et adaptation

Code agentique (Agentic Coding)

  • SWE-Multilingual 61,1 %, SWE-Bench Verified 71,3 %, Terminal-Bench 47,1 %
  • Grande qualité sur des tâches centrées sur les composants frontend comme HTML et React
  • Exécution de workflows de développement multi-étapes via des appels d’outils, avec prise en charge d’une génération de code précise et flexible
  • Des exemples montrent la création, à partir d’un seul prompt, d’applications complexes comme des sites web ou des éditeurs de documents

Recherche et navigation agentiques (Agentic Search and Browsing)

  • BrowseComp 60,2 %, largement au-dessus du niveau humain (29,2 %)
    • Cela démontre sa capacité à collecter et raisonner sur des informations web en temps réel
  • Il effectue 200 à 300 appels d’outils consécutifs et met en œuvre une planification de long terme et un raisonnement adaptatif
  • Grâce à une boucle répétée « penser → rechercher → utiliser le navigateur → penser → coder », il
    décompose des problèmes ouverts complexes en sous-tâches structurées

Capacités générales (General Capabilities)

  • Écriture créative : génération de récits riches en expression et en profondeur émotionnelle
  • Écriture pratique : meilleure structure logique et plus grande précision dans l’exécution des consignes, adaptée aux contenus académiques et de recherche
  • Réponses émotionnelles : conseils empathiques et concrets, avec un meilleur équilibre humain

Efficacité d’inférence (Inference Efficiency)

  • Application d’une quantification QAT INT4 sur les poids uniquement, avec vitesse doublée et réduction de la mémoire
  • Maintien d’un processus de pensée précis sans dégradation des performances, même à grande échelle
  • Tous les résultats de benchmark sont rapportés en précision INT4

Comparaison globale des performances

  • Sur les principaux benchmarks, il affiche des performances équivalentes ou supérieures à GPT‑5, Claude Sonnet 4.5 et DeepSeek‑V3.2
  • Il atteint le meilleur niveau open source sur l’ensemble de Reasoning, Coding et Agentic Search

Résumé :
Kimi K2 Thinking est un modèle de raisonnement open source à l’échelle du trillion de paramètres qui effectue une pensée progressive fondée sur des outils,
et atteint simultanément des performances et une efficacité de niveau SOTA pour la résolution de problèmes complexes et l’exécution de plans de long terme.

1 commentaires

 
GN⁺ 2025-11-07
Avis Hacker News
  • Le modèle Moonshot Kimi-K2-Thinking a été installé avec uv tool install llm, puis un SVG a été généré avec la commande llm -m moonshot/kimi-k2-thinking 'Generate an SVG of a pelican riding a bicycle'
    Le résultat est visible à ce lien
    Le résultat obtenu via moonshotai/kimi-k2-thinking sur OpenRouter est sorti bien plus raffiné, comme dans cette version

    • Le résultat OpenRouter semble venir d’un fournisseur d’hébergement quantifié (quantized)
      Comparé à l’appel direct à l’API de Moonshot, la différence est presque le jour et la nuit
      Comme OpenRouter applique les restrictions de quantification au niveau de l’API plutôt qu’au niveau du compte, l’expérience utilisateur est un peu déroutante
    • Il est intéressant de voir ce benchmark devenir de plus en plus symbolique à chaque sortie d’un nouveau modèle
      Les performances de la famille GPT-5 restent difficiles à croire, mais c’est encourageant de voir les modèles open source tenter des approches de plus en plus ambitieuses
    • Je me demande si la température a été fixée à 0 à l’exécution pour garantir la cohérence
    • Je me demande bien où l’on fait tourner un modèle à 1 trillion de paramètres
  • C’est bien qu’il y ait plus de concurrence et davantage d’open source, mais je trouve plus intéressant de voir jusqu’où une combinaison petit LLM + agents peut aller en code et en raisonnement qu’un énorme modèle
    L’idéal serait de pouvoir faire tourner cela en local ou sur un cluster peu coûteux
    L’objectif initial d’OpenAI était de bénéficier à toute l’humanité, mais la structure est désormais centrée sur le payant, avec un bénéfice qui va surtout aux plus aisés, ce qui est regrettable

    • Ce genre d’expérimentations sur de petits modèles existe déjà en grand nombre
      Mais les résultats restent encore insuffisants, et s’il avait été possible de créer efficacement de petits modèles performants, il n’y aurait pas de raison d’avoir de grands modèles
      Bien sûr, cette situation pourrait changer si de nouvelles idées émergent
    • Moi aussi, avant, j’étais obsédé par « le modèle le plus intelligent », mais à l’usage, les petits modèles font le même travail bien plus vite
      Mon objectif est donc maintenant de trouver « le plus petit modèle capable de résoudre ma tâche »
      Les scores élevés sur les benchmarks me semblent plutôt être un indicateur de surdimensionnement et de gaspillage
    • Si c’est vraiment de l’open source, il devrait être possible de télécharger les données d’entraînement et d’avoir des scripts permettant un réentraînement de bout en bout
      Distribuer seulement des binaires d’inférence tout en appelant cela open source est un mauvais usage du terme
    • Je ne comprends pas pourquoi on ne voit pas apparaître des modèles ultra-compacts spécialisés par domaine d’expertise
      Par exemple, pour quelqu’un qui n’utilise que Go, un modèle Go suffirait
      Une architecture qui permute plusieurs modèles spécialisés en mémoire semblerait bien plus efficace
      Pourtant, la plupart continuent de viser d’énormes modèles généralistes
      Je n’ai utilisé qu’un abonnement CoPilot et Ollama, mais j’ai l’impression qu’à l’avenir, des combinaisons de multiples modèles 1~2B deviendront la norme
    • En réalité, les progrès des grands modèles viennent surtout de l’optimisation et du passage à l’échelle
      Mais ces techniques finissent aussi par améliorer les performances des petits modèles
      DeepSeek en est un bon exemple : les innovations sur les grands modèles profitent aussi aux petits
      À noter que ce modèle utilise une architecture MoE, avec seulement 32 milliards de paramètres activés à la fois
  • Ces derniers mois, quatre entreprises chinoises (DeepSeek, Qwen/Alibaba, Kimi/Moonshot, GLM/Z.ai) ont sorti d’excellents modèles open source
    On ne voit pas ce mouvement chez les entreprises américaines ou européennes, ni même chez Meta. Pourquoi ?

    • Bien sûr, OpenAI a aussi publié GPT-OSS en août
      J’aime aussi Qwen 235, mais la définition d’« open source » reste floue : open weights ou publication complète ?
    • Les entreprises chinoises ont un accès limité aux GPU de dernière génération, elles ont donc choisi une stratégie de publication en open source
      À l’inverse, les entreprises américaines hésitent à publier parce qu’elles doivent amortir leurs investissements massifs en GPU
    • Une autre raison est le manque de clients payants à cause des préoccupations liées à la vie privée
      Au final, il ne leur reste pas vraiment d’autre choix que la publication gratuite
    • Meta semble avoir abandonné sa stratégie open weights depuis DeepSeek
  • L’exemple semble un peu sélectionné à dessein (cherry-picked), mais c’est quand même impressionnant
    Ayant déjà intégré des modèles OSS dans des workflows, je connais bien leurs limites, mais ce type de résultat est d’un niveau difficile même pour les frontier models
    Les progrès à venir donnent envie

    • Personnellement, Kimi me donne l’impression d’être un modèle bien plus « intelligent » que ne le suggèrent les benchmarks
      Sans doute parce qu’il a été moins optimisé pour les scores, contrairement à certains labos américains
  • D’après la grille tarifaire d’OpenRouter, c’est $0.60 par million de tokens en entrée et $2.50 en sortie
    À ce niveau de performance, c’est 4 fois moins cher que des modèles comparables, donc je me demande s’ils hébergent à perte ou si ce sont les autres modèles qui prennent de grosses marges

    • Si l’on exclut les coûts d’entraînement, les autres modèles conservent de très grosses marges
      Voir cet article pour plus de détails
    • Les modèles open source d’OpenRouter sont facturés au niveau du coût matériel brut
      Certains tournent sur une infrastructure subventionnée, donc ils peuvent en réalité rester rentables
  • Ce modèle est le seul récemment à avoir résolu le « problème d’empilement » comme un humain
    Article associé : le point clé est d’avoir compris le concept de répartition de charge avec 9 œufs

    • Mais quelqu’un a fait remarquer que le problème lui-même pouvait déjà figurer dans les données d’entraînement
    • Un autre utilisateur a partagé un véritable exemple de conversation montrant comment, après plusieurs retours, le modèle en arrive à une configuration d’empilement physiquement réalisable
      Au final, il propose une réponse réaliste en ordonnant « livre → bouteille → ordinateur portable → clou »
  • Je me demande ce qu’est exactement un reasoning model
    Est-ce simplement un modèle qui utilise dynamiquement des tokens de scratchpad dans le prompt système, ou bien un modèle fine-tuné de cette manière ? La distinction n’est pas claire

    • C’est la seconde option : un modèle fine-tuné pour apprendre un processus de réflexion intermédiaire
      C’est bien plus efficace que d’essayer de l’imiter uniquement par le prompt
    • En général, cela désigne un modèle qui effectue sa réflexion interne dans des tokens comme <think></think> avant de répondre
      Ce format est entraîné via RL ou apprentissage par récompense basé sur le format
  • La version non-thinking est celle qui a la meilleure qualité rédactionnelle
    Il semble qu’ils aient tenté une nouvelle approche différente de celle des autres frontier labs, ce qui est prometteur

    • Moi, j’ai eu l’impression inverse. J’aime ce modèle parce que c’est le plus gros que je puisse faire tourner chez moi, mais sa sortie excessivement structurée la rend artificielle
      Je suis déçu car elle ne diffère pas énormément de la version précédente
    • Malgré cela, Kimi K2 donne une impression de modèle raffiné et abouti
  • Ce serait bien de pouvoir l’utiliser sur AWS Bedrock ou Google Vertex avec garantie de data residency

    • Comme pour le modèle précédent, les poids sont publiés, donc il devrait bientôt être proposé aussi chez des hébergeurs tiers
      Lien Hugging Face
    • La version non-thinking est déjà référencée sur Vertex AI
      Ce modèle met en avant les usages d’outils séquentiels et les performances needle-in-a-haystack RAG, qui sont précisément les aspects les plus utiles en conditions réelles
      À noter que Thoughtworks a récemment placé le text-to-sql en statut Hold
  • Il est déjà disponible sur OpenRouter

    • En revanche, la latence est actuellement élevée