Ce qu’on peut encore apprendre de Kimi K3 et du benchmark du pélican

 (simonwillison.net)
1 points par GN⁺ 3 시간 전 | 1 commentaires | Partager sur WhatsApp
  • Kimi K3, dévoilé par Moonshot AI, est le modèle le plus performant de l’entreprise avec 2,8 billions de paramètres ; il est disponible sur le site web et via API, et ses poids open weight doivent être publiés d’ici le 27 juillet 2026
  • Dans ses propres benchmarks, il dépasse globalement Claude Opus 4.8 max et GPT-5.5 high, mais reste derrière Claude Fable 5 et GPT-5.6 Sol ; il prend toutefois la 1re place sur Arena.ai Frontend Code arena
  • À 3 $ par million de tokens en entrée et 15 $ par million de tokens en sortie, c’est le plus cher des modèles publiés par un labo d’IA chinois ; générer un SVG de pélican a coûté 16 658 tokens en sortie, dont 13 241 tokens de raisonnement, pour 0,25 $
  • Le test du SVG de pélican à vélo ne mesure ni les appels d’outils d’agent aujourd’hui essentiels, ni la fiabilité de l’usage des outils dans les longues conversations ; il ne convient donc pas comme comparaison globale entre modèles
  • Mais exécuter soi-même le même prompt simple permet tout de même d’examiner rapidement l’accessibilité API et le coût, le volume de raisonnement, la validité du SVG, la perception spatiale, les capacités de vision et les progrès générationnels au sein d’une même gamme

Publication et performances de Kimi K3

  • Moonshot AI a présenté Kimi K3 comme son modèle le plus performant, avec 2,8 billions de paramètres
    • Disponible sur le site web et via API
    • Les poids open weight devraient être publiés d’ici le 27 juillet 2026
  • L’entreprise le présente comme le premier « modèle open de classe 3T », en arrondissant 2,8 billions à 3 billions
    • Le DeepSeek V4 Pro, jusque-là cité comme plus grand modèle de cette catégorie, compte 1,6 billion de paramètres
    • K3 est plus de deux fois plus grand que Kimi K2.6, qui en compte 1 billion
  • Dans ses benchmarks internes, il dépasse généralement Claude Opus 4.8 max et GPT-5.5 high, mais reste derrière Claude Fable 5 et GPT-5.6 Sol

Évaluations externes et tarification

  • Dans une évaluation d’Artificial Analysis sur des tâches privées de connaissance longue durée, il obtient un Elo global de 1 547
    • Soit 732 points de plus que Kimi K2.6
    • Et une 2e place derrière Claude Fable 5
  • Le coût par tâche est de 0,94 $, proche de 1,04 $ pour GPT-5.6 Sol
    • Environ deux fois moins que les 1,80 $ de Claude Opus 4.8
    • Mais plus cher que les autres modèles open weight
  • Dans l’Artificial Analysis Intelligence Index, l’usage de tokens en sortie baisse de 21 % par rapport à K2.6
  • Sur Arena.ai Frontend Code arena, il prend la 1re place devant Claude Fable 5
  • Les tarifs API sont de 3 $ par million de tokens en entrée et 15 $ par million de tokens en sortie
    • Au niveau de la gamme Anthropic Claude Sonnet
    • Le plus cher parmi les modèles publiés par un labo d’IA chinois
    • En forte hausse par rapport aux 0,95 $ / 4 $ de Kimi K2.6

Expérience de génération d’un SVG de pélican

  • Le prompt Generate an SVG of a pelican riding a bicycle a été exécuté via OpenRouter et le plugin llm-openrouter
  • Le processus de génération a utilisé 95 tokens en entrée et 16 658 tokens en sortie
    • Parmi eux, 13 241 étaient des tokens de raisonnement
    • Le coût total a été de 0,25 $
  • Le modèle prenant aussi en charge l’entrée image, un prompt de texte alternatif a été appliqué au SVG généré
    • Le résultat de l’analyse identifie correctement un pélican blanc avec écharpe rouge, un vélo rouge, les marquages de voie et les signes de mouvement, ainsi que le ciel, les nuages, le soleil, des oiseaux, de l’herbe et des fleurs
    • L’analyse d’image a coûté 822 tokens en entrée, 243 tokens en sortie, pour 0,006 $

Limites comme benchmark global

  • Le test du SVG de pélican à vélo a commencé il y a 21 mois comme une plaisanterie satirique sur la difficulté de comparer les modèles, mais il a montré durant sa première année une corrélation étonnamment forte avec la qualité réelle des modèles
  • Aujourd’hui, cette corrélation a largement disparu
    • Les pélicans produits par GPT-5.6 et Claude Fable 5 sont moins bons que le résultat de GLM-5.2
    • Pourtant, il est difficile de considérer GLM-5.2 comme un modèle du niveau de Claude Fable
  • Rien ne permet d’affirmer que les labos ont entraîné leurs modèles pour ce test précis
    • S’ils l’avaient vraiment optimisé, les résultats devraient être bien meilleurs
    • Il reste possible que Gemini ait été optimisé plus largement pour les combinaisons de type « animal sur un véhicule »
  • Sa plus grande limite est qu’il n’évalue en rien les appels d’outils d’agent, essentiels dans les modèles actuels
    • Il ne mesure pas non plus la capacité à utiliser les outils de façon fiable quand la conversation s’allonge
    • Les résultats du pélican ne doivent donc pas servir à comparer la performance globale des modèles

Une expérience qui pousse à tester soi-même

  • Le test du pélican sert de dispositif de contrainte pour pousser à appeler réellement un nouveau modèle
    • Si un résultat est produit, cela signifie au minimum que l’exécution du prompt a réussi
    • S’il existe une API officielle, elle est utilisée
    • Les modèles open weight assez petits pour tenir sur un MacBook Pro M5 de 128 Go sont exécutés localement avec llama.cpp, LM Studio et Ollama
    • OpenRouter est souvent utilisé car il permet d’accéder à des proxys d’API officielles sans nouvelle clé API
  • La plupart des résultats sont générés avec l’outil CLI LLM, ce qui permet aussi de vérifier si les plugins prennent bien en charge les derniers modèles
  • Un simple prompt SVG suffit déjà à révéler des caractéristiques sur le coût, le mode de raisonnement et le traitement des entrées d’un modèle

Ce que Kimi K3 révèle

  • Pour l’instant, K3 ne propose qu’un seul niveau d’effort de raisonnement, max, et consomme 13 241 tokens de raisonnement pour produire une réponse de 3 417 tokens
    • Le coût de 0,25 $ pour un simple pélican est élevé
  • Le fait qu’un prompt court soit compté comme 95 tokens en entrée suggère l’existence d’une entrée cachée
    • Le tokenizer d’OpenAI compte le même prompt comme 10 tokens
    • Le calculateur de tokens d’Anthropic l’estime à 10 tokens sur Opus 4.6, 30 tokens sur Opus 4.7, et 25 tokens sur Sonnet 5 / Fable 5
    • Même en envoyant hi à K3, 86 tokens sont comptés, ce qui laisse penser à un prompt système caché d’environ 85 tokens
    • K3 refuse de révéler ce prompt système
  • La qualité du texte alternatif produit lors de l’analyse du SVG montre que ses capacités de vision fonctionnent bien
  • K3 n’offre qu’un seul niveau d’effort de raisonnement, mais d’autres modèles permettent d’exécuter le même prompt avec plusieurs niveaux afin d’en comparer rapidement l’impact

Ce que le test du pélican permet encore de voir

  • Il peut servir de TP “Hello World” pour envoyer un prompt à un nouveau modèle
  • Il permet d’estimer grossièrement le coût et le volume de raisonnement requis pour une tâche simple
  • Il permet de voir si la sortie SVG est valide, ainsi que les bases de la géométrie et de la perception spatiale
    • C’est particulièrement important pour les petits modèles exécutés sur un laptop
  • Il reste pertinent pour comparer les sorties entre différentes versions d’une même gamme de modèles
    • Le pélican de K3 est nettement meilleur que celui de Kimi 2.5
  • Il permet aussi de partager le fait qu’on a réellement essayé le modèle ; sur Hacker News, publier un résultat de pélican dans les commentaires sur un nouveau modèle est presque devenu une tradition

À lire aussi

1 commentaires

 
GN⁺ 3 시간 전
Commentaires sur Hacker News

  • Le benchmark pelican reflète parfaitement les problèmes du recrutement dans la tech. Cela n’a aucun rapport avec le travail réel, ce n’est guère différent d’un entretien où l’on demande de dessiner un pélican avant d’évaluer les compétences

    • Une remarque typique de quelqu’un qui n’a pas 9 ans d’expérience comme développeur 10x en dessin de pélicans

  • Si le prompt « génère un SVG de pélican à vélo » a été compté comme 95 tokens en entrée, c’est peut-être parce qu’un prompt sur l’intensité de raisonnement est inséré avant le token de début quand on définit une intensité de raisonnement personnalisée. Le cas du mode max de DeepSeek-V4 vaut aussi le détour : https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro/blob/main...

  • Je propose sérieusement SWE-bench-adversarial-pelican-gen. Ce serait similaire à SWE-bench, mais avec une interruption toutes les 5 conversations ou invocations d’outils pour générer un SVG d’animal aléatoire avant de reprendre le travail, avec en plus des commentaires sur les SVG de pélicans disséminés dans les sorties des outils
    Quand le contexte atteint 800 000 tokens, on redemande un SVG de pélican, puis on évalue à la fois la qualité du pélican et le niveau d’achèvement et d’efficacité de la tâche initiale. La vraie compétence, c’est de résoudre le problème malgré l’assaut des SVG de pélicans

    • Avec Codex, ça coûterait probablement environ 5 dollars, donc on peut se demander pourquoi personne n’a envie d’essayer

  • Comme dans la conclusion de Simon, l’usage principal de ce benchmark n’est pas d’affirmer qu’un modèle est meilleur qu’un autre, mais d’observer la relation entre qualité, coût et vitesse. J’ai comparé rapidement Opus, Fable et Kimi récemment : Kimi était 5 fois moins cher, mais 2 fois plus lent
    https://9gpyw4uxr2.evvl.io/

    • Les trois résultats du milieu ressemblent à un échec typique de Gemini/Google, avec davantage produit que ce que demandait le prompt. K2.6 a aussi utilisé du HTML+CSS+SVG au lieu d’un SVG pur, donc c’est proche d’un échec borderline
      Le « Expires in 6 days » en haut à droite du site est également étrange. On voit mal pourquoi une page contenant seulement quelques Ko de données devrait expirer

  • Il existe déjà des centaines de pélicans à vélo sur des blogs, forums et GitHub, donc je suis surpris que Simon croie qu’ils ne figurent pas dans les données d’entraînement. Le blog de notre entreprise a 1 000 fois moins de trafic que le site de Simon, mais ses billets sont connus des LLM au bout de 6 mois

    • Les dessins de pélicans existants restent médiocres. Même s’ils sont dans les données d’entraînement, ils n’aideront pas à générer de meilleurs pélicans et pourraient même dégrader les performances
    • Simon a lui-même reconnu à plusieurs reprises que les pélicans pouvaient faire partie des données d’entraînement, et il a aussi d’autres tests qu’il ne publie pas. Il aime simplement les pélicans
    • Même si les pélicans et les vélos figurent séparément dans les données d’entraînement, cela ne veut pas dire que ce benchmark précis a été appris
    • Le pélican à vélo n’est pas un sujet si spécial. On peut demander à n’importe quel modèle de produire en SVG n’importe quelle combinaison, comme un match de boxe entre un ver de terre et un rouge-gorge, et on observe une forte corrélation : plus le modèle est intelligent, meilleur est le résultat, indépendamment du fait qu’il s’agisse ou non d’un modèle de vision
      Au départ j’ai trouvé cette évaluation absurde, mais après avoir testé des combinaisons qui ne pouvaient vraisemblablement pas exister dans les données d’entraînement, j’en ai confirmé la validité
    • Cela me rappelle à quel point le discours de l’an dernier sur l’épuisement des données d’entraînement et cette affirmation elle-même étaient ridicules

  • Notre réponse au benchmark pelican, c’est le benchmark MacBook SVG : https://playcode.io/blog/macbook-svg-benchmark

    • Le résultat de Terra xhigh est vraiment bon
    • Le passage où Fable 5 raisonne si longtemps qu’il épuise son budget de sortie avant même de terminer le dessin est amusant

  • Le fait de ne générer le pélican qu’une seule fois par modèle me dérange toujours. Un même modèle peut produire des résultats différents à chaque exécution, donc le résultat retenu peut influencer le jugement selon lequel « ce modèle est meilleur »
    J’aimerais voir les résultats de 8 exécutions côte à côte pour chaque modèle. Pour deux modèles proches, la variation entre exécutions individuelles pourrait être aussi importante que la différence entre les modèles

    • Avant, on faisait trois exécutions puis on retenait le meilleur résultat. Un jour, j’aimerais automatiser cela pour qu’un LLM juge de la même famille de modèles sélectionne le meilleur résultat et l’envoie au tour suivant
      J’avais aussi mis en place un système de score ELO : https://simonwillison.net/2025/Jun/6/six-months-in-llms/#ai-...
      Le benchmark lui-même paraît un peu daté, mais comme la demande pour une galerie de résultats est forte, cela vaudrait la peine d’y consacrer à nouveau du temps

  • L’écart se réduit. Kimi 3 semble avoir environ 3 mois de retard sur les modèles américains, et ressemble à un modèle de niveau GPT 5.5 lancé fin avril

  • Je me demande comment les labos chinois entraînent des modèles à 3 000 milliards de paramètres avec des ressources de calcul forcément bien moindres. Si l’avantage américain en calcul se maintient, il sera physiquement difficile pour la Chine de rattraper son retard indéfiniment, mais jusqu’ici ils s’en sortent bien

    • En pratique, il n’y a peut-être pas de restriction significative sur l’accès au calcul. Les entreprises chinoises peuvent utiliser des GPU dans des pays voisins non soumis aux restrictions à l’export, comme la Malaisie, et ByteDance l’a fait ouvertement : https://www.tomshardware.com/pc-components/gpus/chinas-byted...
      Il y a aussi des rumeurs selon lesquelles Tencent y a eu accès via le Japon : https://wccftech.com/china-tencent-gains-access-to-nvidia-bl...
      Il existe aussi la contrebande via Singapour, et comme les puces dédiées à l’IA sont relativement plus faciles à concevoir et produire que des CPU·GPU hautes performances, rien n’indique non plus que les conceptions chinoises resteront à la traîne. Au final, tout le monde peut utiliser les mêmes fonderies
    • Gamers Nexus a publié une bonne vidéo issue d’un reportage direct en Chine : https://www.youtube.com/watch?v=1H3xQaf7BFI
      Les 5090 basées sur GB202 et les RTX 6000 Pro Blackwell visées par les restrictions à l’export sont fabriquées chez TSMC puis assemblées et finalisées en Chine, donc la faille existe dès le départ. NVIDIA et ses partenaires de distribution vendent aussi sans réelle vérification dans des pays comme Singapour, et même si des transporteurs individuels les font entrer physiquement, les douanes chinoises n’ont aucune raison d’appliquer le droit américain sur le territoire chinois
    • Les puces Huawei Ascend étaient déjà utilisées pour l’entraînement de DeepSeek v4 il y a plus de 4 mois, et Huawei a partagé le kernel avec d’autres labos chinois. La Chine possède aussi ses propres fonderies DDR5
    • Un même nombre de paramètres ne rend pas les modèles identiques, donc ce chiffre ne me semble pas être un indicateur de qualité ni de besoins de calcul. Concevoir un bon modèle demande plus que simplement augmenter le nombre de paramètres
    • La Chine a déjà sauvé l’économie mondiale en libérant d’énormes réserves de pétrole dont personne n’avait connaissance, donc il ne serait pas surprenant qu’elle dispose aussi de beaucoup de ressources de calcul cachées

  • Il est intéressant que la qualité des pélicans et la qualité globale du modèle évoluent séparément. Les capacités générales se forment au préentraînement, donc je pensais qu’un préentraînement de haute qualité produirait de meilleurs pélicans, et que le reinforcement learning aurait peu d’effet sur la qualité des pélicans
    Mais le fait que GLM 5.2 ait surpassé GPT 5.6 et Claude Fable ne colle pas avec cette hypothèse. La seule explication qui me vient est que GLM 5.2 a peut-être bénéficié d’un reinforcement learning spécifique à la génération de SVG, ce qui lui a donné de très bonnes performances