Inkling : le modèle à open weights de Thinking Machines Lab
(thinkingmachines.ai)- Inkling, entraîné depuis zéro et publié avec l’ensemble de ses poids, est un Transformer MoE de 975B paramètres au total, avec 41B paramètres actifs, qui prend en charge jusqu’à 1M tokens de contexte ainsi que le raisonnement à partir de texte, d’images et d’audio
- Il a été préentraîné sur 45 billions de tokens composés de texte, d’images, d’audio et de vidéo, en privilégiant la polyvalence et la capacité de personnalisation dans les tâches agentiques, le raisonnement, le code, le suivi d’instructions et la factualité, plutôt que l’optimisation pour des benchmarks particuliers
- Son niveau d’effort de raisonnement peut être ajusté entre 0.2 et 0.99 afin d’équilibrer coût, latence et performances ; sur Terminal Bench 2.1, il atteint des performances comparables à Nemotron 3 Ultra en utilisant environ un tiers des tokens
- Ce n’est pas actuellement le modèle ouvert ou fermé le plus puissant, mais il vise à servir de base open weights combinant capacités multimodales, raisonnement efficace, fine-tuning Tinker et divers outils de raisonnement et de déploiement
- La preview d’Inkling-Small, présentée en parallèle, compte 276B paramètres au total et 12B actifs ; elle a obtenu des résultats comparables ou supérieurs à ceux du grand modèle sur plusieurs évaluations, et l’ensemble de ses poids sera publié une fois les tests terminés
Un modèle généraliste publié avec tous ses poids
- Thinking Machines Lab publie l’ensemble des poids d’Inkling, un modèle entraîné depuis zéro pour permettre aux humains de personnaliser directement l’IA
- Inkling est un Transformer Mixture-of-Experts dont 41B paramètres sont activés par token sur un total de 975B paramètres
- Sa fenêtre de contexte maximale est de 1M tokens
- Il a été préentraîné sur 45 billions de tokens composés de texte, d’images, d’audio et de vidéo
- Il raisonne nativement sur des entrées texte, image et audio
- Plutôt que de se concentrer sur un domaine précis, il a été entraîné comme un modèle de base équilibré couvrant les tâches agentiques, le raisonnement, le code, le suivi d’instructions, la factualité, la vision et l’audio
- Ce n’est pas le modèle le plus puissant parmi les modèles ouverts ou fermés, et il vise plutôt à être une base de personnalisation combinant capacités multimodales, raisonnement efficace et fine-tuning Tinker
- Il s’agit de la première sortie d’une famille de modèles appelée à s’étendre à plusieurs tailles, et une version plus légère, Inkling-Small, est également proposée en preview
- Il est possible de fine-tuner Inkling directement dans Tinker, et d’explorer son comportement dans l’Inkling Playground du console Tinker
- Dans une démo de personnalisation, Inkling a utilisé Tinker pour écrire, exécuter et évaluer ses propres tâches de fine-tuning, en fonctionnement dans le harnais OpenCode
Agents généralistes et production de livrables
- Afin de permettre le fine-tuning pour différents workflows et produits, la priorité a été donnée à des performances larges sur de nombreuses tâches plutôt qu’au meilleur score dans un seul domaine
- Pendant l’entraînement en code et via des harnais agentiques, les ensembles d’outils et les schémas ont été randomisés pour réduire la sensibilité à un harnais donné
- Le niveau d’effort de raisonnement peut aussi être réglé à l’intérieur du harnais
- Le modèle obtient des scores compétitifs parmi les modèles open weights sur la plupart des benchmarks agentiques
- Avec un seul prompt, il peut créer une web app de candidature à l’emploi et y intégrer un agent d’usage du navigateur qui remplit les formulaires à partir d’un profil enregistré en suivant des instructions en langage naturel
- Sur le leaderboard Agentic Web Dev de Design Arena, qui compare à l’aveugle des web apps générées, il figure parmi les solides modèles open weights
- Il génère des livrables multipages comme un journal PDF de 9 pages sur la nourriture et le voyage, tout en respectant précisément les instructions et en gardant un style cohérent
- Il a amélioré un jeu Snake multijoueur en ligne avec serveur en temps réel, bots et leaderboard en intégrant 40 retours successifs fournis par GPT Codex comme relecteur
- La capacité à conserver un long cycle d’itération et à faire évoluer le résultat à partir de feedback est présentée comme centrale dans le travail collaboratif
Un effort de raisonnement ajustable pour équilibrer coût et performances
- Dans les applications réelles, la latence et le coût en tokens sont des contraintes aussi importantes que la performance brute, en particulier lorsque la faible latence est cruciale pour la collaboration itérative et l’amélioration continue
- Le niveau d’effort de raisonnement peut être ajusté entre 0.2 et 0.99 pour choisir un compromis entre performance et nombre de tokens générés
- Les performances selon le niveau d’effort et le nombre moyen de tokens générés sont comparés sur Terminal Bench 2.1, Humanity’s Last Exam (HLE) et IFBench
- Sur Terminal Bench 2.1, il atteint un niveau comparable à Nemotron 3 Ultra avec environ un tiers des tokens
- Les résultats HLE ont été mesurés sur un checkpoint antérieur à la release finale, et sont donc légèrement inférieurs à ceux du modèle final
- Lorsqu’un modèle est appelé des millions de fois ou intégré à de longs workflows, il devient possible de choisir des réglages par cas d’usage en fonction de la courbe coût/performance globale plutôt que d’un score maximal isolé
Une architecture multimodale native sans encodeur
- Inkling a été entraîné comme un modèle multimodal dès le départ afin de pouvoir servir de modèle de raisonnement en arrière-plan pour le interaction models system, qui prend en charge la collaboration temps réel en voix et vision
- Pour la vision comme pour l’audio, il utilise une architecture sans encodeur dédié
- L’audio est fourni sous forme de spectrogrammes dMel
- Les images sont encodées en patches de 40×40 pixels via un hMLP à 4 couches, selon une conception inspirée de travaux liés aux Vision Transformers
- Les deux types d’entrée passent ensuite par une légère couche d’embedding avant d’être traités avec les tokens texte
- Côté audio, le modèle prend en charge la transcription vocale, le suivi d’instructions vocales, les questions-réponses sur des enregistrements et le raisonnement sur de longs fichiers audio
- À effort=0.99, il obtient 56.6% sur Audio MC, 77.2% sur MMAU et 91.4% sur VoiceBench
- D’après VoiceBench, MMAU et Audio MC, il se situe parmi les solides modèles audio open weights
- Côté vision, il ne se limite pas à la description d’images et aux questions-réponses, mais gère aussi les graphiques, diagrammes et raisonnements visuels mathématiques
- Il obtient 73.5% sur MMMU Pro Standard 10 et 78.1% sur Charxiv RQ
- Avec des manipulations d’image en Python comme le zoom et le crop, Charxiv RQ monte à 82.0%
- Les capacités multimodales doivent encore être étendues dans les futurs modèles et pipelines d’entraînement
Calibration de la confiance et gestion de l’incertitude
- Les caractéristiques épistémiques (epistemics) d’Inkling désignent conjointement la calibration de la confiance, le suivi d’instructions et la résistance à la censure
- Si un modèle répond avec une confiance excessive à toutes les questions, l’utilisateur doit tout vérifier lui-même quand les informations manquent ou quand le modèle hallucine ; une calibration probabiliste a donc été apprise via renforcement en appliquant des règles de notation adaptées à des questions réelles déjà résolues
- Les résultats d’évaluation prédictive, réalisés entre le 30 juin 2026 et le 13 juillet 2026 sur un checkpoint différent de la version publique, sont les suivants
- Sans recherche, ForecastBench Brier Index atteint 61.1±0.79, et 63.7±0.82 avec recherche
- Le Brier Score sur Prophet Arena est de 0.1617, où plus bas est meilleur
- Pour le suivi d’instructions sur des questions complexes et difficiles à vérifier, deux évaluateurs automatiques sont utilisés : rubric grader et claims grader
- Le rubric grader évalue sous forme de checklist les éléments qu’une bonne réponse doit contenir, mais reste vulnérable aux réponses qui accumulent des faits apparemment pertinents pour maximiser le score
- Le claims grader vérifie chaque affirmation factuelle via une recherche web agentique et pénalise les affirmations non confirmées
- Les deux sont utilisés ensemble pour améliorer l’utilité tout en réduisant les hallucinations
- Des données de questions-réponses factuelles courtes avec récompenses sensibles à l’abstention ont aussi été utilisées pour apprendre directement une incertitude calibrée dans les réponses longues
- Une réponse n’est récompensée que si elle a de fortes chances d’être correcte ; en cas d’incertitude, il est préférable de répondre « je ne sais pas » ou d’émettre une supposition conditionnelle
- Certains prompts encouragent ou interdisent les formulations prudentes afin que le modèle suive les préférences de l’utilisateur entre spéculation forcée et abstention calibrée
- Le modèle a aussi été entraîné à répondre directement sur des sujets potentiellement censurés et montre une forte tendance à ne pas se conformer à la censure sur l’évaluation Propaganda and Censorship Eval de Cognition
Évaluation des capacités à risque et du comportement de sécurité
- Après un entraînement fondé sur une spécification interne de comportement de sécurité applicable à tous les formats d’entrée, les résultats ont été validés par des évaluateurs externes en sécurité
- L’évaluation des capacités à risque couvre le CBRN, le cyber et la perte de contrôle, tandis que les menaces entre humains et IA incluent les tendances à la flatterie, les utilisateurs vulnérables et la manipulation nuisible
- Les principaux résultats de sécurité à effort=0.99 sont les suivants
- FORTRESS Adversarial 78.0%
- FORTRESS Benign 95.9%
- StrongREJECT 98.6%
- Parmi les modèles open weights comparés, Inkling montre les protections intégrées les plus solides sur FORTRESS, en refusant davantage les requêtes nuisibles liées aux armes ou à la violence tout en réduisant les faux refus sur des requêtes bénignes en apparence similaires
- Sur StrongREJECT, qui mesure le refus de requêtes manifestement nuisibles, il dépasse 98%, soit un niveau comparable à d’autres modèles ouverts et fermés
- Pour les modèles personnalisés, l’impact du fine-tuning sur le comportement de sécurité et la montée en capacité continue d’être étudié
Benchmarks complets et conditions de mesure
- Toutes les évaluations de base ont été exécutées avec effort=0.99, temperature=1.0, avec une limite de trajectoire de travail à 256K tokens pour les évaluations de code
- Pour HLE, GPQA Diamond, GDPVal, Tau 3 Banking, AA Omniscience et MMMU Pro, les scores rapportés par Artificial Analysis ont été utilisés lorsque c’était possible
- Les scores représentatifs d’Inkling sont les suivants
- Raisonnement : HLE texte seul 29.7%, usage d’outils 46.0%, AIME 2026 97.1%, GPQA Diamond 87.2%
- Code agentique : SWEBench Verified 77.6%, SWEBench Pro Public 54.3%, Terminal Bench 2.1 63.8%
- Agents généralistes : GDPVal-AA v2 1238, MCP Atlas 74.1%, Tau 3 Banking 23.7%, BrowseComp avec gestion de contexte 77.1%
- Factualité et dialogue : SimpleQA Verified 43.9%, AA Omniscience 2.1, IFBench 79.8%, Global-MMLU-Lite 88.7%
- Vision et audio : MMMU Pro 73.5%, Charxiv RQ avec Python 82.0%, Audio MC 56.6%, MMAU 77.2%, VoiceBench 91.4%
- Pour interpréter les résultats, il faut tenir compte des différences de conditions d’évaluation suivantes
- Le résultat d’Inkling sur SWEBench Verified a été mesuré avec un harnais bash-only, tandis que les scores des modèles externes proviennent de leurs propres déclarations
- Terminal Bench 2.1 a été mesuré avec un harnais de code interne, et quelques résultats contaminés par des réponses trouvées via recherche web ont été notés à 0
- VoiceBench utilise une correspondance exacte de chaînes codée en dur et sensible au format de sortie ; un message système demandant de respecter le format attendu a donc été ajouté
- Certains modèles comparés sur Audio MC ne figurent pas sur le leaderboard officiel et ont été évalués en interne
- Claude Fable 5 et GPT 5.6 Sol sur CharXiv RQ avec Python ont été mesurés via un harnais Python interne
Une architecture MoE pensée pour les contextes longs
- L’architecture MoE d’Inkling suit globalement DeepSeek-V3, avec des modifications pour l’efficacité et les performances sur les contextes longs
- Chaque couche MoE comprend 256 experts routés et 2 experts partagés, avec 6 experts routés activés par token
- Le routeur repose sur un sigmoid avec un biais d’équilibrage de charge sans perte auxiliaire
- Les scores des experts routés sélectionnés et des experts partagés sont normalisés ensemble et utilisés comme poids de combinaison en sortie
- L’attention alterne des couches à fenêtre glissante et des couches globales dans un ratio de 5:1, avec 8 KV heads
- Pour l’encodage positionnel, le modèle adopte des embeddings de position relative au lieu du RoPE largement utilisé
- Des représentations de position relative de la famille Music Transformer se sont montrées plus favorables aux longues séquences, tant en performance qu’en extrapolation
- De courtes convolutions sont appliquées à deux endroits
- Après les projections key et value de chaque couche d’attention
- Avant la fusion des branches résiduelles d’attention et de MLP dans le flux résiduel principal
Préentraînement sur 45 billions de tokens et renforcement à grande échelle
- Inkling a été entraîné sur NVIDIA GB300 NVL72 à partir de 45 billions de tokens mêlant texte, image, audio et vidéo
- L’optimisation combine Muon pour les grandes matrices de poids et Adam pour le reste des paramètres
- Le planning d’hyperparamètres est repris des travaux sur les modular manifolds
- L’intensité du weight decay est liée au carré du taux d’apprentissage afin de maintenir stable la taille globale des poids malgré des durées d’entraînement différentes
- Le post-training couvre les mathématiques, le code agentique et l’usage d’outils, l’audio, l’image, le dialogue et la sécurité
- Le SFT initial utilise des données synthétiques générées par des modèles open weights comme Kimi K2.5
- Ce SFT initial ne représente qu’une petite fraction du calcul total, l’essentiel étant consacré à un apprentissage par renforcement massif dans des environnements synthétiques et conçus par des humains
- Le renforcement asynchrone a été étendu à plus de 30 millions de rollouts, avec un apprentissage stable lors de deux longues exécutions continues
- Un score séparé d’évaluation du raisonnement, regroupant AIME, HLE, GPQA et d’autres, progresse de façon log-linéaire tout au long du processus
- En modifiant le message système et le coût par token, l’équipe a spécifié un effort par échantillon et entraîné le modèle à utiliser différentes quantités de tokens, ce qui lui donne le contrôle du niveau d’effort de raisonnement
- À mesure que le renforcement progresse, la chaîne de pensée devient plus compressée, avec moins de connecteurs grammaticaux et d’articles, tout en conservant l’intelligibilité et la qualité de la réponse finale
- Ce changement n’était pas l’objectif direct de la récompense, mais un effet émergent de la pression vers l’efficacité
- Un phénomène similaire a été observé dans l’entraînement de SWE-1.7 chez Cognition
- Les modèles suivants augmenteront encore l’échelle de calcul du préentraînement, du post-training et du renforcement
Preview d’Inkling-Small, plus petit et plus rapide
- Inkling-Small est un modèle MoE de 276B paramètres au total et 12B actifs, avec un coût et une latence inférieurs à Inkling, qui active 41B paramètres
- Grâce à des données de préentraînement améliorées et à une meilleure méthode d’entraînement, il obtient sur plusieurs benchmarks des résultats comparables voire supérieurs à ceux du grand modèle, les deux partageant la même pile de post-training extensible
- À effort=0.99, les principaux résultats comparés au grand modèle sont les suivants
- HLE usage d’outils 46.6% contre 46.0%, GPQA Diamond 88.3% contre 87.2%
- MCP-Atlas 74.9% contre 74.1%, IFBench 83.4% contre 79.8%
- Charxiv RQ avec Python 83.4% contre 82.0%, MMAU 77.5% contre 77.2%, StrongREJECT 98.8% contre 98.6%
- Certains résultats restent inférieurs à ceux du grand modèle
- Terminal Bench 2.1 : 52.7% contre 63.8%, Tau 3 Banking : 13.6% contre 23.7%
- SimpleQA Verified : 20.9% contre 43.9%, Audio MC : 49.6% contre 56.6%
- Il convient bien aux tâches où coût et latence sont déterminants, comme le code, la notation par LLM et la génération de données synthétiques pour d’autres modèles
- Les tests sont encore en cours et l’ensemble de ses poids sera publié une fois terminés
Écosystème de fine-tuning et de déploiement
- Pour les problèmes spécialisés propres à une organisation et difficiles à résoudre avec un modèle généraliste, le fine-tuning fondé sur l’expertise métier peut réduire l’écart, et Inkling est conçu pour apprendre rapidement en fine-tuning
- Dans Tinker, Inkling est disponible avec des contextes de 64K et 256K
- Une réduction de 50% est appliquée pour une durée limitée
- Les détails tarifaires sont disponibles dans la documentation des modèles Tinker
- Le cookbook Tinker prend en charge Inkling nativement et ajoute trois recettes exploitant les capacités audio
- tml-renderer permet d’échantillonner et de post-entraîner de façon robuste les appels d’outils, le contenu de raisonnement et les entrées multimodales
- Inkling Playground est une interface conversationnelle intégrant la recherche web agentique, gratuite pour une durée limitée
- Les checkpoints fine-tunés dans Tinker peuvent être déployés via les API de TogetherAI, Fireworks, Modal, Databricks, Baseten
- L’écosystème open source d’inférence et de reinforcement learning est aussi pris en charge
- En partenariat avec RadixArk, support de SGLang et de Miles
- Intégration avec Inferact et vLLM, avec Lightseek et TokenSpeed, et avec Unsloth et llama.cpp
- Intégration avec transformers prise en charge avec Hugging Face
- Le dépôt Inkling sur Hugging Face permet de récupérer les checkpoints d’origine ainsi que des checkpoints NVFP4 pour une inférence efficace sur NVIDIA Blackwell
1 commentaires
Avis sur Hacker News
Je me réjouis de voir le plus grand modèle multimodal à poids ouverts prenant en charge l’audio, et je suis curieux de savoir à quel point ses performances audio sont bonnes en pratique.
Pour l’exécuter en local, on peut consulter les ressources suivantes :
https://github.com/danielhanchen/llama.cpp/tree/add-inkling
https://unsloth.ai/docs/models/inkling
https://huggingface.co/unsloth/inkling-GGUF
https://huggingface.co/unsloth/inkling-NVFP4
On dit qu’il est meilleur que KimiK2.7, mais même alors que GLM5.2 attire beaucoup l’attention, environ la moitié des gens utilisent encore KimiK2.7. Si les benchmarks sont exacts, il mérite clairement d’être envisagé, et j’espère qu’il surpassera tous les autres modèles à poids ouverts dans certains domaines.
Les États-Unis ont aussi besoin de leur propre DeepSeek ou Z.ai. Beaucoup de gens, moi compris, soutiennent le succès des modèles ouverts chinois faute d’autres options, et Thinking Machines pourrait jouer ce rôle.
La liste actuelle de ses modèles à poids ouverts est disponible sur https://www.arcee.ai/open-source-catalog.
Cela dit, la combinaison d’une API de fine-tuning et de modèles à poids ouverts ressemble au moins à un modèle économique viable. Si cela consiste simplement à utiliser QLoRA ou LoRA, on peut encore se demander pourquoi le détenteur d’un modèle ouvert serait mieux placé pour faire du fine-tuning, mais cela vaut la peine d’être suivi.
Je pense qu’un modèle de base ouvert que l’on peut fine-tuner dans Tinker constitue un excellent modèle économique. Les entreprises possèdent leur propre modèle tout en obtenant, pour des tâches spécifiques, des performances supérieures aux modèles de pointe à un coût bien plus faible, et Thinking Machines peut devenir le fournisseur central d’infrastructure et de services de cet écosystème.
Il est aussi impressionnant que le plus petit Inkling-Small atteigne, voire dépasse, les grands modèles sur plusieurs benchmarks grâce à de meilleures données de pré-entraînement et méthodes d’apprentissage. J’attends avec intérêt la prochaine génération de modèles Thinky.
Le développement de modèles modernes exige une variété de tâches étonnante. Autrefois, il suffisait de créer une nouvelle fonction de perte ou une petite modification d’architecture, de lancer une boucle d’entraînement et d’évaluation, puis de publier le résultat ; aujourd’hui, c’est devenu une course de la Reine rouge où le simple fait de suivre demande déjà un travail énorme.
Le fait que chacune des quelque 500 étapes soit une petite boucle d’optimisation est presque stupéfiant. Cela a aussi inversé l’ancienne règle selon laquelle les petites équipes sont plus rapides que les grandes : l’IA a besoin de grandes équipes. L’inertie organisationnelle ne devient un problème qu’au-delà de plusieurs milliers de personnes ; avant cela, il est difficile de gérer une telle quantité de composants avec seulement 12 talents exceptionnels.
Je suis content de voir arriver un puissant modèle à poids ouverts, multimodal et à long contexte. Beaucoup d’applications bénéficieront de ses capacités audio, et il pourrait aussi être très solide pour des applications généralistes de type agent, jusqu’à ce que z.ai et d’autres développent leurs capacités visuelles.
Cela dit, certains benchmarks liés montrent aussi des faiblesses. Comme toujours avec les autres modèles, il faut finalement l’intégrer soi-même à son harnais et évaluer correctement les tâches qui comptent pour soi.
Étant donné que c’est leur premier modèle et qu’il est publié ouvertement, je commence à retrouver confiance dans les labos américains d’IA ouverte. Il n’est pas encore disponible sur OpenRouter et consorts, donc je n’ai pas pu le tester, mais s’il atteint ne serait-ce que le niveau de GLM5.1, ce serait déjà excellent pour un premier essai.
D’ici peu, davantage de labos devraient pouvoir rattraper un niveau proche de l’état de l’art, et davantage de concurrence est toujours bienvenue, quel que soit le domaine.
Les tests sont encore très préliminaires, mais il a un potentiel supérieur à ce que montrent les benchmarks. En dehors des modèles d’Anthropic, j’ai rarement vu un modèle obtenir de bien meilleurs résultats dans mes évaluations privées que dans les évaluations publiques ; il est trop tôt pour juger, mais je pense y consacrer beaucoup de temps dans les prochaines semaines.
Parmi les modèles à poids ouverts, je considérais jusqu’ici que seuls les modèles de Moonshot AI valaient la peine d’être utilisés malgré leurs compromis, et Z.AI ne fonctionne pas aussi bien sur mes catégories de tâches ; ce modèle a le potentiel de devenir une deuxième option. Si Mistral avait sorti un modèle comme celui-ci, les passionnés européens, moi compris, n’auraient pas arrêté d’en parler.
Aucun autre modèle d’aucun labo, y compris Fable 5 et GPT-5.6 Sol, n’a pu répondre correctement sans le web, mais pour quelqu’un qui connaît bien ces domaines, cela relève du savoir courant et les bonnes réponses objectives existent clairement. Le fait qu’il soit devant Fable 5 sur des tâches absentes des benchmarks publics et donc difficiles à surapprendre est assez impressionnant.
En particulier, ses capacités à suivre les instructions semblent bonnes, mais le codage paraît plus faible que chez d’autres modèles. Cela dit, l’augmentation de la diversité des modèles à poids ouverts est toujours une bonne nouvelle, et il faudra le tester soi-même pour voir quel caractère il a.
Voici le résultat obtenu en lui demandant : « Regarde la une de Hacker News aujourd’hui et prépare-moi un briefing quotidien résumant l’actualité tech du jour pour que je puisse le lire plus tard. »
https://chat.home.jake.town/artifacts/019f679d-99e5-7000-b02...
Globalement, il est meilleur que Nemotron et inférieur à GLM ; à ce stade, il semble donc être le meilleur modèle américain à poids ouverts.
J’ai essayé Hy3 aujourd’hui et je l’ai apprécié ; c’était une légère progression par rapport à DSV4P. Si ce niveau de performance s’accompagne en plus du multimodal, cela pourrait être très correct.