- Alors que les modèles 27B existants atteignent encore 18 Go même réduits en 4 bits, PrismML adapte Bonsai 27B, fondé sur Qwen3.6 27B et prenant en charge le raisonnement, les appels d’outils, la vision et l’utilisation d’ordinateur, aux limites mémoire de l’iPhone
- Le modèle Ternary, axé sur la qualité, atteint 5,9 Go à 1,71 bit par poids, tandis que le modèle 1-bit, axé sur la capacité, atteint 3,9 Go à 1,125 bit ; la représentation à faible nombre de bits est appliquée à l’ensemble du réseau de langage
- Sur 15 benchmarks en mode réflexion, le modèle Ternary conserve 95 % des performances de la référence en précision complète, et le modèle 1-bit 90 %, avec des scores globaux respectifs de 80,5 et 76,1
- Il atteint jusqu’à 163 tok/s sur NVIDIA GeForce RTX 5090 et jusqu’à 87 tok/s sur M5 Max, avec prise en charge d’un contexte de 262K tokens, d’une tour de vision en 4 bits et du décodage spéculatif
- L’exécution locale élimine les coûts d’API étape par étape et les transferts de données pour les tâches agentiques répétitives, et permet un déploiement hybride où les tâches sensibles sont traitées sur l’appareil et seules les étapes difficiles sont envoyées vers le cloud
Comment faire tenir un modèle de classe 27B dans un téléphone
- Un modèle 27B existant occupe environ 54 Go en précision 16 bits, et 18 Go même dans une version 4 bits courante, ce qui rend son déploiement local difficile sur téléphone et sur la plupart des ordinateurs portables
- Bonsai 27B, basé sur Qwen3.6 27B, prend en charge le raisonnement multi-étapes, les appels d’outils structurés et les tâches de vision, ainsi qu’une boucle d’agent utilisant l’ordinateur qui maintient la cohérence sur plusieurs étapes
- Les deux configurations à faible nombre de bits visent des environnements de déploiement différents
- Ternary Bonsai 27B utilise des poids
{−1, 0, +1}et une mise à l’échelle par groupe en FP16 pour atteindre 1,71 bit effectif par poids et une taille de 5,9 Go - Il vise une qualité de niveau ordinateur portable et fournit l’ensemble des fonctions de raisonnement, d’appels d’outils et d’agent
- 1-bit Bonsai 27B utilise des poids
{−1, +1}et la même mise à l’échelle par groupe pour atteindre 1,125 bit effectif par poids et une taille de 3,9 Go - Il se concentre sur une capacité de niveau téléphone, compatible avec le budget mémoire de l’iPhone 17 Pro
- Ternary Bonsai 27B utilise des poids
Configuration multimodale et faible précision de bout en bout
- La représentation à faible nombre de bits est appliquée à l’ensemble du réseau de langage, y compris les embeddings, l’attention, le MLP et la LM head, sans contourner certaines sections avec une précision plus élevée
- Les deux modèles sont multimodaux, et la tour de vision est fournie dans un format 4 bits compressé, ce qui permet de traiter sur l’appareil captures d’écran, documents et entrées caméra
- Ils prennent en charge un contexte maximal de 262K tokens
- Ils peuvent utiliser le décodage spéculatif, une méthode d’accélération sans perte qui génère un brouillon puis le vérifie
- Les poids du modèle sont fournis sous Apache 2.0 License
Des performances préservées sur 15 benchmarks
- En mode réflexion, qui utilise toute la capacité de raisonnement du modèle, 15 benchmarks couvrant connaissances, raisonnement, mathématiques, code, suivi d’instructions, appels d’outils et vision ont été évalués
- Le score global de Qwen3.6 27B en précision complète est de 85,0 ; Ternary Bonsai 27B obtient 80,5 et 1-bit Bonsai 27B 76,1
- Le modèle Ternary conserve 95 % des performances de la référence en précision complète
- Le modèle 1-bit conserve 90 % des performances de référence
- Les scores par domaine sont les suivants
- Mathématiques — GSM8K, MATH-500, AIME25, AIME26 : précision complète 95,3, Ternary 93,4, 1-bit 91,7
- Code — HumanEval+, MBPP+, LiveCodeBench : précision complète 88,7, Ternary 86,0, 1-bit 81,9
- Agents et appels d’outils — BFCL v3, TauBench : précision complète 80,0, Ternary 74,0, 1-bit 66,0
- Suivi d’instructions — IFEval, IFBench : précision complète 78,4, Ternary 71,8, 1-bit 65,8
- Connaissances et STEM — MMLU-Redux, MuSR : précision complète 83,1, Ternary 77,0, 1-bit 73,4
- Vision — MMMU Pro, OCRBench : précision complète 72,6, Ternary 65,2, 1-bit 59,6
- En mathématiques et en code, la baisse de performances est relativement limitée, et les performances du modèle Ternary en appels d’outils restent elles aussi proches de la précision complète
- La version générale à faible nombre de bits la plus agressive appliquée au même modèle de base utilise 2,5 fois plus de mémoire que 1-bit Bonsai 27B tout en obtenant un score plus faible
Densité d’intelligence par gigaoctet
- 1-bit Bonsai 27B fournit des performances de classe 27B dans une taille inférieure à celle d’un modèle 2B en précision complète
- Selon la métrique de densité d’intelligence introduite par PrismML avec 1-bit Bonsai 8B, 1-bit Bonsai 27B atteint 0,53 par Go
- Plus de 10 fois au-dessus de la référence en précision complète
- Environ 2,7 fois au-dessus de la meilleure alternative à faible nombre de bits disponible
- Dans cette distinction, la capacité absolue du modèle détermine les tâches qu’il peut accomplir, tandis que la densité d’intelligence détermine les appareils et environnements sur lesquels ces tâches peuvent être exécutées
Déplacer les tâches agentiques persistantes en local
- Les usages de l’IA quittent la réponse unique pour aller vers des tâches persistantes : assistants utilisant de vrais outils, workflows autonomes, ou recherche synthétisant des dizaines de documents
- Un agent n’appelle pas le modèle une fois, mais des centaines de fois, en transmettant le contexte à chaque étape, en produisant des sorties structurées puis en les réutilisant comme entrées pour l’étape suivante
- Les API cloud restent adaptées à de nombreux produits, mais exécuter les tâches agentiques uniquement dans le cloud crée des contraintes structurelles
- Chaque étape est traitée comme une requête distante
- Le coût en tokens s’accumule à chaque itération
- Les plans, appels d’outils et résultats intermédiaires, mais aussi les fichiers personnels, l’écran et les données de l’utilisateur, transitent sur le réseau
- Exécuter sur l’appareil un modèle suffisamment capable permet d’intégrer l’agent au produit
- Même une boucle de 100 étapes n’entraîne pas de coût supplémentaire d’appels au modèle
- Les données utilisateur ne quittent pas l’appareil
- Il devient possible de créer des agents persistants on-device, des assistants hors ligne et des assistants traitant directement des données locales privées
- En envoyant les tâches sensibles ou ne nécessitant pas des performances frontier vers le modèle local, et en confiant seulement les étapes les plus difficiles à un modèle cloud, une architecture hybride peut réduire le coût par tâche des systèmes agentiques
Vitesse d’exécution et contraintes mémoire des téléphones
- Les vitesses maximales de génération mesurées sur NVIDIA GeForce RTX 5090 sont les suivantes
- Modèle 1-bit : 163 tok/s
- Modèle Ternary : 134 tok/s
- Les vitesses maximales de génération mesurées sur M5 Max sont les suivantes
- Modèle 1-bit : 87 tok/s
- Modèle Ternary : 58 tok/s
- Les applications mobiles ne peuvent pas utiliser toute la mémoire de l’appareil ; même sur un iPhone de 12 Go, la mémoire disponible pour le modèle est d’environ 6 Go
- Ce budget doit inclure non seulement les poids du modèle, mais aussi le cache KV et les activations ; réduire seulement la taille du fichier stocké ne suffit donc pas
- Avec environ 4 Go, 1-bit Bonsai 27B respecte cette limite mémoire tout en laissant de la marge pour la tâche à exécuter
- La démonstration d’agent multimodal sur iPhone 17 Pro Max fonctionne en mode démo avec cache et contexte d’images préchargées
Plateformes prises en charge et modes de déploiement
- Sur les appareils Apple, il s’exécute nativement sur Mac, iPhone et iPad via MLX
- Sur les GPU NVIDIA, il utilise CUDA
- Les deux plateformes exploitent des kernels personnalisés à faible nombre de bits conçus pour l’architecture d’attention hybride
- Une API de préversion développeur gratuite est proposée pendant une durée limitée pour permettre aux développeurs de tester le modèle
- Les détails techniques complets du processus de compression, d’évaluation et de benchmarking sont disponibles dans le livre blanc Bonsai 27B
Des modèles plus grands et de nouvelles architectures
- Bonsai 27B réduit les capacités des modèles modernes — réflexion, compréhension multimodale, vision et utilisation d’outils — à une taille exécutable sur les appareils détenus par les utilisateurs ordinaires
- La méthodologie de compression n’est pas liée à une architecture spécifique, et PrismML développe des modèles plus grands et de nouvelles architectures
- À mesure que la densité d’intelligence augmente, l’éventail des appareils, produits et environnements capables d’exécuter une IA avancée s’élargit, du téléphone au serveur mono-GPU
1 commentaires
Commentaires sur Hacker News
Le point de comparaison qui m’intéresse le plus est la version QAT 4 bits de Gemma 4 12B. Elle fait un peu moins de 7 Go, donc à peine plus grosse que ce modèle, elle tourne sur la plupart des appareils récents et elle est étonnamment intelligente pour sa taille
Ses capacités d’utilisation d’outils sont excellentes, et ses performances en vision sont aussi remarquables au vu de sa taille. J’essaie encore de comprendre combien de performances on perd à chaque réduction de précision, mais les versions QAT de Google semblent montrer qu’à 4 bits, la perte est très faible
Une bonne évaluation publiée en 2024 se trouve ici : https://arxiv.org/pdf/2402.18158. Je n’en suis pas l’auteur principal, mais je prépare actuellement une version mise à jour, et comme je n’ai pas encore fait de vraie revue de littérature, je serais curieux de savoir si quelqu’un connaît des travaux comparables
Du point de vue des investisseurs, c’est un véritable changement de paradigme. Beaucoup de startups européennes qui emballaient de grands modèles hébergés en mettant en avant la confidentialité pourraient disparaître
Si tout peut tourner directement sur un laptop, il n’y a absolument plus aucune raison d’utiliser une boîte du type « Privacy GPT™ ». Les banques et les autres secteurs régulés peuvent aussi auto-héberger un niveau d’intelligence comme celui-ci, donc ils n’ont plus besoin de dépendre de ce genre d’acteurs
J’ai besoin d’aide pour comprendre. Si j’ai bien suivi, le point clé est qu’avec la quantification, ils ont réduit 50 Go à 4 Go tout en conservant l’essentiel de l’intelligence dans une zone Pareto-optimale, et qu’ils ont ensuite comparé le rapport intelligence/taille à celui d’autres modèles quantifiés. En revanche, il semble que ce soit surtout la performance en appel d’outils qui ait été dégradée, ce qui est déjà un problème sur d’autres petits modèles
Comment ce modèle se compare-t-il aux autres modèles récents de 4 Go ? Comment savoir s’il préserve réellement l’intelligence du modèle parent, ou s’il a simplement été affiné pour les benchmarks ?
Je ne cherche pas à rabaisser le travail, j’aimerais vraiment que ce soit un résultat impressionnant, mais avec mes connaissances limitées, j’ai l’impression qu’il manque un graphique de comparaison équitable et que les graphiques existants peuvent induire en erreur. Si je comprends mal quelque chose, j’aimerais bien qu’on me l’explique
L’article entre plus dans le détail et explique qu’ils encodent davantage d’information avec des techniques comme un poids FP16 pour chaque bloc de 128 poids 1 bit
Il se dit qu’Apple est en négociation avec PrismML : https://www.cnbc.com/2026/07/14/apple-prismml-ai-compression...
C’est peut-être pinailler, mais dans la démo, le plat proposé par le modèle n’a pas l’air très bon, et le calcul des macronutriments semble complètement faux. 25 g de protéines pour des « spaghettis, carottes, poivron, ail, herbes » ?
Les 25 g de protéines venaient peut-être de l’hypothèse qu’il s’agissait de pâtes riches en protéines à base de pois chiches ou autre, mais cela ressemble clairement à une mauvaise estimation
Pour qu’une IA au format téléphone soit utile, elle doit gérer des tâches que seule l’IA peut faire. Peut-elle prendre en charge des documents scannés avec l’appareil photo du téléphone ? Peut-elle faire de la traduction en temps réel ? Les conseils de recettes sont déjà largement couverts par d’autres moyens, au point qu’il n’y a aucune raison particulière de poser la question
Le modèle est en cours de mise en ligne sur Hugging Face à l’adresse https://huggingface.co/prism-ml/models
J’ai essayé les modèles GGUF et MLX dans LM Studio, mais aucun des deux n’a fonctionné. Il faudra peut-être que LM Studio mette d’abord à niveau son moteur llama.cpp ou MLX, et je me demande si quelqu’un a réussi à le faire tourner
Il semble aussi que des correctifs pour les backends Metal et CPU aient été intégrés dans la branche principale de llama.cpp, donc sur Mac ou avec un CPU suffisamment rapide et assez de mémoire, la dernière version de llama.cpp pourrait suffire
Le fork lui-même fonctionne bien, mais sur un test simple le modèle est fortement tombé dans des boucles d’inférence. C’est peut-être le même problème qui apparaît quand on règle l’intensité du raisonnement trop haut
Sur M1 Max, MoE Qwen 3.6 et Gemma 4 semblent toujours être les meilleurs choix. Je ne suis pas non plus convaincu par l’affirmation selon laquelle 35B serait réellement pire, et dans mon environnement d’usage il tombe bien moins dans des boucles d’inférence que 27B
Super ! J’attends depuis plus d’un an une montée en échelle des modèles ternaires[1]. Le Qwen 27B classique est trop lourd pour tourner à une vitesse convenable sur du matériel local, donc j’ai hâte de pouvoir l’essayer moi-même
[1] https://jackson.dev/post/dont-sleep-on-bitnet/
Atteindre 90 % des performances avec un modèle 1 bit, c’est d’abord un résultat stupéfiant
Mais ces deux dernières semaines, c’est déjà le cinquième lancement de produit de ce genre, et à chaque fois on nous dit que cela change la manière d’utiliser l’IA et que son compromis à lui est la réponse parfaite. Les changements de paradigme ne se produisent pas dans les billets d’annonce de lancement
J’ai l’impression qu’il existe une sorte de style propre à l’IA qui fait sonner chaque billet de lancement comme un changement de paradigme
Même sur toute la longueur de contexte, l’utilisation mémoire du cache KV semble étonnamment faible. Cela pourrait donc être particulièrement utile pour des workflows de code multi-agents
J’aimerais que les annonces et démonstrations de nouveaux modèles traitent plus clairement de l’utilisation mémoire du cache KV et des optimisations associées
Chose apprise aujourd’hui : les modèles 1 bit sont en réalité des modèles à 1.58 bit qui utilisent les trois valeurs
+1,0,-1Ternary Bonsai 27B utilise des poids ternaires
{-1, 0, +1}et une mise à l’échelle par groupe en FP16, ce qui donne un nombre effectif de 1.71 bit par poids. 1-bit Bonsai 27B utilise des poids binaires{-1, +1}avec la même mise à l’échelle par groupe, ce qui donne un nombre effectif de 1.125 bit par poids