1 points par GN⁺ 3 시간 전 | 1 commentaires | Partager sur WhatsApp
  • Il vise des performances supérieures à celles des modèles de taille comparable et atteint un niveau capable de rivaliser avec des modèles open source phares ayant 2 à 5 fois plus de paramètres
  • Lors d’une évaluation en aveugle fondée sur le travail réel de 270 experts, Hy3 a obtenu 2,67/4 contre 2,51/4 pour GLM-5.1, avec des écarts particulièrement marqués en développement frontend, en données et stockage, ainsi qu’en CI/CD
  • Grâce à des améliorations basées sur les retours produit, le taux d’hallucination est passé de 12,5 % à 5,4 %, le taux d’erreurs de bon sens de 25,4 % à 12,7 %, et le taux de problèmes dans les tests internes multi-tours de 17,4 % à 7,9 %
  • Il est publié sous licence Apache 2.0 sur GitHub, HuggingFace, ModelScope et AtomGit, et le prix de l’API est de 1 RMB en entrée, 4 RMB en sortie et 0,25 RMB pour l’entrée en cache par million de tokens
  • Après Hy3 preview fin avril, Tencent a publié la version officielle de Hy3 en intégrant les retours de plus de 50 produits et des données de post-entraînement de haute qualité

Publication de Hy3 et performances agentiques

  • Après le lancement de Hy3 preview fin avril, Tencent a recueilli des retours provenant de plus de 50 produits, puis a étendu le post-entraînement avec des données de meilleure qualité avant de publier Hy3
  • Le nouveau modèle offre de meilleures performances que les modèles de taille comparable et est considéré comme capable de rivaliser avec des modèles open source phares disposant de 2 à 5 fois plus de paramètres
  • Depuis la preview, Tencent a renforcé la qualité et la diversité des données de post-entraînement et étendu l’entraînement RL
    • Des améliorations ont été apportées au raisonnement, aux tâches de type agent et aux tâches à long contexte
    • L’objectif est d’atteindre un niveau compétitif face à des modèles phares plus grands
  • Sur les tâches de productivité, des progrès ont été observés en programmation, en travail de bureau, en modélisation financière, en design frontend et en développement de jeux
    • Lors d’une évaluation en aveugle menée auprès de 270 experts à partir de tâches réelles, Hy3 a obtenu 2,67/4
    • GLM-5.1 a obtenu 2,51/4
    • L’avantage de Hy3 a été le plus marqué en développement frontend, en données et stockage, et sur les tâches de CI/CD

Fiabilité produit, coût et mode de publication

  • Tencent estime que les benchmarks seuls capturent difficilement toute l’utilité d’un modèle et a corrigé plusieurs problèmes à partir de retours issus de produits réels
  • Les appels d’outils et la stabilité du format de sortie ont été améliorés
    • Des problèmes fondamentaux de fiabilité ont été corrigés afin de respecter un niveau de qualité production sur la configuration des outils et les contraintes de sortie
    • La récupération après erreur lors des appels d’outils et l’efficacité globale se sont améliorées
    • Sur différents scaffolds d’agents comme CodeBuddy, Cline et KiloCode, l’écart de précision sur SWE-Bench Verified est resté inférieur à 4 %
  • Les connaissances et la prévention des hallucinations ont été renforcées
    • Le nettoyage des données et les contraintes d’entraînement ont été appliqués selon un principe consistant à répondre lorsqu’il existe des preuves, à dire qu’il n’y en a pas lorsqu’elles manquent, et à ne pas mélanger les sources ni fabriquer des données
    • Dans les évaluations internes sur scénarios réels, le taux d’hallucination est passé de 12,5 % à 5,4 %
    • Le taux d’erreurs de bon sens est passé de 25,4 % à 12,7 %
    • Les confusions factuelles, les fabrications et les contradictions logiques ont diminué
  • Le maintien d’un contexte complexe et le suivi de l’intention sur plusieurs tours ont été améliorés
    • L’optimisation conjointe de SFT et de RL a permis de traiter des problèmes opérationnels comme l’interprétation de la cible des instructions, la restitution des éléments implicites et l’héritage des contraintes sur plusieurs tours
    • Le taux de problèmes dans les tests internes complets multi-tours est passé de 17,4 % à 7,9 %
    • Des améliorations ont aussi été observées dans des évaluations de longues conversations comme MRCR
    • Même lors d’interactions longues, les intentions complexes s’affaiblissent moins ou dérivent moins, tandis que les sorties deviennent plus concises
  • Dans les tests internes de WorkBuddy, Hy3 a amélioré le taux de réussite des tâches et le temps d’exécution par rapport à la preview
    • Le taux de réussite des tâches est passé de 72 % pour Hy3 preview à 90 % pour Hy3
    • Le temps moyen d’exécution a été réduit de 34 %
    • Des améliorations ont été constatées dans le traitement de données, le travail documentaire et l’analyse de rapports de recherche
  • Sur certaines tâches générales comparées à GLM-5.2, Hy3 a montré une meilleure efficacité en tokens
    • Il a utilisé 47,4 % de tokens en moins pour le traitement de documents
    • Il a utilisé 49 % de tokens en moins pour la génération de présentations
  • Hy3 est publié sous licence Apache 2.0
  • Tencent a réduit le prix de l’API grâce à une optimisation conjointe matériel-logiciel
    • Entrée par million de tokens : 1 RMB
    • Sortie par million de tokens : 4 RMB
    • Entrée en cache par million de tokens : 0,25 RMB
  • Tencent a bouclé en moins de six mois une boucle complète de développement de modèle, depuis la reconstruction de l’infrastructure fin janvier jusqu’à la publication et au déploiement produit de Hy3, après Hy3 preview en avril
  • À l’avenir, l’entreprise prévoit de poursuivre l’extension de l’entraînement, l’amélioration de la qualité des données et l’optimisation fine de l’expérience utilisateur

1 commentaires

 
GN⁺ 3 시간 전
Avis sur Hacker News
  • Résultats de Pelican il y a quelques jours : https://simonwillison.net/2026/Jul/6/hy3/ — j’utilisais le palier gratuit d’OpenRouter, qui expire le 21 juillet
    Il y a 41 jours, en essayant le modèle preview, j’avais obtenu un pélican avec un bouton "change pelican color" : https://static.simonwillison.net/static/2026/hy3-preview-pelican.html

    • J’ai récemment refait le test du pélican avec GPT-OSS, et ça m’a semblé être l’un des meilleurs modèles locaux de 2025
      C’est vraiment génial de voir à quel point les modèles se sont améliorés sur le pélican SVG
    • Je me demande pourquoi le TFA insiste en disant "Tencent in China"
      C’est écrit tencent/Hy3. New Apache 2.0 licensed model from Tencent in China, mais Tencent AI a aussi des labos de recherche ailleurs ? Par exemple, quel lien MiniMax a-t-il avec Tencent ?
    • Par le passé, j’ai été excessivement critique envers tes billets, j’ai argumenté de manière malveillante et j’ai contribué à une mauvaise ambiance en étant négatif avec toi
      Je n’aime pas particulièrement les LLM, mais grâce à toi j’ai réalisé que mes sentiments étaient irrationnels, et que le métier que j’aimais est en pratique terminé sous sa forme précédente, donc je dois lâcher prise et rejoindre le camp de ceux qui le font pour l’argent et l’attention
      Malgré tout, pour mes projets perso, je compte continuer à coder à la main autant que possible sans utiliser de LLM
      Je ne sais pas à quel point le mème du pélican est réellement utile, mais je trouve déjà cool de l’avoir lancé, ne serait-ce qu’esthétiquement
  • Il y a un mois, j’avais écrit un billet disant que personne ne parlait de Hy3 alors qu’il figurait en haut du classement OpenRouter : https://news.ycombinator.com/item?id=48317294
    À ce jour, il est redescendu vers la 8e ou 9e place, et je ne vois pas très bien pourquoi il faudrait l’utiliser plutôt qu’un modèle concurrent
    Cela dit, la structure tarifaire est un peu confuse : actuellement, le prix d’entrée effectif de Hy3 via OpenRouter est devenu le même que celui de DeepSeek Flash V4 hébergé par DeepSeek
    https://openrouter.ai/tencent/hy3-preview
    https://openrouter.ai/deepseek/deepseek-v4-flash

    • J’ai dû arrêter de l’utiliser parce que les limites de requêtes étaient trop sévères
      C’est probablement aussi pour ça qu’il a reculé dans le classement, on avait l’impression qu’ils n’arrivaient pas à suivre la demande
    • Ça devait être le modèle preview, et celui-ci semble bien meilleur
      Ça reste un petit modèle, mais au moins les scores de benchmark ont fortement progressé, DeepSWE compris
      Le prix est le même que Flash, mais les benchmarks sont proches de Pro, voire meilleurs sur certains points
      Bien sûr, les benchmarks veulent généralement peu dire ; le vrai benchmark, c’est le travail qu’on lui confie réellement
    • Sur OpenRouter, c’était vraiment lent et j’ai aussi eu beaucoup d’erreurs HTTP
    • Il écrit une prose assez immersive, se fine-tune bien, et c’est maintenant sous licence MIT
      Pour sa taille, ses connaissances du monde sont très bonnes et je le trouve meilleur que DS4 Flash
  • Novita propose l’utilisation gratuite de Hy3 sur OpenRouter jusqu’au 21 juillet
    https://openrouter.ai/tencent/hy3:free
    https://x.com/novita_labs/status/2074158304159510819

  • Vu que la taille est assez proche, je suis curieux de savoir comment les gens le ressentent par rapport à DS4 Flash
    Je me demande aussi dans quelle mesure il tient le coup avec une quantification agressive
    DS4 Flash tourne actuellement plutôt bien sur des systèmes avec environ 96 Go de RAM ou plus, mais je ne sais pas si Hy3 peut rivaliser sur ce terrain

    • J’ai essayé Hy3 hier via OpenRouter, et depuis que j’ai annulé mon abonnement Anthropic il y a une semaine, j’utilise surtout DS4 Flash/Pro
      J’ai trouvé DS4 Flash assez capricieux quand on l’utilise via Claude Code
      La vitesse est excellente, mais il se construit souvent un modèle mental complètement erroné et part dans une mauvaise direction, donc il fallait souvent le recadrer, et compresser l’historique aussi, ce qui réduit l’avantage tarifaire du cache
      Hy3 n’est pas aussi rapide, mais jusqu’ici il garde le cap bien plus régulièrement que DS4 Flash
      Il semble aussi moins se dégrader sur les longs contextes, et même si je ne connais pas son prix réel, j’ai l’impression que c’est un modèle très compétitif
      À part ça, j’ai aussi acheté un pack de 50 millions de tokens pour tester LongCat 2.0 ; ce n’est pas gratuit, mais c’est tellement peu cher qu’on a presque l’impression qu’ils le distribuent
      C’est aussi assez impressionnant et ça semble globalement similaire à Hy3
      Ce n’est pas une intelligence de tout premier plan, mais plutôt un ouvrier fiable qui explore bien une base de code et exécute de façon stable ce qu’on lui demande
    • Un point peu visible au premier abord avec DSV4, c’est que l’équipe DeepSeek a introduit beaucoup d’innovations dans l’architecture
      Quand llama.cpp prendra entièrement en charge le lightning indexer, l’ensemble du contexte de 1M ne nécessitera qu’environ 6 Go de RAM
      Donc même si la taille est similaire, sur cet aspect DeepSeek sera probablement bien plus efficace
      La capacité de Hy3 à rivaliser dépendra beaucoup de sa robustesse à la quantification
      DSV4 reste utilisable même en quantification 2 bits
    • Là, on parle de la quantification 2 bits de DS4 Flash
      Il vaudrait peut-être mieux faire tourner Qwen3.6-27B en Q8 à la place
    • Hy3 n’a pas l’efficacité du cache KV de l’architecture DSv4
      DSv4 Flash peut tourner sur deux DGX Spark tout en ayant encore assez de mémoire pour un cache KV de 3M tokens, alors que Hy3, même quantifié en FP4, ne peut contenir qu’environ 130K tokens de cache KV
    • DS4-Flash est non seulement « nettement » plus petit, mais il peut aussi bénéficier d’un avantage de vitesse bien plus important grâce à DSpark
  • Ce modèle est étonnamment petit au vu de ses performances
    Il est un peu plus grand que deepseekV4 flash, mais sur certains benchmarks il semble égaler, voire dépasser, V4 pro, donc il ne serait pas surprenant qu’il devienne un modèle local populaire

    • C’est justement ce point qui m’intriguait
      GLM-5.2 fait aussi la moitié de la taille de DeepSeek V4 Pro, mais coûte environ deux fois plus cher
      J’ai un peu regardé l’architecture de DeepSeek, et le point central semblait être de réduire les coûts au maximum
      Ils ont beaucoup économisé sur le mécanisme d’attention, ce qui leur a permis d’offrir des prix absurdement bas même avec un contexte énorme, mais il semble y avoir eu un sacrifice en performances
      Au moins, quand on voit qu’un modèle plus petit est plus cher et meilleur, on se demande si « l’attention est plus dense ? »
    • À moins que par « local » on parle de gens qui utilisent du matériel à plusieurs milliers de dollars, ça reste encore un modèle assez gros
    • Hy3 has 295B parameters in total. To serve it on 8 GPUs, we recommend using H20-3e or other GPUs with larger memory capacity.
      Moi aussi, je pense qu’il peut devenir un modèle local populaire
  • J’ai essayé le modèle, il est plutôt excellent, et il me semble meilleur que ~~gpt5.4~~ gpt-5.4-mini
    Ses performances sont aussi suffisamment proches de sonnet 5 pour que je ne sente pas de grosse différence
    Ce n’est pas du niveau de gpt 5.5, et probablement en dessous de glm 5.2, mais sur la plupart des tâches que j’ai testées il a simplement bien fonctionné, et il est très bon marché
    Si vous avez besoin d’un modèle FOSS, il n’y a aucune raison de ne pas l’utiliser
    Correction : ce n’était pas le gpt-5.4 de base, mais gpt-5.4-mini

    • Hy3 DeepSWE est à 28 %, et GPT5.4 xhigh DeepSWE est à 52 %
      Le billet de blog de Hy3 semble contenir beaucoup de benchmarks contaminés, donc il faut des tests réels
      Comme beaucoup de modèles chinois, on a fortement l’impression d’une optimisation pour les benchmarks poussée à l’extrême
    • Je crois que je m’étais trompé de modèle
      Si c’est gpt-5.4, il n’y a sans doute aucun modèle open source à ce niveau, et il faudra peut-être encore un an
  • Avec Hy3, j’ai l’impression de devenir fou
    Je ne sais pas si c’est à cause d’une optimisation pour les benchmarks extrême ou de ma façon de l’utiliser, mais je préférerais encore utiliser dense Gemma
    Je n’ai pas souvenir récent d’un modèle qui m’ait fait perdre autant de temps

    • La preview de Hy3 avait des performances banales sur un benchmark d’audit de sécurité utilisant des modèles, et Gemma 4 faisait mieux
      Le 31B était clairement devant, et même le MoE était un peu meilleur avec une quantification 4 bits via la version QAT
      Qwen 3.6 27B faisait aussi mieux que Hy3
      Je compte le retester maintenant qu’il est sorti de la preview et qu’il a reçu davantage de post-entraînement
      Ça n’aura pas pu empirer, donc il est peut-être devenu assez bon pour rivaliser avec les modèles 31B
  • J’ai cru qu’il s’agissait d’une nouvelle version du langage Hy : https://hylang.org

  • Ce qu’il faut vraiment, c’est une percée dans le raisonnement ou l’architecture des LLM
    Il faut pouvoir faire tourner un modèle du niveau de GLM-5.2 dans une taille de Qwen 3.6 27b ou moins, sur du matériel grand public comme un Macbook Pro 48GB, à au moins 100 tokens par seconde
    Mon hypothèse, c’est qu’en combinant des modèles plus petits, moins intelligents mais rapides, avec un bon agent d’exécution, on peut les faire tourner plus longtemps et résoudre par force brute des problèmes qu’un grand modèle résoudrait en une seule passe

    • J’attends plutôt avec impatience une direction où l’agent d’exécution devient littéralement lui-même un LLM
      Un peu comme la façon dont on ajoute des amortisseurs de vibrations à diverses structures mécaniques
  • Je n’arrive pas à accéder au site
    Impossible de se connecter à https://hy.tencent.com/research/hy3