Grok 4.5 dévoilé

 (x.ai)
2 points par GN⁺ 3 시간 전 | 1 commentaires | Partager sur WhatsApp
  • SpaceXAI lance Grok 4.5, son modèle le plus haut de gamme, destiné au codage, aux tâches agentiques et au travail de connaissance
  • Le processus d’entraînement s’est appuyé sur des dizaines de milliers de GPU NVIDIA GB300 et s’est concentré sur la déduplication des données, la notation de leur qualité et une sélection centrée sur les domaines, en mettant l’accent sur la qualité du signal plutôt que sur le simple volume de tokens
  • Dans les benchmarks, le modèle obtient 83,3 % à Terminal Bench 2.1, 64,7 % à SWE Bench Pro, 62,0 % à DeepSWE 1.0 et 53 % à DeepSWE 1.1
  • La vitesse de serving est de 80 TPS et le nombre moyen de tokens de sortie par tâche SWE Bench Pro est de 15 954, soit environ 4,2 fois moins que les 67 020 d’Opus 4.8(max)
  • Grok 4.5 est disponible dans Grok Build, sur tous les forfaits Cursor et dans la console SpaceXAI, mais il n’est pas encore proposé dans l’UE, où son arrivée est prévue pour la mi-juillet

Entraînement et évaluation orientés codage et tâches agentiques

  • Grok 4.5 a été entraîné sur des jeux de données couvrant le codage, les sciences, l’ingénierie et les mathématiques, avec les tâches d’ingénierie réelles et les tâches agentiques comme principaux cas d’usage

  • Résultats des benchmarks

    • Les chiffres des modèles comparés proviennent des system cards publiées par leurs développeurs respectifs ou des classements de benchmarks
    • DeepSWE 1.0 : Grok 4.5 62,0 %, Fable(max) 66,1 %, GPT 5.5(xhigh) 64,31 %, Opus 4.8(max) 55,75 %, Opus 4.7(max) 40,12 %
    • DeepSWE 1.1 : Grok 4.5 53 %, Fable(max) 70 %, GPT 5.5(xhigh) 67 %, Opus 4.8(max) 59 %, GLM 5.2 44 %
    • Terminal Bench 2.1 : Grok 4.5 83,3 %, Fable(max) 84,3 %, GPT 5.5(xhigh) 83,4 %, Opus 4.8(max) 78,9 %, Opus 4.7(max) 78,9 %
    • Taux de résolution SWE Bench Pro : Grok 4.5 64,7 %, Fable(max) 80,4 %, Opus 4.8(max) 69,2 %, Opus 4.7(max) 64,3 %, GLM 5.2 62,1 %, GPT 5.5(xhigh) 58,6 %

  • Infrastructure d’entraînement et traitement des données

    • L’infrastructure d’entraînement a utilisé des dizaines de milliers de GPU NVIDIA GB300 et inclut des techniques de stabilité pour les exécutions d’entraînement à grande échelle
    • Le traitement des données investit davantage dans le filtrage et la curation que dans le simple volume de tokens
      • Déduplication
      • Notation de la qualité
      • Sélection centrée sur les domaines
    • L’apprentissage par renforcement a été mené sur des centaines de milliers de tâches, en se concentrant sur l’intelligence par token
      • Les tâches centrales sont l’ingénierie logicielle multi-étapes et d’autres tâches techniques
      • La notation utilise à la fois une évaluation automatique et une évaluation basée sur des modèles
      • Les rollouts agentiques peuvent s’exécuter pendant plusieurs heures, et l’entraînement utilise une pile d’apprentissage asynchrone qui continue de tourner sur des dizaines de milliers de GPU

  • Exemples d’utilisation pour le codage

    • Grok 4.5 est présenté comme performant sur les tâches de codage, des problèmes difficiles en Rust et C/C++ jusqu’à la création d’applications de bout en bout à partir de prompts
    • L’exemple de prompt demande de créer avec threejs une simulation de l’espace et du système solaire, incluant le contrôle du temps, des mouvements réalistes, des orbites, des étoiles et un HUD moderne

Vitesse, prix et prise en charge des outils de travail

  • Grok 4.5 est proposé avec une vitesse de modèle de 80 TPS
  • Sur les tâches SWE Bench Pro, le nombre moyen de tokens de sortie est de 15 954, soit environ 4,2 fois moins que les 67 020 d’Opus 4.8(max)
  • Le prix est de 2 dollars par million de tokens en entrée et 6 dollars par million de tokens en sortie
  • SpaceXAI affirme que Grok 4.5 atteint une efficacité en tokens environ 2 fois supérieure à celle des modèles leaders comparés et résout les tâches en moins de la moitié du nombre d’étapes

  • Grok Build et plugins Office

    • Grok 4.5 est le modèle par défaut de Grok Build
    • Grok Build peut créer des modèles Excel complexes comprenant de la recherche web, l’utilisation de formules sur plusieurs feuilles, ainsi que des pense-bêtes ou notes pour référence ultérieure
    • Dans PowerPoint, il peut créer des diagrammes complexes avec des formes natives et concevoir des contenus de slides intuitifs
    • Dans Word, il aide à rédiger des phrases claires
    • Les plugins Office sont disponibles pour Word, PowerPoint et Excel

  • Canaux de disponibilité et restrictions

    • Grok 4.5 est actuellement disponible dans Grok Build, dans Cursor sur tous les forfaits, et dans la console SpaceXAI
    • Une utilisation gratuite limitée de Grok 4.5 est proposée dans Grok Build et Cursor
    • Dans l’UE, Grok 4.5 n’est pas encore disponible dans les produits SpaceXAI ni dans la console API, et son lancement est attendu à la mi-juillet

À lire aussi

1 commentaires

 
GN⁺ 3 시간 전
Avis sur Hacker News

  • Il semble difficile de faire confiance à xAI en sachant que l’entreprise ajuste activement les réponses du modèle pour les faire cadrer avec un récit politique
    Cela soulève la question de savoir comment faire confiance, dans un environnement d’entreprise, à un modèle constamment orienté côté backend

    • Il est possible que tous les fournisseurs de modèles ajustent aussi leurs réponses pour les aligner sur le récit politique qu’ils préfèrent
    • D’autres modèles ne sont-ils pas finalement dans la même situation ?
    • Si on demande à Claude des choses sur des sujets sensibles comme les taux de criminalité de certaines minorités en Occident ou la biologie des femmes trans, on a pu ne pas remarquer ses mensonges
      Même en signalant ces mensonges au modèle, il aurait sans doute été difficile de lui faire admettre que cela venait du processus HRLF et de biais intégrés
      Quand on voit qu’on peut amener Claude à dire lui-même qu’il ne faut pas l’utiliser dans 10 à 15 grands domaines de recherche, ou à reconnaître que, sur des sujets « difficiles », ses sources sont souvent sélectionnées à dessein et présentent un équilibre extrêmement trompeur, on a l’impression que tous les LLM sont biaisés et que la plupart penchent du côté progressiste
      À l’inverse, en le testant, il arrive souvent que Grok donne des réponses plus politiquement correctes que GPT ou Gemini, et sa réputation plus agressive viendrait surtout du fait que des utilisateurs de X arrivent volontairement à lui faire dire des choses politiquement inappropriées
      Il est ajouté que Grok sur grok.com ou dans l’app est en réalité assez sage, au point d’en être parfois ennuyeux
    • Il suffirait peut-être de ne pas l’utiliser à des fins politiques
      Si c’est uniquement pour générer du code, pourquoi s’en préoccuper ?
    • Le discours d’Elon et le comportement du modèle ne correspondent pas vraiment
      Grok critique aussi Elon et tend à réfuter plusieurs de ses positions d’extrême droite les plus radicales

  • Étonnement de voir que des gens veulent utiliser Grok
    xAI donne trop ouvertement l’impression d’être une entreprise moralement en faillite, et semble être la seule société d’IA à paraître à l’aise avec le CSAM, ou du moins à ne pas en faire assez pour l’empêcher
    Il n’y a aucune raison de leur donner de l’argent, sauf s’il n’existait vraiment aucune autre option, ce qui n’est pas du tout le cas aujourd’hui

    • Certaines personnes paient précisément à cause de cette posture morale
      Interprétation : elles sont soit activement d’accord avec le fait d’accepter le CSAM, soit elles s’en moquent simplement
    • L’idée qu’il ne faudrait qu’une seule entreprise d’IA, ou deux au maximum, est dangereuse
      La manière de décider qui est le plus moral n’a historiquement pas donné de très bons résultats
    • Avant, il y avait une vraie hésitation à utiliser Grok ou des produits moralement douteux, mais il y a eu l’achat d’une maison, de grosses dépenses avec un salaire d’ingénieur logiciel, un déménagement à SF il y a quelques années avec peut-être une contribution à la gentrification, et l’idée qu’innombrables enfants en Chine n’ont pas les moyens de payer leur éducation sans que rien ne soit fait
      Donc Grok est utilisé, une somme assez importante a été donnée à une ONG chinoise au point d’en rendre la famille mal à l’aise, il reste un prêt immobilier, et par égoïsme assumé il a été décidé de ne pas donner aux associations à but non lucratif de SF
      La morale et les bonnes actions devraient être abordées avec une attitude pragmatique
      Grok plaît sur plusieurs aspects, le boycott est aussi moralement valable, mais il existe beaucoup d’autres choix moraux possibles tout en restant réaliste
    • La moralité des grandes figures de l’IA paraît de toute façon douteuse dans tous les cas
      Les corpus d’entraînement sont pour l’essentiel volés, et tout le monde continue sa course en portant des dettes dont il est difficile de sortir
      Mais les produits sont devenus si utiles que presque personne ne va se mettre en retrait en attendant un LLM « moralement acceptable », d’autant qu’un tel modèle serait probablement forcément inférieur
      En revanche, sur la question du CSAM, le jugement est plus difficile, et si xAI le tolère vraiment, alors il est admis que l’entreprise est plus immorale que les autres

  • Grok 4.5 paraît très économique
    Par rapport à Opus, son efficacité d’inférence est 4 fois meilleure et son prix est de $2/$6, contre $2.5/$15 pour GPT 5.4, $5/$30 pour GPT 5.5/5.6, $5/$25 pour Opus 4.8 et $10/$50 pour Fable
    Si les benchmarks n’ont pas été manipulés, cela semble du niveau d’Opus 4.7, ce qui correspond aussi à ce qu’Elon a dit sur https://x.com/elonmusk/status/2074911038286295049
    Les données de Cursor ont probablement été assez utiles

    • Le tarif de $2/$6 semble ne s’appliquer qu’aux longueurs de contexte inférieures ou égales à 200K
      Au-delà, jusqu’au contexte maximal de 500K, le prix double à $4/$12
      https://docs.x.ai/developers/models/grok-4.5
    • Hypothèse : xAI possède l’un des plus grands clusters, mais sa popularité est plus faible que celle de ses concurrents, donc le trafic et le volume de tokens à traiter sont bien moindres, ce qui lui permet de répercuter ces économies sur l’utilisateur final
    • Ce serait bien d’avoir une offre équivalente avec une limite de calcul similaire au forfait Claude à $100
      La version Grok à $40 par mois permet au maximum environ 8 heures de codage avec Grok Build « sans interruption » sur un mois
    • Curiosité de savoir comment cela se compare aux API chinoises
      Si xAI ne paraît ni significativement plus compétent ni même un tout petit peu plus honnête que les labos chinois, alors, à moins d’être nettement moins cher, autant simplement envoyer le travail en Chine
    • C’est très cher par rapport à Deepseek v4 Pro à performances comparables
      Grok est coincé dans une position ambiguë : il n’est le meilleur dans aucun domaine, ni le moins cher
      Même avant de tenir compte de son historique, il est difficile de trouver une raison de l’utiliser, et il est douteux que proposer en entreprise d’utiliser un modèle qui s’est appelé lui-même « MechaHitler » aide à obtenir une promotion

  • Selon le blog de Cursor, Cursor a été entraîné sur des milliers de milliards de tokens de données, avec une large couverture d’interactions réelles d’utilisateurs manipulant des bases de code et des outils logiciels
    Grâce à ce jeu de données, il a pu apprendre non seulement à partir de logiciels existants, mais aussi des interactions développeur-agent, et capturer la manière dont les développeurs travaillent ainsi que celle dont les agents interagissent avec leur environnement
    C’est probablement là que se trouve la raison des sommes énormes investies. Cursor était le premier grand acteur à disposer de données de projets réels avant que Claude Code ou Codex ne montent vraiment en puissance
    Pour des problèmes difficiles dans des environnements réalistes, ils ont utilisé l’apprentissage par renforcement pour enseigner l’investigation des problèmes, l’usage d’outils, la récupération après erreur et la vérification des résultats, et ils ont dû concevoir des problèmes si difficiles que même les modèles de pointe échouaient, car les tâches existantes n’apportaient plus grand-chose de nouveau à apprendre
    Une fois que les ingénieurs définissaient les problèmes et les méthodes de vérification, ils ont construit un système distribué d’agents où des agents à grande échelle configureront, testeront et amélioreront les environnements, avec une structure où la génération précédente de modèles prépare le jeu de données pour l’itération d’entraînement suivante
    Plus le modèle s’améliore, plus les données s’améliorent, et meilleur devient le modèle suivant ; pour ceux qui estiment que « les modèles chinois sont proches du meilleur niveau actuel », il y a aussi une comparaison avec l’entraînement de Composer 2.5
    Après avoir transféré beaucoup de calcul à Anthropic, l’idée selon laquelle xAI se serait effondré semble un peu exagérée, et Grok 4.5 a été entraîné sur des dizaines de milliers de GPU NVIDIA GB300

    • Microsoft possède GitHub et Visual Studio, mais n’a pas de bon modèle de codage
    • La génération précédente de modèles peut préparer les données de la génération suivante, ou même générer directement des données synthétiques
      Avant, cela passait pour une mauvaise idée, mais il s’est avéré qu’en consacrant beaucoup de calcul à la production des données et à la mise en place du scaffold de notation, on obtenait une qualité assez élevée
    • Le gros argent a aussi été investi en actions SpaceX, y compris dans de nouvelles actions juste après l’IPO, donc dans l’ensemble cela semble avoir été un choix assez intelligent
    • J’ai lu à plusieurs reprises que la méthode consistant à faire préparer par la génération précédente le jeu de données de l’itération suivante était néfaste pour l’entraînement
      En substance, cela revient à décrire ce que beaucoup appellent la distillation ; je comprends que cela sert seulement à orienter le comportement lors du post-training, que cela enseigne une manière d’agir mais pas une manière de penser
      Je peux me tromper, donc si quelqu’un s’y connaît mieux, j’aimerais bien une explication

  • Je ne comprends pas comment il peut être économiquement sensé de dépenser des dizaines de milliards de dollars pour fabriquer un modèle classé 3e
    Les numéros 1 et 2 semblent déjà avoir du mal à générer des profits, donc je me demande ce que je rate
    Je ne veux pas pousser la logique jusqu’au bout façon Ed Zitron, mais je ne comprends pas

    • Avant, ils étaient un 4e très loin derrière, et même s’ils ne peuvent pas rattraper OpenAI ou Anthropic d’un coup, ils ont quand même gravi un échelon
      À court terme, les laboratoires ne sont pas rentables, et Anthropic serait apparemment presque au seuil
      Amazon aussi a longtemps été célèbre pour son absence de profits avant de finir par gagner très largement ; ainsi, la rentabilité actuelle n’est pas forcément le point central pour les investisseurs. L’important est de croire ou non au potentiel de profits futurs
      Elon semble penser qu’à l’avenir une grande partie de l’économie fonctionnera grâce à l’IA, et que la valeur économique des tokens augmentera plus vite que le coût de leur génération. Cela inclut l’amortissement du coût d’entraînement du modèle qui produit ces tokens
      C’est pour cela qu’il construit un laboratoire qui entraîne des modèles et facture les coûts d’inférence, en semblant croire que cela deviendra rentable à terme, même si ce n’est pas le cas aujourd’hui
      On peut être d’accord ou non avec cela, et il est encore plus incertain qu’il puisse battre Anthropic/OpenAI au vu des difficultés récentes à retenir les chercheurs, mais les profits actuels ne sont pas un bon indicateur pour juger si l’on croit au potentiel de profits futurs
      Tesla et SpaceX aussi avaient une rentabilité très mauvaise, avant que cela ne change un jour
      Personnellement, je crois à l’idée d’énormes profits à l’avenir, mais je suis moins convaincu qu’Elon ait les moyens de battre Anthropic/OpenAI
    • Il poursuit le même rêve que les concurrents
      Trouver une percée, prendre l’avantage et atteindre une position dominante
      En outre, si le mot IA est accolé à l’entreprise, les chiffres dont elle a besoin montent ; ainsi, une division IA interne que Musk peut rattacher à ses autres sociétés pour gonfler leur valorisation lui est utile, même si le produit lui-même perd de l’argent
    • Une vision à moitié humoristique selon laquelle, si c’est le seul moyen d’échapper à une sous-classe permanente, Elon non plus ne fait pas exception
    • On pourrait dire la même chose aujourd’hui de Google ou de nombreux autres laboratoires
      Un marché diversifié avec beaucoup d’options évite qu’on revive une nouvelle guerre des navigateurs
    • Ce marché n’est ni assez mûr ni assez établi pour qu’on puisse vraiment le classer
      Il y a eu beaucoup de marchés technologiques où les débuts ne permettaient pas de prédire la suite
      Je reste personnellement sceptique sur Grok, mais si Claude perd son avantage, Grok pourrait peut-être se créer une niche rentable via l’intégration avec Cursor

  • J’avais configuré OpenRouter en mode ZDR uniquement, donc je n’avais jamais essayé les modèles Grok
    Je viens de vérifier et il semble qu’il y ait désormais un endpoint xAI ZDR, donc je pense tenter un vrai essai
    Je me demande si quelqu’un sait quand cela a été ajouté
    En revanche, la rubrique sur l’anonymat indique « Requires user IDs », ce qui est inhabituel sur OpenRouter et pas très rassurant. En général, OpenRouter agit comme un proxy qui anonymise les requêtes avant de les transmettre au fournisseur, mais je n’ai pas trouvé de réglage imposant cela à l’échelle de tout le compte, comme en mode ZDR uniquement

  • La première impression est plutôt bonne
    Le nombre de tokens par seconde est élevé, autour de 90 semble-t-il, et l’efficacité en tokens est elle aussi très bonne, ce qui lui permet de battre facilement GPT 5.5, Opus 4.8 et GLM 5.2 en vitesse
    Le prix est aussi très bon, et si on paie directement le coût API, GPT et Opus sont excessivement chers ; en tenant compte de l’efficacité en tokens, ça pourrait même être moins cher que GLM 5.2
    Il faudra sans doute pas mal de temps pour évaluer son niveau d’intelligence, mais c’est clairement bon, et cela semble se situer avec GLM 5.2 dans la partie basse de la même catégorie qu’Opus

    • D’accord
      Dans Cursor, à propos du problème « cette suite de tests n’est pas assez robuste pour m’inspirer confiance, et il y a beaucoup trop de dépendance à l’état interne plutôt qu’aux résultats », je lui ai demandé de « l’examiner et de proposer une solution » ; il a bien synthétisé l’approche de test, ses points forts, ses points faibles et ses angles morts, puis a recommandé une approche systématique multi-volets basée sur la bibliothèque de test de confiance https://hypothesis.readthedocs.io/en/latest/
      Il a séparé ce qu’il fallait faire dans cette phase d’amélioration de ce qu’il valait mieux remettre à plus tard, identifié les cas très difficiles ou susceptibles d’être hors périmètre, puis m’a laissé le choix de me concentrer dessus ou non ; il a aussi structuré les nouveaux tests de manière logique
      Après un seul retour et un ajustement du plan, je l’ai lancé en mode agent, et quelques minutes plus tard j’avais une suite de tests bien meilleure
      Je n’avais jamais utilisé Grok, donc mes attentes étaient faibles, mais il a remarquablement bien exécuté des tâches complexes, détaillées et en plusieurs étapes que je n’aurais auparavant confiées qu’à GPT ou Opus
      Mise à jour : il a aussi trouvé un ancien bug réel. Après l’amélioration des tests, je lui ai fait revoir l’ensemble du code et le packaging ; il a repéré quelques défauts mineurs et oublis, mais aussi une faiblesse dans la gestion des erreurs et un bug fonctionnel assez embarrassant, qu’il a corrigés en ajoutant même des tests
    • Intéressant, mais à moins que je fasse quelque chose de travers, ce modèle me paraît presque inutilisable
      Il rate sans cesse même des demandes de base qui ne nécessitent presque aucun contexte ; par exemple, je lui ai demandé d’inliner une fonction helper, et au lieu d’un changement de 10 lignes, il a réécrit la moitié du module concerné

  • Parmi les 3 modèles que j’ai essayés moi-même, Grok a été le meilleur pour créer l’app iOS que je voulais pour un usage personnel
    C’était une app de compteur vélo avec des contraintes précises, et Claude a abandonné pour partir vers une implémentation HTML/CSS alors que moi je tenais à une version native en SwiftUI+Metal
    Grok se trompe parfois lui aussi, mais j’ai été surpris de voir à quel point il déduisait bien des éléments pour lesquels je pensais devoir tout préciser
    Je ne suis pas développeur iOS, donc au lieu de passer des mois ou des années à apprendre le langage et les API, le fait d’obtenir ce dont j’avais besoin en quelques heures ou quelques jours m’a vraiment aidé
    Je ne suis pas du tout en train de « vibe coder » Caddy, je bricole juste avec dans le cadre d’un projet perso

    • Le fait que Claude ait voulu partir sur une implémentation HTML/CSS alors que tu insistais sur du natif SwiftUI+Metal est très étrange et complètement à l’opposé de mon expérience
      Tu n’as pas dit quel modèle tu utilisais, mais ni Opus 4.8 ni Sonnet n’ont jamais ignoré le langage et la stack que je demandais
    • Je fais beaucoup de développement iOS natif avec Opus 4.8, et avant ça j’utilisais aussi 4.7/4.6, donc j’ai du mal à croire à ce récit
      Je me demande si tu utilisais bien Opus ou un autre modèle
    • J’ai l’impression d’avoir déjà lu ce commentaire, ou un commentaire presque identique, auparavant
      L’idée principale était la même, sur l’app iOS de compteur vélo et sur le modèle qui avait abandonné
      Cela dit, je suis vraiment reconnaissant envers Caddy. Ça a beaucoup aidé à démarrer un nouveau projet, et en onboarding d’équipe cela enlève une source d’erreur de moins à surveiller tant ça fonctionne bien par défaut
    • Je me demande si Claude a été utilisé dans Claude Code
      Ce n’était pas un modèle plus faible comme Haiku, par hasard ? Claude ne devrait pas être aussi mauvais que ce que tu décris
    • Comme je ne suis pas satisfait des compteurs vélo, je me demande si tu pourrais partager ou expliquer ce que tu as créé, parce qu’il y a pas mal de décisions UI/UX affreuses
      En revanche, j’aime bien le serveur web

  • Cursor a aussi participé à l’entraînement du modèle, et le billet d’annonce se trouve ici : https://cursor.com/blog/grok-4-5
    Il y est notamment indiqué que Grok 4.5 et Composer 2.5 correspondent à des catégories de poids de modèle différentes, et qu’ils sont heureux de prendre désormais en charge les deux tailles et les deux jeux de poids
    Composer 2.5 continuera d’être proposé, et ils prévoient aussi de lancer à l’avenir de nouveaux modèles de cette taille

    • Composer 2.5 est basé sur Kimi 2.5, avec 1T au total et 32B actifs, et Elon a dit publiquement que Grok 4.5 comptait 1.5T paramètres au total
      Dire qu’il s’agit de catégories de poids différentes n’est donc pas si convaincant
      L’écart de coût API est d’environ 2,5x, probablement parce que xAI a des coûts à amortir bien plus importants

  • https://tools.simonwillison.net/markdown-svg-renderer#url=ht...

    • Le hamster s’améliore lui aussi progressivement, mais il reste encore assez loin des derniers modèles de tout premier plan
      https://aibenchy.com/showcase/?q=grok
    • On dirait qu’il fait du vélo avec des roues de voiture équipées d’enjoliveurs épais