Résultat de la création de 4 applications identiques avec GPT-5.6, Grok 4.5, Claude et Muse Spark

 (tryai.dev)
2 points par GN⁺ 4 시간 전 | 1 commentaires | Partager sur WhatsApp
  • En demandant à 12 modèles de créer un labyrinthe raycaster, un Rubik’s Cube 3D, une calculatrice et le Game of Life de Conway, GPT-5.6 Sol et Claude Fable 5 se sont partagé la tête sur les tâches complexes
  • Chaque modèle a été testé 5 fois par tâche et les taux de réussite, coûts, temps et toutes les productions ont été publiés, mais l’évaluation reste une comparaison subjective basée sur l’inspection directe des résultats, et non une analyse scientifique
  • Pour le raycaster, GPT-5.6 Sol a obtenu 5/5, et pour le Rubik’s Cube, Claude Fable 5 a lui aussi atteint 5/5, tandis que Claude Opus 4.8 et GPT-5.6 Luna sont tombés à 0/5 sur le cube, montrant de forts écarts selon les modèles et les tâches
  • Les modèles open weight ont montré un écart avec les meilleurs sur les tâches complexes ou nouvelles, mais sur le Game of Life, riche en exemples de code, Qwen 3.7 Plus et GLM-5.2 ont donné de bons résultats pour un coût bien plus faible
  • Grok 4.5 a constitué sur certaines tâches une alternative bon marché au niveau de Claude Opus 4.8, et Muse Spark 1.1 a aussi globalement mieux fait que les modèles open weight, mais le flagship le plus récent et le plus cher n’a pas automatiquement gagné sur toutes les tâches

Méthode de comparaison et 12 modèles

  • En intégrant les retours sur la comparaison précédente, l’essai a été élargi à 12 modèles, 4 applications et 5 tentatives par tâche
  • Pour répondre au retour selon lequel il est difficile d’évaluer sur un seul résultat, le nombre de réussites et les sorties préférées ont été consignés séparément pour chaque tâche, et toutes les tentatives ont été publiées afin de visualiser la variabilité entre exécutions
  • Il s’agit d’une comparaison subjective fondée sur l’observation des productions générées, et non d’un jugement objectif ou scientifique

Labyrinthe raycaster façon Doom

  • Il a été demandé aux modèles de créer un labyrinthe en vue à la première personne avec déplacement en WASD, rotation, ombrage des murs selon la profondeur, sol, plafond et gestion des collisions
  • La réussite a été jugée non sur la finition visuelle, mais uniquement sur le fait de pouvoir se déplacer et tourner réellement dans le labyrinthe
  • GPT-5.6 Sol a obtenu 5/5 pour un coût de 1,35 $ et 120 secondes, et a été considéré comme le meilleur résultat grâce à une meilleure régularité que GPT-5.5 et à une description plus riche des détails du jeu
    • GPT-5.6 Luna a aussi obtenu 5/5, pour 0,15 $ et 23 secondes, mais la qualité des résultats a été jugée inférieure à celle de GPT-5.5
    • GPT-5.6 Terra a obtenu 3/5, pour 0,44 $ et 39 secondes, avec de bons détails, mais certains résultats ne permettaient pas de marcher
  • Grok 4.5 a atteint 5/5, pour 0,27 $ et 62 secondes, apparaissant comme une alternative pratique au vu de son prix, tandis que GPT-5.5 a obtenu 4/5, pour 1,44 $ et 138 secondes
  • La famille Claude a été plus décevante qu’attendu
    • Claude Opus 4.8 a été régulier à 4/5, mais les résultats étaient monotones
    • Claude Fable 5 a produit de bons résultats à 3/5, mais avec une faible constance
  • Parmi les modèles open weight, Qwen 3.7 Plus et Kimi K2.6 ont obtenu 2/5 chacun, et DeepSeek V4 Pro 3/5
    • GLM-5.2 a affiché un rendu détaillé, mais le personnage n’a jamais pu se déplacer, finissant à 0/5
  • Muse Spark 1.1 a obtenu 2/5, mais ses résultats fonctionnels ont été jugés comparables à ceux de Fable et Sol, et meilleurs que ceux de Grok et Opus, ce qui en fait une performance inattendue

Rubik’s Cube 3D

  • Il a été demandé de créer un cube 3D coloré avec des boutons Scramble et Solve, et de montrer les rotations sous forme d’animations à l’écran
  • La réussite exigeait que les animations de mélange et de résolution soient fluides toutes les deux, sans erreur ni changement de couleur
  • Claude Fable 5 a obtenu 5/5, pour 2,03 $ et 92 secondes, et a été le seul à réussir proprement les cinq fois
    • Claude Opus 4.8 est resté à 0/5, car tous les résultats présentaient de petites erreurs ou des changements de couleur
  • GPT-5.6 Sol et Terra ont obtenu 4/5 chacun
    • Sol offrait de bons résultats lorsqu’il fonctionnait, mais certains essais montraient des animations étranges ou un rendu entièrement noir
    • Terra avait des animations de mélange bizarres, mais faisait légèrement mieux que GPT-5.5
    • Luna semblait souvent correct au départ, mais se cassait immédiatement au moment de lancer le mélange, ce qui lui a valu 0/5
  • GPT-5.5 a obtenu 4/5, mais avec scintillement des couleurs et rotations peu fluides, tandis que Grok 4.5 a signé 3/5 avec des résultats simples mais satisfaisants
  • Qwen 3.7 Plus, Kimi K2.6 et DeepSeek V4 Pro ont tous obtenu 1/5, et GLM-5.2 0/5
  • Muse Spark 1.1 a fait 2/5, soit un cran au-dessus des modèles open weight, mais son prix le rendait peu convaincant face à Grok
  • Alors que la famille GPT dominait sur le raycaster, elle a été plus faible qu’attendu ici, tandis que Claude, porté par Fable, a repris l’avantage selon la tâche

Calculatrice

  • Les exigences portaient sur des boutons pour les chiffres, les opérateurs, la remise à zéro et le signe égal, le bon respect de la priorité des opérations, et une apparence de vraie calculatrice
  • Un calcul de base comme (((5 × 5) − 100) / 10) a servi à vérifier l’ordre des opérations et l’affichage du résultat, sans constituer un test fonctionnel exhaustif
  • Claude Opus 4.8 et Claude Fable 5 ont tous deux obtenu 5/5
    • Le résultat de Fable a été préféré pour son style
  • Grok 4.5 a également obtenu 5/5 avec une approche simple et régulière, et GPT-5.6 Luna a lui aussi fait 5/5 avec une expérience proche de celle de Grok
  • GPT-5.6 Sol a obtenu 5/5, mais a nui à la clarté et à la régularité de l’expérience en tentant un style trop chargé et des effets 3D
    • GPT-5.6 Terra et GPT-5.5 ont chacun obtenu 4/5, et GPT-5.5 ajoutait parfois des boutons inutiles ou un rendu 3D tronqué
  • Muse Spark 1.1 a obtenu 5/5, à un niveau comparable à Grok 4.5, mais avec dans certains résultats un ordre et une disposition des boutons maladroits
  • Côté open weight, Qwen 3.7 Plus a obtenu 4/5 pour 0,04 $ et 12 secondes, mais un résultat ne gérait pas les nombres négatifs
    • DeepSeek V4 Pro a obtenu 3/5 avec des erreurs dans l’ordre des chiffres et l’absence d’affichage du résultat
    • GLM-5.2 a obtenu 2/5, mais la qualité des résultats réussis était bonne
    • Kimi K2.6 a été noté 0/5 car il ne gérait pas les nombres négatifs
  • Les modèles GPT les plus simples fonctionnaient directement sans correction, et une implémentation centrée sur les fonctions de base a offert une meilleure expérience que des résultats cherchant à ajouter des effets visuels complexes

Game of Life de Conway

  • Les modèles devaient implémenter une grille sur canvas, Play, Pause, Step, Randomize, Clear, l’activation/désactivation des cellules au clic et l’animation des générations
  • Pour cette tâche, il n’y a pas eu de notation de réussite sur 5 essais séparée ; seuls le coût, le temps et l’impression générale ont été comparés
  • Grok 4.5 a donné de bons résultats, et comme la tâche est simple et abondamment couverte par des exemples publics, les modèles open weight ont eux aussi très bien performé
  • Qwen 3.7 Plus a produit un bon résultat pour 0,04 $ et 11 secondes, et GLM-5.2 aussi pour 0,10 $ et 121 secondes, ce qui les rend adaptés à ce type de tâche
  • Comme les modèles open weight ont continué à rencontrer des difficultés sur d’autres tâches plus complexes, il est difficile de généraliser les résultats du Game of Life à leurs performances globales
  • Parmi les autres principaux chiffres de coût et de temps : Grok 4.5 à 0,14 $ et 38 secondes, GPT-5.6 Luna à 0,13 $ et 18 secondes, Terra à 0,36 $ et 25 secondes, Sol à 0,99 $ et 62 secondes, et Muse Spark 1.1 à 0,32 $ et 98 secondes

Vitesse et coût des réponses courtes

  • Sur les prompts courts, la gamme GPT-5.6 a affiché les temps de démarrage de réponse les plus rapides
    • Luna : 1,0 s, 97 tok/s, 0,001 $
    • Terra : 1,5 s, 62 tok/s, 0,001 $
    • Sol : 1,8 s, 45 tok/s, 0,003 $
  • Qwen 3.7 Plus a été très rapide et très économique avec 2,1 s, 204 tok/s et 0,001 $, tandis que Grok 4.5 affichait 3,0 s, 112 tok/s et 0,003 $, et Muse Spark 1.1 3,1 s, 125 tok/s et 0,002 $
  • Claude Opus 4.8 était à 2,5 s, 44 tok/s et 0,004 $, mais Claude Fable 5 était plus lent et plus cher avec 6,6 s, 30 tok/s et 0,01 $
  • DeepSeek V4 Pro affichait 9,3 s, 37 tok/s et 0,001 $, et GLM-5.2 7,0 s, 58 tok/s et 0,001 $, avec un démarrage de réponse lent
  • Certains modèles open weight ont renvoyé la réponse complète en un seul bloc et ont donc atteint la limite de 400 tokens ; les valeurs de tok/s affichées correspondent alors à une valeur plafond plutôt qu’à la vitesse réelle de décodage

Tâche bonus en SVG

  • Il a été demandé de générer un SVG d’un seul coup sans bibliothèque, en privilégiant d’abord la validité du SVG parmi 5 résultats, puis en sélectionnant le plus détaillé
  • Sur une scène montrant un cheval portant un astronaute, Claude Fable 5 a produit un bon résultat, tant en qualité qu’en humour
    • La gamme GPT-5.6 a été plus faible qu’attendu, incapable de rendre proprement le cheval et l’astronaute
    • Grok 4.5 a également produit un bon résultat
  • Sur une scène plus difficile montrant Elon Musk et Jeff Bezos observant un booster Blue Origin descendre vers une barge d’atterrissage en mer, Claude Fable 5 a encore pris la tête
    • Il a détaillé jusqu’au reflet brillant sur le front de Bezos et à la fumée autour de la zone d’atterrissage, avec un rendu net
    • La gamme GPT a produit des résultats plus cartoon, avec de petites erreurs dans chaque génération
    • GLM-5.2 et Qwen 3.7 ont eux aussi donné de bons résultats sur cette tâche SVG

Un choix de modèle qui dépend de la tâche

  • Sur les tâches complexes et nouvelles comme le raycaster et le Rubik’s Cube, la supériorité des meilleurs modèles s’est clairement affirmée, avec GPT-5.6 Sol et Claude Fable 5 montrant chacun leurs points forts
  • Sur les tâches simples et largement implémentées, Qwen 3.7 Plus et GLM-5.2 peuvent produire des résultats compétitifs pour un coût bien plus faible
  • Grok 4.5 a atteint sur certaines tâches le niveau de Claude Opus 4.8, ce qui en fait un modèle d’appoint intéressant quand le coût est un critère important
  • Muse Spark 1.1 se situe un cran sous Grok 4.5, mais reste globalement meilleur que les modèles open weight, sans être pour autant un choix prioritaire à ce stade
  • Selon la tâche, le classement entre Sol, Fable, Grok et les modèles open weight bon marché varie, si bien que le flagship le plus récent et le plus cher ne gagne pas toujours

À lire aussi

1 commentaires

 
GN⁺ 4 시간 전
Avis de Hacker News

  • Des expressions comme « un point à souligner honnêtement » ou « pas d’erreurs ni de changements de couleur » sont de bons critères de détection. J’ai lu jusqu’au bout, mais j’aurais préféré que ce soit écrit directement par un humain

    • J’ai l’impression d’entendre le mot « Honestly » plus souvent chez Anthropic que chez tout le monde réuni
    • On ne pourrait pas prendre ce nouveau langage typique des LLM et le passer dans un autre transformer pour supprimer ces phrases agaçantes ? Ça ne devrait pas être difficile et tout le monde y gagnerait

  • Je reconnais que l’article est soigné et bien fait, mais quand je lis des paragraphes comme ceux-ci, ça me coupe toute sympathie pour le texte
    « J’ai utilisé un tableau séparé pour chaque question. Ce n’est pas une tâche de build, mais un outil standard de test de latence… », « Le nombre de tokens par seconde est donc une borne supérieure, pas la vitesse réelle de décodage… »
    Était-il vraiment si difficile d’écrire ces deux phrases soi-même, dans son propre style ?

    • Je ne sais pas d’où vient ce style si reconnaissable, et comme il est presque impossible à éliminer, il m’agace énormément
    • C’est beaucoup trop évident et désagréable. Il faut écrire directement ce qu’on veut dire, comme une personne normale
      Produire un texte avec de l’IA n’est pas seulement paresseux : c’est fade, ennuyeux, et cela ne respecte pas le temps du lecteur
    • Pour les besoins de la discussion, et si c’était vraiment le style naturel de l’auteur ?
    • Bien avant l’arrivée des LLM, il m’arrivait aussi d’écrire comme ça. J’en ai assez de lire ce genre d’accusations
    • Depuis l’arrivée de l’IA, les gens sont devenus trop susceptibles. En gros, ils chipotent parce qu’un programmeur n’écrit pas de la prose conforme à leurs goûts

  • C’est peut-être mon côté trop contrôlant, mais demander à un agent de terminer une application aléatoire d’un seul coup n’a rien à voir avec la manière dont on utilise l’IA en ingénierie logicielle réelle

    • Pour un créateur solo, un benchmark one-shot est assez utile. Il semble assez corrélé au fait qu’un meilleur modèle de pointe — dans mon cas Opus et Fable — prenne de meilleures décisions même sur les points non précisés, et fasse de meilleures propositions dès le départ
    • À l’échelle de temps des LLM, les modèles savent assez bien créer de nouvelles applications depuis un bon moment
      La manière de mieux créer de nouvelles apps est intéressante, mais ce qui m’intéresse beaucoup plus, c’est de voir comment ils résolvent des problèmes difficiles dans des bases de code existantes complexes et entremêlées
    • Faire créer une application de base en une fois, puis ajouter les demandes de fonctionnalités une par une, semblerait être une méthode évidente pour évaluer l’architecture et la maintenabilité
    • Ce n’est pas comme ça qu’on les utilise réellement, mais c’est ce qu’il faut faire pour devenir célèbre sur Twitter/X
    • Même si ce n’est pas identique à l’usage réel, c’est une tentative d’introduire au moins quelques critères de mesure objectifs dans ce domaine, au lieu de se fier uniquement à l’intuition

  • (LM)Arena joue en pratique ce rôle, et je pense que c’est l’un des meilleurs tests pour éviter la sur-optimisation sur les seuls scores de benchmark
    Agents : https://arena.ai/leaderboard/agent
    Développement web : https://arena.ai/leaderboard/code/webdev
    En développement web, Fable et 5.6 sont actuellement au coude-à-coude, ce qui correspond presque exactement aux résultats de cet article

    • Si on le voulait, on pourrait aussi faire une certaine optimisation ciblée sur les scores d’Arena. La distribution des prompts y diffère beaucoup de l’usage réel des développeurs ordinaires, avec notamment beaucoup de demandes de créer un jeu from scratch d’un seul coup
      Si l’on fait un fine-tuning spécialisé pour créer en une seule fois des jeux amusants à partir de prompts insuffisants, on peut faire paraître les performances d’un modèle de code meilleures que ses capacités générales. Je travaille chez OpenAI, mais nous ne cherchons pas à gonfler les scores, parce que cela rendrait Arena moins utile comme indicateur pour tout le monde
    • Il y a pas mal d’optimisation ciblée sur les scores d’Arena, surtout autour de Facebook, mais je suis tout de même d’accord pour dire que c’est l’un des meilleurs benchmarks réels
      C’est toujours amusant d’essayer de reproduire des effets classiques de la demoscene. La génération musicale est encore médiocre, mais Claude semble au moins créer des synthétiseurs corrects. Même quand on lui fournit l’article explicatif d’implémentation et des captures d’écran pour reproduire les effets de fluides et de particules d’Agenda Circling Forth, il s’en sort encore mal
    • Je me demande pourquoi Grok 4.5 n’est pas encore dans la liste. 5.6, sorti plus tard, y figure déjà

  • Ce type de benchmark visuel risque de montrer davantage la connaissance — c’est-à-dire l’étendue des données d’entraînement et la capacité du modèle à les mobiliser — que les capacités de raisonnement
    Je ne vois pas comment un modèle pourrait construire un raisonnement CoT qui associe la géométrie et l’animation du cube à des représentations dans l’espace latent sans une quantité importante d’informations préalables

    • Existe-t-il des preuves que les LLM possèdent réellement de nouvelles capacités de raisonnement ? Je n’ai jamais réussi à les faire fonctionner, et l’ancien article d’Apple me semblait aussi constituer une preuve solide de l’absence de telles capacités
      D’après mon expérience, quand l’espace latent est clairsemé, le raisonnement échoue complètement, et de façon presque comique
    • Anthropic pourrait avoir un avantage dans ce type de test grâce aux données obtenues via Canva

  • Nous avons nous aussi ajouté aujourd’hui GPT 5.6 Sol, Terra et Luna à notre Arena de modèles, où 26 modèles ont chacun créé 52 applications
    https://arena.logic.inc/
    Comparer côte à côte les applications des trois modèles est très intéressant. Nous devons encore ajouter les statistiques dans l’UI, mais le temps réel écoulé de Terra était moitié moindre que celui de Sol, tandis que Luna a au contraire pris environ 23 % de plus que Sol
    Même si Luna est beaucoup moins cher, Terra semble offrir, pour la plupart des usages, un meilleur équilibre entre temps et coût. La qualité de Terra est globalement presque équivalente à celle de Sol, tout en étant bien plus rapide et moins cher. Cela dit, j’apprécie beaucoup le sens du design de Sol sur des choses comme le séquenceur audio. Depuis quelque temps, les résultats visuels de tous les modèles se ressemblaient ; sur cet aspect, c’est le premier modèle depuis longtemps à se distinguer nettement

    • Le chiffre qui m’a frappé est que GPT-5.6 Sol produit 1 264 lignes de code, 35,5 Ko de fichiers et 10,0 Ko en gzip, tandis que GPT-5.6 Terra produit 827 lignes, 20,0 Ko et 6,7 Ko en gzip

  • Les résultats semblent étayer la critique selon laquelle des modèles comme GLM sont sur-optimisés pour les benchmarks et ne sont pas aussi proches des modèles de pointe qu’on pourrait le croire en regardant seulement les chiffres

  • J’aime beaucoup plus cette méthodologie d’évaluation de l’IA que les autres benchmarks
    Le monde réel est complexe, et il est clair que les autres benchmarks sont faciles à cibler pour les modèles ouverts chinois. Le style de l’article ne me dérange pas non plus, il se lit tout à fait bien

  • Article récent lié : comparaison de Grok 4.5, GPT-5.5 et Claude à qui l’on a demandé de créer la même application
    https://news.ycombinator.com/item?id=48838772 — juillet 2026, 92 commentaires

  • Le prompt exact manque, ce qui rend difficile de reproduire l’expérience
    Je suis aussi curieux de savoir comment le prompt a été rédigé. Cela pourrait être une raison majeure pour laquelle certains modèles, comme GLM 5.2, ont complètement échoué sur le rendu SVG