Critères de choix du modèle GPT-5.6 : prix jusqu’à 5× plus élevé, écart de performance en code de 4,1 points

GPT-5.6 se décline en modèles Sol/Terra/Luna, auxquels s’ajoutent les modes Max/Ultra.
Comme il est facile de s’y perdre à chaque fois selon la tâche, voici une synthèse à partir des benchmarks publiés.

Il faut d’abord distinguer deux axes

• Catégorie de modèle (Grade) : Sol / Terra / Luna. Elle détermine le niveau d’intelligence et le coût de base.
• Mode de fonctionnement (Mode) : inférence de base / Max / Ultra. C’est là que varient la quantité de calcul et l’architecture de traitement.
• Max fait travailler un seul agent en profondeur sur un problème, tandis qu’Ultra répartit le travail en parallèle entre 4 agents.

Prix de l’API (entrée/sortie par million de tokens)

• Sol 5 $ / 30 $
• Terra 2,5 $ / 15 $
• Luna 1 $ / 6 $
• Jusqu’à 5× d’écart. Les lectures depuis le cache bénéficient de 90 % de réduction, donc pour les tâches répétitives l’écart réel se réduit encore.

Les performances ne s’écartent pas autant que les prix (Terminal-Bench 2.1)

• Sol Ultra 91,9 % / Sol 88,8 % / Terra 87,4 % / Luna 84,7 %
• L’écart entre Sol et Luna, pourtant 5× plus cher, est de 4,1 points.
• Entre Sol et Terra, l’écart est de 1,4 point, pour un prix deux fois plus élevé.
• Terra (87,4 %) dépasse GPT-5.5 (85,6 %), le flagship de génération précédente.

Pour le travail courant de knowledge work, l’écart se resserre encore (Agents’ Last Exam)

• Sol 52,7 % / Terra 50,4 % / Luna 50,3 % / GPT-5.5 46,9 %
• Terra et Luna ne sont séparés que par 0,1 point. Pour de simples résumés ou des Q&A, Luna suffit.

Sol n’est pas toujours numéro 1

• SWE-Bench Pro (analyse de structure de code) : Sol 64,6 % / Claude Mythos 5 80,3 % / Fable 5 80,0 %
• À l’inverse, Sol est en tête pour les tâches où il manipule directement l’environnement.
  OSWorld 2.0 (contrôle d’ordinateur) : Sol 62,6 % vs Claude Opus 4.8 54,8 %
  BrowseComp (navigation) : Sol Ultra 92,2 % / Sol 90,4 %
• La différence semble dépendre du fait qu’il s’agisse de manipuler un terminal ou d’analyser la structure du code.

Le mode Ultra apporte moins qu’on pourrait le croire

• Code +3,1 points, analyse de sécurité +3,1 points, navigation +1,8 point
• Pour gagner ces 2 à 3 points, il consomme environ 3× plus de tokens.
• Il semble donc préférable de le réserver aux tâches où le coût de l’échec est élevé ou où la précision est indispensable.

En résumé

• Luna : répétitions simples, traitement en volume, priorité à la vitesse
• Terra : la plupart des tâches polyvalentes. En pratique, le choix par défaut
• Sol : structures logiques complexes, tâches où l’échec coûte cher
• Max : approfondir un seul problème
• Ultra : paralléliser plusieurs tâches

Tous les chiffres sont basés sur les tableaux de benchmarks de l’annonce officielle d’OpenAI.
https://openai.com/index/gpt-5-6/

Les benchmarks étant des résultats isolés, ils peuvent différer du coût réel ou du ressenti dans un projet concret.
Il existe notamment des cas comme SWE-Bench Pro où le classement s’inverse, et la lecture peut donc varier selon le type de tâche.
Si vous avez constaté des différences en l’utilisant directement, cela m’intéresse.
Signalez-moi aussi toute partie que j’aurais mal interprétée, je la corrigerai.