Comment Databricks a créé son propre benchmark d’IA de codage, et quels résultats il a obtenus

• Les benchmarks de codage publics posent problème, car ils ne correspondent pas exactement au contexte propre à chaque entreprise et peuvent être contournés
  • Databricks a donc créé un benchmark à partir de tâches réellement effectuées en interne et des langages effectivement utilisés, afin d’évaluer les modèles
• GLM 5.2 a résolu les tâches les plus difficiles à un niveau comparable à celui d’Opus 4.8, pour un coût équivalant à 66 % de celui d’Opus
• Sonnet 5 est 1,7 fois moins cher qu’Opus 4.8, mais comme il consomme 1,9 fois plus de tokens pour accomplir réellement les tâches, il s’avère inefficace
• Même avec le même modèle, le coût et le temps d’exécution peuvent être fortement réduits selon le harness utilisé