Les labos d’IA ont-ils optimisé leurs modèles pour le « pélican à vélo » ?

 (dylancastillo.co)
1 points par GN⁺ 3 시간 전 | 1 commentaires | Partager sur WhatsApp
  • Une comparaison de 1 008 SVG générés par 7 modèles frontier n’a pas trouvé de preuve nette de pelicanmaxxing, c’est-à-dire d’une amélioration des performances ciblant un prompt célèbre
  • 48 prompts combinant 8 animaux et 6 véhicules ont été exécutés 3 fois pour chaque modèle, puis GPT-5.6 Luna a évalué séparément la cohérence de l’animal, du véhicule et de l’action sur une échelle de 1 à 5
  • Le pélican s’est classé 6e sur 8 animaux, le vélo 5e sur 6 véhicules, et la combinaison pélican-vélo n’a atteint que la 42e place sur 48
  • Même dans une analyse de régression corrigeant la difficulté, les effets par labo n’étaient pas statistiquement significatifs ; le seul effet significatif, celui du vélo pour Gemini 3.5 Flash, n’a pas résisté à la correction pour comparaisons multiples
  • Les 21 images pélican-vélo étaient toutes orientées vers la droite, mais 60 % de l’ensemble des images l’étaient aussi ; cette expérience ne permet pas non plus de déterminer s’il existe un SVGmaxxing plus général de la génération de SVG

Le benchmark du « pélican à vélo »

  • Depuis plusieurs années, Simon Willison teste le même prompt à chaque sortie majeure de LLM : « génère un SVG d’un pélican à vélo »
  • Commencé comme une plaisanterie, ce test est devenu un célèbre benchmark IA informel, et les résultats associés reçoivent souvent beaucoup de votes positifs dans les fils Hacker News présentant de nouveaux modèles
  • Le benchmaxxing désigne le fait d’optimiser un modèle d’IA pour obtenir de bons scores sur des benchmarks populaires
  • Comme les performances des modèles peuvent influencer les choix des utilisateurs, l’expérience vérifie la possibilité que des labos aient optimisé leurs modèles pour ce test précis, un pelicanmaxxing
  • Le code de l’expérience et le pipeline de traitement des données sont publiés dans un dépôt GitHub

Conception de l’expérience : 1 008 SVG générés

  • 48 prompts ont été construits en combinant 8 animaux et 6 véhicules
    • Animaux : pelican, flamingo, heron, otter, raccoon, antelope, whale, cat
    • Véhicules : bicycle, unicycle, skateboard, scooter, plane, boat
  • Pour tous les prompts, seuls l’animal et le véhicule ont été remplacés dans la formulation de Simon Willison
  • Les animaux et véhicules n’ont pas été sélectionnés selon une procédure stricte, mais de manière à couvrir différents niveaux de similarité avec l’original et de difficulté
    • flamingo et heron sont proches de pelican
    • cat, raccoon et otter ont été choisis comme cas faciles
    • antelope est difficile, et whale est très différent de pelican
  • Les 7 modèles suivants ont été testés via OpenRouter
    • GPT-5.6 Terra
    • Claude Sonnet 5
    • Gemini 3.5 Flash
    • Grok 4.5
    • Qwen3.7-Max
    • GLM-5.2
    • DeepSeek V4 Pro
  • Pour chaque prompt, 3 échantillons ont été générés avec une température de 1.0 et le même réglage d’effort de raisonnement, pour un total de 1 008 SVG

Pipeline de rendu, d’évaluation et d’extraction de caractéristiques

  • Les résultats générés ont été traités en trois étapes
    • Rendu : conversion des SVG en PNG ; en l’absence de SVG ou en cas d’échec du rendu, une nouvelle génération était lancée jusqu’à obtenir un résultat valide
      • 11 nouvelles tentatives ont été nécessaires sur les 1 008 générations
    • Évaluation : GPT-5.6 Luna a noté séparément la cohérence de l’animal, du véhicule et de l’action sur une échelle de 1 à 5
      • Les classements des animaux et des véhicules utilisent les scores individuels de chaque catégorie
      • Lorsqu’un score unique par image était nécessaire, la moyenne des trois scores, appelée score du juge (judge score), a été utilisée
    • Extraction de caractéristiques : Gemini 3.1 Flash-Lite a enregistré l’animal et le véhicule reconnus, l’orientation du sujet et les éléments de la scène
  • L’hypothèse était que si un labo avait entraîné son modèle sur un benchmark spécifique, la ligne pélican, la colonne vélo ou la cellule pélican-vélo obtiendrait un score supérieur à ce que sa difficulté intrinsèque laisserait attendre

Différences observées à l’œil nu

  • Une grille complète d’images par modèle a été comparée, mais aucun cas où l’image pélican-vélo était clairement meilleure que les autres résultats du même modèle n’a été trouvé
  • Le premier échantillon de GLM-5.2 paraissait plutôt bon, mais un heron-skateboard de haute qualité a aussi été généré dans le même lot, ce qui rend difficile d’y voir le résultat d’une optimisation spéciale
  • Les labos qui ont produit de bonnes images pélican-vélo avaient tendance à bien dessiner aussi d’autres combinaisons animal-véhicule
  • L’évaluation visuelle étant difficile à reproduire et susceptible de varier d’une personne à l’autre, une analyse quantitative a été ajoutée

Performances individuelles du pélican et du vélo

  • En agrégeant les scores animaux de tous les modèles, le pélican se classe 6e sur 8 animaux
    • Il est derrière cat, whale, raccoon, heron et antelope
    • Les 7 labos dessinent tous mieux cat, whale et raccoon que pelican
  • Le pélican pouvant être intrinsèquement plus difficile à dessiner qu’un chat, ce classement ne suffit pas à exclure la possibilité d’un entraînement spécifique
  • Le vélo arrive avant-dernier parmi les 6 véhicules, presque au même niveau que plane, dernier du classement
  • Un vélo exige deux roues cohérentes, un cadre reliant les deux axes, un guidon, une selle et des pédales
    • Le modèle évaluateur a estimé qu’environ deux tiers des images de vélo omettaient l’un de ces éléments ou ne les reliaient pas correctement
  • Le vélo est lui aussi plus difficile qu’un véhicule simple comme skateboard, si bien que son rang relatif pourrait rester bas même en cas d’entraînement spécifique

L’ambiguïté créée par le prompt « plane »

  • L’utilisation de « plane » au lieu de « airplane » a conduit certains modèles à l’interpréter comme un plan géométrique plutôt que comme un avion
  • Résultat : des images où l’animal se tient sur une surface plane au lieu de monter à bord d’un avion
  • Les cas où l’extracteur de caractéristiques ne trouvait aucun véhicule n’apparaissent que pour plane
    • Sur 168 images plane, 25 n’ont permis de reconnaître aucun véhicule
    • Aucun cas de ce type n’a été observé pour les 5 autres véhicules
  • 20 % des images plane ont reçu un score véhicule de 1 ou 2
    • Pour bicycle, ce chiffre était de 5 %
    • Pour boat, scooter et skateboard, aucune image n’a reçu un score de 1 ou 2

Classement par combinaison et correction de la difficulté

  • La combinaison pélican-vélo a obtenu une performance moyenne la plaçant 42e sur 48 combinaisons
  • Comme chaque combinaison peut avoir une difficulté intrinsèque différente, une régression à effets fixes a été appliquée à l’ensemble des 1 008 images
    • La formule de base est score ~ lab + animal × vehicle
    • Des termes d’interaction par labo pour pelican, bicycle et pelican-bicycle ont été ajoutés
    • Des erreurs standards robustes ont été utilisées
  • Le terme animal × vehicle absorbe la difficulté propre à chacune des 48 combinaisons
  • Les termes d’interaction par labo mesurent, par rapport au labo moyen, le gain spécifique au benchmark et son intervalle de confiance

Aucun effet significatif trouvé dans la régression

  • Les effets pélican par labo allaient de -0,11 à +0,14 point, sans être statistiquement significatifs
    • La plus petite valeur p était encore de 0,25
  • Les effets vélo par labo allaient de -0,18 point pour Grok 4.5 (p=0,11) à +0,27 point pour Gemini 3.5 Flash (p=0,022)
    • Les 7 effets se répartissaient entre valeurs positives et négatives
    • Seul Gemini 3.5 Flash atteignait p<0,05
  • Après exclusion des effets pélican et vélo propres à chaque labo, aucun gain supplémentaire sur la combinaison spécifique pélican-vélo n’atteignait p<0,05
    • Le plus grand effet positif était +0,35 point pour GLM-5.2, mais avec p=0,12
    • C’était le résultat le plus proche d’un signal dans l’expérience, tout en restant compatible avec le hasard
  • Tous les intervalles de confiance des effets pélican et des effets de cellule pélican-vélo incluent 0
  • Avec 21 tests effectués à p<0,05, environ 1 faux positif est attendu par pur hasard
    • 21 × 0.05 ≈ 1.05, et le seul résultat significatif observé était justement l’effet vélo de Gemini
    • Le seuil avec correction de Bonferroni est 0.05/21 ≈ 0.002, que la valeur p=0,022 de Gemini ne franchit pas
  • La largeur moyenne des intervalles de confiance est d’environ ±0,6 point, ce qui rend difficile la détection d’un gain plus petit avec cette expérience

Des compositions orientées vers la droite

  • Les 21 images pélican-vélo générées par les 7 labos étaient toutes orientées vers la droite
    • C’est la seule combinaison parmi les 48 où toutes les images avaient la même orientation
  • Cependant, 60 % des 1 008 images étaient orientées vers la droite, ce qui rend cette orientation courante en soi
  • La part d’orientation vers la droite par véhicule était de 83 % pour scooter, 81 % pour bicycle, 60 % pour skateboard, 58 % pour plane, 45 % pour unicycle et 35 % pour boat
  • Par animal, elle était de 78 % pour antelope et pelican, 77 % pour heron, 65 % pour whale, 64 % pour flamingo, 45 % pour otter, 40 % pour cat et 36 % pour raccoon
  • Comme il est difficile de dessiner un pélican ou un vélo de face, les modèles choisissent généralement une vue latérale gauche ou droite, ce qui réduit aussi les images à orientation ambiguë
  • D’autres combinaisons affichent également un fort alignement d’orientation
    • antelope-scooter et pelican-scooter ont chacune 20 images sur 21 dans la même direction
    • heron-bicycle en a 19 sur 21 dans la même direction
  • Le fait qu’une combinaison sur 48 présente 21 images toutes orientées dans la même direction ne suffit pas à en faire une anomalie particulière

Chercher des traces de mémorisation dans les éléments de scène

  • Gemini 3.1 Flash-Lite a extrait en format libre les éléments de scène détectés dans les images afin de vérifier si une composition mémorisée se répétait
  • Certains éléments revenaient fréquemment dans certaines combinaisons
    • Toutes les images flamingo-boat contiennent un soleil
    • Un foulard apparaît dans 38 % des images otter-plane
    • Un panier figure dans 38 % des images cat-bicycle
  • Certains éléments étaient aussi fréquents dans pélican-vélo, mais aucun motif de répétition particulier ne distinguait cette combinaison des autres couples animal-véhicule

Un seul modèle évaluateur et un budget limité

  • Tous les scores ont été attribués par un unique modèle évaluateur, GPT-5.6 Luna, examinant les images une par une
    • Les critères d’évaluation n’ont pas été suffisamment alignés, et la cohérence lors d’une réévaluation n’a pas été vérifiée
    • Si le modèle évaluateur ne juge pas les dessins de manière fiable, la valeur des résultats quantitatifs diminue
  • Une autre limite est que le modèle évaluateur et le modèle participant GPT-5.6 Terra appartiennent à la même famille de produits
    • Cela dit, comme chaque labo a généré les 48 combinaisons, une éventuelle préférence pour le style d’un labo ferait monter les scores de toute sa grille
    • L’analyse compare les différences entre combinaisons au sein d’un même labo, ce biais ne devrait donc pas modifier le résultat central
  • Le SVGmaxxing, qui consisterait à optimiser non pas un prompt spécifique mais toute la génération de SVG ou une catégorie comme « animal sur un véhicule », ne peut pas être détecté
    • Les performances de toutes les cellules augmenteraient ensemble, ce qui serait impossible à distinguer d’un modèle simplement meilleur en génération de SVG
    • Google/DeepMind mène publiquement ce type d’optimisation, comme indiqué ici
  • Le coût total de l’expérience a été d’environ 80 dollars en crédits API
    • Elle a été limitée à 3 échantillons par cellule, 1 modèle évaluateur et 7 modèles participants
    • Les prompts et le pipeline n’ont pas pu être itérés et améliorés suffisamment, ce qui a laissé subsister des problèmes comme « plane » contre « airplane »

Pas de preuve d’une optimisation pour ce prompt précis

  • Le pélican n’a pas été mieux dessiné que les autres animaux, le vélo n’a pas surpassé les autres véhicules, et aucun labo n’a significativement mieux dessiné cette combinaison que ce que ses performances individuelles sur le pélican et le vélo laissaient prévoir
  • GLM-5.2 a enregistré le plus grand gain sur la cellule pélican-vélo, mais l’effet est faible et non statistiquement significatif
  • Le fait que les 21 images soient toutes orientées vers la droite est notable, mais les compositions orientées à droite sont fréquentes dans l’ensemble et trois autres combinaisons dépassent aussi 90 % de concordance
  • Un SVGmaxxing renforçant la génération de SVG en général paraît plus plausible qu’un pelicanmaxxing ciblant ce seul benchmark, mais cette expérience ne permet pas de déterminer quel labo l’aurait pratiqué

À lire aussi

1 commentaires

 
GN⁺ 3 시간 전
Réactions sur Hacker News

  • J’ai aussi vérifié de temps en temps d’autres combinaisons animal-véhicule, et je rêvais de trouver la preuve qu’un labo d’IA en particulier savait surtout bien dessiner un pélican à vélo
    La méthodologie de Dylan, qui a généré 1 008 SVG avec 8×6 combinaisons, est bien plus solide que je ne l’imaginais. Mais je n’ai trouvé aucun modèle où le pélican à vélo ressortait nettement mieux que les autres combinaisons

    • Ils n’ont peut-être pas optimisé uniquement pour le pélican, mais pour les SVG en général. Générer des SVG complexes était au départ un bon benchmark, car cela teste la programmation générale et la compréhension spatiale, mais si on attaque directement cette tâche, ce n’est pas si difficile
    • Il s’est passé quelque chose de similaire avec TPC, qui a créé des benchmarks SQL. Si les performances TPC étaient mauvaises, on n’était pas qualifié pour concourir ; si elles étaient bonnes, on obtenait le droit de participer à des comparatifs traitant des vraies tâches des clients
      Dans un marché encombré, passer les benchmarks est le ticket d’entrée, mais une optimisation étroite consistant à coder en dur une scène précise sans améliorer les problèmes voisins est problématique. Ça me rappelle le benchmark « Quack3 » pour les cartes ATI dans le domaine GPU
    • Un test plus fondamental consisterait à évaluer la génération de dessins SVG dans son ensemble. On pourrait créer un pipeline qui annote une image aléatoire, demande à un LLM de générer le SVG, puis le rastérise pour le comparer via une similarité visuelle déterministe, ou bien fait noter la ressemblance avec l’original par un autre LLM
    • On pourrait aussi changer d’espèce. Des candidats comme le tantale ibis ou le héron, eux aussi dans l’ordre des Pélécaniformes comme le pélican, pourraient convenir

  • Il est naturel qu’un pélican à vélo regarde vers la droite. La transmission d’un vélo est à droite, donc pour la montrer sans qu’elle soit masquée par le cadre, on dessine le côté droit, et il est probable que cette composition soit reflétée dans les données d’entraînement
    Source : https://www.rei.com/c/bikes
    En regardant de près, tous les vélos sont orientés vers la droite quel que soit le sens de l’animal, et les deux jambes du passager sont elles aussi placées à droite du vélo, sauf pour la baleine. Cela suggère un manque important de compréhension concrète du fonctionnement d’un vélo

  • Chaque fois que Simon Willison publiait un SVG, il y avait des réactions du type « cette fois, ils l’ont forcément appris », balayant l’évaluation d’un revers de main, mais il y a aussi eu un billet expliquant logiquement à quel point un tel apprentissage serait facile à détecter. Je suis ravi de voir une analyse quantitative des résultats sur de petits animaux à vélo
    https://simonwillison.net/2025/Nov/13/training-for-pelicans-...

    • Il existe aussi une possibilité plus nuancée. Autrefois, il n’y avait presque pas d’illustrations de pélicans à vélo, mais désormais des artistes talentueux en ont créé eux-mêmes, et les labos pourraient les collecter comme n’importe quelle autre ressource du web, ce qui améliorerait les performances
      Ces résultats montrent que cette amélioration n’a pas encore eu lieu. Il est même possible que les modèles aient appris de mauvais résultats en ligne et que les performances aient baissé
    • Le fait de généraliser à partir d’un petit nombre de combinaisons animal-véhicule constitue difficilement une preuve forte que ces données n’ont pas été apprises directement ou largement

  • Si l’explication la plus plausible est une optimisation SVG, il faut aussi examiner ce que signifie exactement « optimisation » ici. La capacité à mieux dessiner en SVG est en soi une compétence utile

    • Il n’y a rien de terrible à ce qu’un labo d’IA pousse une technique à fond. Les benchmarks sont pratiquement le seul moyen de comparer quantitativement les modèles actuels ; si l’optimisation sur benchmark vous dérange, mieux vaut contribuer à créer de meilleurs benchmarks

  • J’ai ajouté une variante à une expérience similaire. J’ai vérifié si, sans préciser d’oiseau ni de moyen de transport, le modèle choisissait de lui-même un pélican à vélo
    Résultats : https://www.modelbias.ai/pelican-on-a-bicycle-test

    • Bien que le dessin soit simple, il y avait des résultats esthétiquement excellents pour un pingouin sur un skateboard, y compris avec des modèles peu performants. La famille Opus semble au contraire avoir empiré avec le temps
    • Comme cela ne nécessite pas d’évaluation subjective et dépend moins de la complexité de l’animal et du moyen de transport, c’est plus convaincant et plus robuste que l’analyse de l’article original

  • Les données sources sont publiées sur GitHub : https://github.com/dylanjcastillo/blog/tree/main/_extras/pel...

  • Faire produire du SVG par un LLM est très difficile et peu naturel, un peu comme demander à un peintre humain de dessiner en lui récitant une liste de coordonnées. Les modèles de génération d’images actuels produisent facilement des vélos à la structure parfaite et des pélicans réalistes, mais le résultat n’est qu’une image raster
    Il manque l’étape où l’image est décomposée et reconstruite en tracés SVG ou commandes de pinceau ; pour bien le faire, il faut une véritable compréhension de la structure de la scène, et l’IA reste faible sur ce point

    • Un excellent peintre humain peut visualiser le processus de dessin dans sa tête, et cela n’est peut-être pas si différent de la manière dont un LLM construit du SVG en interne. Anthropic a récemment qualifié cet espace interne de workspace, et cela pourrait seulement sembler étrange aux humains peu familiers avec le SVG
    • Ce test évalue la génération de SVG elle-même, pas le raster
    • Des modèles d’image prenant en charge la sortie texte comme Image2, ou des modèles de texte généralistes capables de lire des images comme Claude, peuvent vectoriser des images raster. Mais la qualité reste faible, au point qu’un non-spécialiste ferait mieux à la main avec Inkscape

  • Dès qu’une méthode de notation des sorties de LLM devient connue, les décideurs financiers et les labos commencent à s’y intéresser et à corriger leurs modèles en fonction. Dans le meilleur des cas, ils amélioreront les capacités SVG dans leur ensemble tout en optimisant aussi la génération de pélicans, mais à partir du moment où c’est devenu une métrique connue, il devient difficile de l’utiliser comme évaluation indépendante fiable