- Un modèle open source 9B destiné à la vérification de catalogues e-commerce, affiné par apprentissage par renforcement pour environ 500 dollars, a obtenu un score supérieur à toutes les configurations de modèles frontier utilisant les mêmes outils, images et évaluateur
- Dans un jumeau numérique construit à partir de 177 767 épisodes de vérification, le modèle répète classification de produits, vérification de marque, extraction d’attributs et décisions de politique afin d’apprendre dans ses poids la taxonomie et les critères de jugement propres à l’entreprise
- Le modèle entraîné avec GRPO atteint 87,3 % du score maximal atteignable, soit 13,5 % de plus en relatif que les 76,9 % de la meilleure configuration frontier, et 36 % de mieux que les 64,2 % du modèle de base non entraîné
- Le coût est d’environ 0,50 dollar pour 1 000 produits, soit 40 fois moins que la configuration frontier la moins chère et environ 340 fois moins que la plus chère ; à l’échelle de 40 millions de traitements par jour, l’écart annuel est d’environ 7 millions contre 500 millions de dollars
- Cette approche convient aux tâches répétitives à grande échelle dont les résultats peuvent être vérifiés par des règles, des tests ou des grilles d’évaluation ; les faits changeants doivent rester dans des outils de recherche, tandis que la manière de juger propre à l’entreprise doit être apprise par le modèle
Le mode opératoire qui détermine le retour sur investissement de l’IA
- Depuis le lancement de ChatGPT, l’usage de l’IA est passé de tâches à faible risque comme le résumé de documents et les brouillons d’e-mails à des projets de développement logiciel, de génération de contenu et de cerveau d’entreprise (company brain) reliant connaissances internes, données et outils
- Dans les données clients de Ramp, les entreprises du quartile supérieur de dépenses IA ont plus que doublé leur chiffre d’affaires entre novembre 2022 et décembre 2025, tandis que celles sans dépenses IA ont progressé d’environ 15 % sur la même période
- Les organisations qui obtiennent des résultats présentent régulièrement les modes opératoires suivants
- Refonte des workflows : il ne suffit pas d’ajouter un modèle aux procédures existantes ; il faut repenser les validations, les revues, les transmissions et les points d’intervention humaine
- Dans l’enquête 2025 de McKinsey auprès d’organisations utilisant l’IA générative, la refonte des workflows présentait la plus forte corrélation avec l’impact sur l’EBIT, mais seules 21 % des organisations en avaient effectivement repensé au moins un
- Encourager l’expérimentation : comme les modèles, outils et bonnes pratiques évoluent vite, il faut récompenser non seulement les lancements réussis, mais aussi l’expérimentation et le partage des échecs
- Contexte métier sur mesure : l’accès aux données, le contrôle d’accès par requête, la recherche de preuves pertinentes et la gestion de fenêtres de contexte dont l’usage devient inégal à mesure qu’elles s’allongent deviennent des sujets d’ingénierie à part entière
- Mesurer l’usage et l’effet : sans évaluation notée sur ses propres données, il est difficile de démontrer la performance, le coût décisionnel et l’impact sur l’efficacité ; les gains de temps auto-déclarés peuvent aussi être imprécis
- Refonte des workflows : il ne suffit pas d’ajouter un modèle aux procédures existantes ; il faut repenser les validations, les revues, les transmissions et les points d’intervention humaine
Le mode de déploiement pour « posséder l’intelligence »
- Le schéma qui revient est l’apprentissage par renforcement à partir de modèles open source, de données de tâches propres à l’entreprise et de workflows pouvant être notés
- Les modèles frontier servent à vérifier le potentiel d’automatisation et à établir une première baseline
- Les appels accumulent des traces d’entrées, de décisions et de corrections, qui deviennent ensuite des données d’entraînement pour un modèle spécialisé
- Une fois sorti du prototype et passé à l’exploitation à grande échelle, le coût par appel et la performance deviennent prioritaires
- Les modèles frontier et les modèles spécialisés ne se remplacent pas complètement les uns les autres
- Des modèles généralistes comme ChatGPT ou Claude peuvent déléguer à un modèle spécialisé les parties nécessitant de la connaissance interne
- Les modèles spécialisés peuvent aussi appeler un modèle frontier pour les tâches nécessitant de fortes capacités généralistes
- Le modèle travaille avec les outils et les données de l’entreprise, une grille d’évaluation (rubric) note les résultats, et le signal de récompense met à jour le modèle
- Après des dizaines de milliers de tâches répétées, le jugement métier s’inscrit dans les poids
- Les faits changeants comme les prix, les stocks ou les documents de politique restent dans les outils
Cas réels de déploiement de modèles spécialisés
- Bridgewater Associates a entraîné un modèle open source avec des labels de spécialistes de l’investissement pour juger si des articles, dépôts réglementaires et e-mails étaient pertinents pour une thèse d’investissement, et où commençait le langage stéréotypé
- Les prompts seuls ne reflétaient pas de manière stable les critères de jugement internes
- Le modèle entraîné faisait environ 30 % d’erreurs en moins que les meilleurs modèles frontier, avec un coût d’inférence plus faible
- Harvey a appliqué des modèles à poids ouverts et l’apprentissage par renforcement à des tâches où les erreurs s’accumulent sur plusieurs étapes, comme la due diligence transactionnelle et la rédaction de notes juridiques
- Dans sa propre grille d’évaluation, l’agent juridique a surpassé GPT-5.5 et Claude Opus 4.8
- Intercom Fin Apex a été post-entraîné sur des milliards d’interactions de support client afin d’améliorer le coût par appel et le taux de résolution à une échelle d’environ 2 millions de problèmes clients par semaine
- Intercom indique qu’il résout plus de problèmes que les meilleurs modèles frontier tout en réduisant les coûts d’exploitation
- Le processus commun consiste à créer une baseline avec un modèle frontier dont les prompts et le contexte sont optimisés, puis à transférer les traces d’exécution et les apprentissages vers un plus petit modèle détenu par l’entreprise
Intégrité des catalogues et problème de coût
- Un catalogue e-commerce doit placer chaque produit dans la bonne taxonomie et extraire avec précision, depuis les images et descriptions, les attributs utilisés pour la recherche, les filtres, les recommandations et les opérations en aval
- Les mauvaises décisions dégradent la découvrabilité des produits et la qualité des recommandations, et laissent passer des violations de politique
- Si les contrefaçons ne sont pas détectées, clients et marques sont exposés à la fraude
- Si des produits légitimes sont trop souvent signalés, les files de revue et la gêne pour les vendeurs augmentent
- L’échelle est aussi importante
- eBay compte environ 2,5 milliards d’annonces actives
- Le catalogue Shopify reçoit plus de 10 millions de mises à jour de produits par jour
- Walmart estime qu’il aurait fallu environ 100 fois plus de personnel pour effectuer uniquement par des humains le travail de catalogue assisté par IA
- 71 % des consommateurs déclarent avoir déjà retourné un produit parce que l’article réel différait de sa fiche
- Pour une marketplace de taille moyenne traitant environ 10 millions de créations et modifications de produits par jour, la vérification fondée sur des modèles frontier est estimée à environ 500 millions de dollars par an, contre environ 10 millions pour un modèle spécialisé affiné
- Shopify utilise un modèle ouvert affiné pour effectuer environ 40 millions d’inférences de classification de produits par jour, car les API commerciales seraient économiquement difficiles à absorber
Travail de l’agent de vérification de catalogue
- En examinant un produit, l’agent recherche la taxonomie, vérifie la marque, récupère le schéma d’attributs de la catégorie correspondante, puis valide une décision structurée
- Si les preuves sont insuffisantes ou le risque élevé, il transmet à une revue humaine
- L’exemple de gants de travail est traité dans l’ordre suivant
- Il trouve la catégorie
Safety Work Glovesavecsearch_taxonomy - Il vérifie avec
lookup_brandqu’AmazonBasics est enregistré, mais pas protégé - Il consulte les attributs marque, couleur, matériau et taille avec
get_attribute_schema - Il valide une décision
allowedavec la catégorie et les attributs
- Il trouve la catégorie
- Le coût d’une vraie violation manquée est fixé 7 fois plus haut que celui d’un faux positif, afin d’apprendre l’asymétrie entre les deux types d’erreurs
Jumeau numérique pour l’entraînement
- À partir d’images et de fiches produits réelles d’Amazon Berkeley Objects, 177 767 épisodes de vérification ont été construits
- Chaque épisode inclut une image, un titre, une description, une marque revendiquée et une région
- Des violations de politique contrôlées, des images discordantes et des revendications de marque conflictuelles sont insérées, ainsi que des revendications légitimes comme cas négatifs difficiles
- Chaque épisode possède une réponse correcte pouvant être notée
- L’environnement utilisé par le modèle reproduit le travail d’un analyste réel
- Il recherche parmi environ 13 000 catégories
- Il vérifie si la marque est enregistrée et protégée
- Il récupère les attributs requis pour la catégorie choisie
- Il valide la classification finale, les attributs et la décision de politique
- L’évaluateur récompense les bonnes réponses et pénalise les violations manquées, les attributs sans fondement, les mauvaises catégories et les appels d’outils inutiles
- L’apprentissage par renforcement nécessite un environnement qui reproduise les listes, outils et coûts de décision du travail réel, et permette de répéter échecs et nouvelles tentatives
Baseline des modèles frontier
- GPT-5.5, GPT-5.6-sol, Gemini 3.1 Pro, Claude Opus 4.8 et Claude Fable 5 sont comparés sur 200 épisodes de validation stratifiés
- Tous les modèles utilisent les mêmes outils, images, évaluateur et budget de tours
- Sont testés à la fois un prompt de base et un prompt optimisé de 2 800 caractères comprenant règles d’extraction, procédures de consultation et exemples
- La meilleure configuration frontier atteint 76,9 % du score atteignable, tandis que le modèle 9B entraîné avec GRPO atteint 87,3 %
- À chaque épisode, les modèles frontier doivent reconstruire dans le prompt la taxonomie de la boutique, les conventions d’inventaire, les valeurs d’attributs prises en charge et les traitements d’exception
- Des instructions optimisées peuvent compresser une partie de cette connaissance, mais il n’était pas possible d’énumérer toutes les exceptions qui déterminent le score
- Les configurations frontier optimisées convergent à moins de 0,1 point de pourcentage les unes des autres
- Gemini, qui avait les meilleures performances d’extraction en zéro-shot, voit au contraire ses performances baisser après application des instructions optimisées
- Selon le modèle, les instructions supplémentaires augmentent le coût en tokens d’entrée de 28 à 55 % par appel
- La connaissance métier contenue dans un prompt est facturée à chaque appel, alors que la connaissance apprise reste dans les poids
Entraînement GRPO à 500 dollars
- L’entraînement loue deux GPU RTX PRO 6000 : l’un pour générer les rollouts, l’autre pour les mises à jour de gradient
- L’infrastructure repose sur l’open source prime-rl
- L’entraînement complet représente 1 000 étapes d’optimisation, environ 3,5 jours et à peu près 500 dollars de coût GPU
- Environ 250 étapes et une journée d’entraînement suffisent à dépasser la zone des modèles frontier
- Les étapes restantes servent à extraire la performance maximale
- Le score final au benchmark strict est de 0,626, soit 87,3 % du plafond atteignable, environ 10 points de pourcentage au-dessus de la meilleure configuration frontier
- Dans le suivi d’entraînement W&B, il passe d’environ 0,50 à 0,671 à 1 000 étapes
- Le suivi utilise 2 rollouts échantillonnés par épisode, ce qui donne un score légèrement supérieur à celui du harnais de benchmark strict
- Le modèle 9B de base non entraîné atteignait 64,2 % du score maximal ; après affinage, il monte à 87,3 %, soit environ 36 % d’amélioration relative
- Le modèle spécialisé apprend la relation entre taxonomie, outils, politiques et récompenses afin de concentrer ses capacités sur le comportement adapté à un environnement précis, au prix d’une perte de capacités généralistes
- Lorsque des modèles open source de base plus puissants apparaissent, la même méthode d’entraînement peut être transférée ; les décisions enregistrées en production peuvent aussi être distillées en données de fine-tuning supervisé pour de futurs réentraînements
Comparaison des coûts et de la qualité
- Le coût d’inférence du modèle spécialisé est d’environ 0,50 dollar pour 1 000 produits, et l’affinage permet d’obtenir, au même coût, un score supérieur d’environ 23 points de pourcentage à celui du modèle 9B de base
- Les écarts de coût avec les alternatives sont les suivants
- Gemini, la configuration frontier la moins chère, coûte 19 dollars pour 1 000 produits, soit 40 fois plus que le modèle spécialisé
- GPT-5.5-pro, la plus chère, coûte 172 dollars pour 1 000 produits, soit environ 340 fois plus
- La configuration ayant obtenu le meilleur score frontier coûte 34 dollars pour 1 000 produits, soit 68 fois plus que le modèle spécialisé
- Les instructions de 2 800 caractères augmentent le coût mesuré de GPT-5.5 d’environ un tiers, et cette taxe de prompt se répète à chaque appel ultérieur
- Pour environ 40 millions de traitements par jour, une configuration à 34 dollars les 1 000 coûte environ 500 millions de dollars par an, contre environ 7 millions pour le modèle spécialisé à 0,50 dollar, soit un écart d’environ 98 %
Tâches adaptées et domaines à éviter
- Les tâches adaptées sont les travaux répétitifs à grande échelle qui produisent des décisions à partir d’informations
- Routage de tickets
- Extraction de champs de documents
- Vérification de soumissions selon une politique
- Classification de produits
- Approbation ou signalement de transactions
- La condition clé est de savoir si chaque décision peut être vérifiée comme correcte ou incorrecte par des règles, des schémas, des tests, des grilles d’évaluation ou le jugement d’experts
- Une décision pouvant être notée peut être pratiquée par le modèle
- Un résultat qui ne peut faire l’objet que d’un débat sans consensus ne peut pas être entraîné de cette manière
- Le choix de l’outil dépend de la fréquence et de la vérifiabilité
- Pour les tâches fréquentes et vérifiables, le fine-tuning est adapté
- Pour les tâches vérifiables mais rares, un modèle frontier avec prompt optimisé est adapté
- Pour les résultats non vérifiables, un humain doit intervenir
- Si le cœur du problème n’est pas le jugement mais des faits changeants, la génération augmentée par recherche est adaptée, quelle que soit la fréquence
- Une tâche peut être candidate au fine-tuning si elle remplit au moins l’une des conditions suivantes
- Le volume est assez élevé pour que les coûts d’appel et les erreurs s’accumulent en coûts réels
- Tous les résultats peuvent être vérifiés sans humain par des règles, tests ou grilles d’évaluation
- Les experts s’accordent sur les critères de la bonne réponse
- Un modèle compétent réussit parfois, mais pas avec une cohérence suffisante pour être fiable
- La bonne réponse ne peut pas être trouvée par hasard
- La tâche comporte plusieurs étapes de raisonnement, d’appels d’outils et de décision finale
- Elle s’exécute avec des outils, schémas et politiques propres à l’entreprise
- Les types d’erreurs ont des coûts différents
- Les données sensibles ne peuvent pas être envoyées vers une infrastructure hors de contrôle
- Exécuter le modèle dans ses propres frontières évite que prompts et traces soient transmis à un fournisseur externe, et permet de posséder et d’améliorer ensemble le modèle, l’évaluation et les données
Autres exemples de modèles spécialisés dans différents secteurs
- Le modèle de Cognition pour écrire et modifier du logiciel en production dépasse GPT-5.5 sur les benchmarks de codage standard et streame 1 000 tokens par seconde
- AT&T résume 900 000 appels de support par jour et signale les données personnelles
- Il détecte les données personnelles 17 % mieux que GPT-4o
- Il examine les cas de fraude 12 fois plus vite avec une précision du niveau de GPT-4o, économisant plusieurs millions de dollars par an
- Le modèle de matching entre candidats et offres de LinkedIn est 4 % plus précis que le modèle GPT qu’il remplace
- Il est 75 fois moins cher que GPT-4 et 6 fois moins cher que GPT-4o
- Le modèle de codage des actes médicaux d’Ambience Healthcare est plus précis que 18 spécialistes dans un test avec panel de référence
- Il dépasse de 12 points de pourcentage l’approche basée sur prompts o4-mini dont il est issu
- Le modèle de réponse téléphonique de Phonely atteint 99,2 % de précision, devant les 94,7 % de GPT-4o
- Ses réponses sont 73 % plus rapides que la configuration GPT-4o précédente, et un client a remplacé 350 agents humains en un mois
- Le modèle e-mail et tickets support d’OpenPipe atteint 93 % en QA support, devant les 50 % d’OpenAI o3
- Il est 64 fois moins cher et 5 fois plus rapide que o3
- Perplexity Sonar fait jeu égal avec GPT-4o dans des tests utilisateurs en aveugle pour les réponses de recherche avec sources
- Il est 10 fois plus rapide que GPT-4o et moins cher
- Le modèle de classification des casiers judiciaires de Checkr dépasse GPT-4 sur les cas les plus difficiles
- Il est 5 fois moins cher et 30 fois plus rapide que la configuration GPT-4 existante
- Chaque chiffre est un résultat auto-déclaré par l’entreprise concernée, mesuré par rapport au modèle frontier qu’elle a remplacé ou concurrencé
2 commentaires
C’est dans la psychologie humaine de préférer confier le tout à une seule personne qui se débrouillera pour tout bien gérer, plutôt que de chercher un expert pour chaque cas et de ne lui confier que son périmètre de travail.
Pour les LLM aussi, la fonction de récompense ne finit-elle pas forcément par être conçue de façon à accepter tout ce qu’on leur lance, quel que soit le sujet ?
Avis de Hacker News
Ce que les grands labos passent à côté, c’est que, pour la plupart des usages, on n’a pas besoin de connaissances de niveau 50 doctorants ni de compétences dans 12 langues ; les contraintes de coût comptent bien davantage.
Si les modèles à poids ouverts et le fine-tuning bon marché se généralisent, l’économie des modèles gigantesques et des grandes infrastructures financées par la dette s’effondre.
La politique ou la menace chinoise ne sont que des justifications de façade ; si les petits modèles à poids ouverts deviennent la norme, les grands labos auront du mal à survivre.
Dans le fine-tuning, la partie vraiment coûteuse est la collecte d’un bon jeu de données ; même avec des données propres, il faut la capacité d’exécuter des évaluations et de mesurer la qualité.
En additionnant les coûts d’ingénierie, d’annotation des données et de revue continue de la qualité, il y a beaucoup d’usages où il revient moins cher de continuer à utiliser un modèle de labo de pointe qui fonctionne bien dès le départ.
Cela ressemble à ce qui s’est passé il y a environ 10 ans, quand les méthodes d’entretien des FAANG ont été rendues publiques et que tout le monde les a copiées telles quelles.
L’idée est que la voie consistant à continuer d’augmenter les poids et à jeter du matériel dessus, comme aujourd’hui, est une impasse, et qu’on finira par revenir, comme toujours dans l’histoire de l’IA, à des algorithmes adaptés à l’objectif.
Je développe TinyToT pour prouver qu’on n’a pas besoin d’autant de paramètres.
Chaque fois que je vois ce genre de récit, deux choses me dérangent.
Premièrement, j’ai vu plusieurs cas où mieux exploiter les modèles existants, ou ne rien faire et attendre, donnait de meilleurs résultats que le réentraînement. Le point de comparaison ne devrait pas être le modèle de pointe actuel, mais le prochain modèle qui sortira pendant que l’on maintient le modèle fine-tuné.
Deuxièmement, les 500 dollars de coût d’entraînement sont le poste le moins cher ; la génération des données et la maintenance ultérieure du modèle coûtent bien plus cher. Je me demande combien d’usages peuvent réellement produire 177 000 épisodes notés.
Ici, il a fallu les synthétiser à partir d’Amazon Berkeley Objects ; si ce jeu de données avait existé naturellement, il n’aurait même pas fallu le créer, et il illustre mieux que tout la difficulté d’appliquer le fine-tuning.
Comme les matériels spécialisés tels que les GPU restent utilisés malgré les progrès des CPU, les modèles spécialisés ont de bonnes chances de rester supérieurs aux modèles généralistes en coût ou en résultats.
Si l’entraînement initial coûte 500 dollars, l’entraînement continu lui-même est relativement peu cher. Générer de nouveaux exemples adaptés aux changements de données est plus coûteux, mais ils peuvent être réutilisés pour entraîner le modèle suivant, et il en faut de toute façon une certaine quantité pour évaluer les changements de modèle et de prompt.
Au final, ce n’est pas toujours pertinent à cause des coûts de génération et d’entraînement des données, ou du manque de données ; cela ne convient qu’aux tâches fréquentes et vérifiables, comme dans le schéma de l’article. Ce n’est peut-être réaliste que pour les grandes entreprises qui traitent des millions de décisions.
Les coûts de maintenance des jeux de données et des modèles sont eux aussi en train d’être transformés en services généralistes via des startups comme Braintrust ou Hugging Face.
Les modèles de pointe sont très doués pour supprimer leurs propres emplois.
Déjà avec GPT, Luna gère 90 % des usages de Sol. Si la Chine continue d’investir autant dans la distillation de modèles, c’est pour générer des données d’entraînement précises ; OpenAI et Anthropic ont passé des années à les collecter tout en évitant les problèmes juridiques.
Plus les modèles deviennent intelligents, plus on migre vers des alternatives moins chères qui font suffisamment bien le travail. Si la précision est déjà de 99 %, il y a très peu d’intérêt pratique à utiliser un modèle de pointe, et cela me semble être le plus grand risque pour les labos américains.
Pour les autres tâches, des modèles moins chers suffisent.
C’est pareil pour d’autres technologies, comme mon téléviseur LCD acheté vers 2018 que je n’ai aucune envie de remplacer.
Les technologies tendent à remplacer de nouvelles technologies ou à pénétrer des espaces vides, mais elles remplacent rarement des domaines non technologiques comme les interactions humaines. Même les loisirs devant un écran vont généralement vers des relations parasociales.
Je m’intéresse beaucoup au fine-tuning de modèles ouverts et je cherche des ressources à recommander moi-même ; j’ai aussi mis cet article de côté pour le lire en détail.
J’ai fait tourner Nemotron-3-Nano 30B en local et je vise des modèles de 30 à 120 milliards de paramètres. Le modèle de base suffit déjà à produire une vraie valeur, mais je pense que pour les tâches spécialisées, l’entraînement peut combler le dernier écart.
J’apprécie particulièrement le fait que l’auteur réfléchisse à l’ensemble du processus, et j’ai pu y retrouver le même usage et la même stratégie de création de valeur. Comme c’est un projet de long terme, je prévois aussi d’acheter du matériel pour le fine-tuning.
Je n’ai pas lu l’article de Ramp, mais cela ressemble à une erreur a posteriori. Une entreprise dont le chiffre d’affaires a doublé a peut-être simplement de l’argent à consacrer à l’IA, tandis qu’une entreprise à 1,15× n’en a pas
La méthode consistant à fine-tuner de petits LLM, ou des modèles de langage encore plus petits comme BERT, est recommandée depuis les débuts des LLM. Ses avantages sont clairs : exécution rapide, contrôle de l’ensemble de la stack technique, et meilleure adaptation à un domaine personnalisé
Mais en pratique, il y a peu de fine-tuning, car les API de grands modèles de langage restent bon marché, suffisamment rapides et continuent de s’améliorer. Dès qu’on a investi du temps et de l’argent pour lancer un modèle spécialisé, un nouveau modèle généraliste peut le dépasser
Si un jour les progrès des LLM ralentissent ou que les prix des API deviennent difficiles à supporter, l’ère du fine-tuning et des petits modèles reviendra
J’aime bien la grille 2×2 qui montre quand fine-tuner un modèle et quand utiliser un modèle de pointe
Cela dit, on ne sait pas clairement comment l’évaluateur a attribué les scores à chaque épisode. Si c’est un modèle de pointe qui a noté, je me demande si l’évaluation reste valide une fois que le modèle fine-tuné devient meilleur que lui sur la tâche
Il est utile de commencer par distiller, depuis un modèle open plus grand comme Kimi K3, l’ensemble de la distribution de probabilité d’un workflow spécialisé par domaine, puis d’appliquer à ce résultat son propre pipeline privé de reinforcement learning. Nous avons utilisé GLM 5.2 pour créer un modèle privé 27B anglais→SQL et avons obtenu de meilleurs résultats que Fable, mais sa capacité d’explication a disparu
Dans des domaines très spécialisés, il n’est pas difficile de dépasser les modèles de pointe pour une fraction infime du coût. Même sans pipeline de reinforcement learning interne, la distillation seule peut permettre de fortes économies, et un modèle 27B peut se rapprocher d’un modèle 3T sur cette tâche
En revanche, cela risque de ne pas fonctionner pour des tâches trop ambitieuses pour un modèle expert
Ces derniers temps, j’étais plongé dans des recherches automatisées visant à amener le 3B Foundation Model d’Apple au niveau de Sonnet 4.6 sur une tâche très spécifique
En combinant des adaptateurs de fine-tuning avec une étape déterministe, j’ai atteint environ 90 %
Tout le processus, avec questions-réponses, 96 expériences et lignées, est documenté ici : https://alexisrondeau.me/tada/research/FMDiscovery/dashboard...
Le goulot d’étranglement n’était pas la taille du modèle, mais la capacité de quelqu’un qui comprend réellement le problème à définir la fonction de récompense
Il existe beaucoup d’excellents langages de programmation pour définir des solutions, mais je me demande où sont les langages permettant de définir clairement les problèmes