- Le projet d’IA de nouvelle génération d’OpenAI, GPT-5 (nom de code Orion), prend du retard et engendre des coûts massifs
- GPT-5 vise une avancée majeure de la technologie qui a rendu ChatGPT possible, mais ses chances de succès et son calendrier restent incertains
- Microsoft, principal investisseur, espérait une présentation mi-2024, mais plusieurs problèmes sont apparus lors des tests internes d’OpenAI
État du projet et coûts
- GPT-5 a déjà suivi deux entraînements à grande échelle, chacun ayant coûté plusieurs centaines de millions de dollars
- Il n’atteint pas les performances attendues et ses résultats actuels ne sont que légèrement supérieurs à ceux de GPT-4
- Le CEO d’OpenAI, Sam Altman, souligne que GPT-5 apportera une avancée décisive
Données d’entraînement et problèmes techniques
- L’entraînement des LLM nécessite d’énormes volumes de données, mais l’Internet manque désormais de données de haute qualité en quantité suffisante
- OpenAI a adopté une méthode consistant à générer directement des données, notamment via la résolution de problèmes mathématiques et l’écriture de code logiciel
- Des données synthétiques (données générées par l’IA) sont également utilisées, mais leur production interne comporte un risque d’erreurs et de résultats incohérents
Problèmes internes et pression concurrentielle
- Les tensions internes chez OpenAI s’accentuent, tandis que les concurrents multiplient les tentatives de débauchage
- Plus de 24 personnes clés ont quitté l’entreprise, dont le cofondateur Ilya Sutskever et la CTO Mira Murati
- Les concurrents Anthropic et Google ont lancé de meilleurs LLM, ce qui intensifie la compétition
Nouvelle approche : les modèles de raisonnement
- OpenAI développe de nouveaux modèles de raisonnement pour améliorer les performances des LLM
- L’entreprise reconnaît les limites de l’approche traditionnelle consistant simplement à augmenter la quantité de données
- Le modèle o1 génère plusieurs réponses à une même question, puis les analyse pour sélectionner la meilleure
- Il peut résoudre des problèmes complexes, expliquer son processus de réponse et apprendre
Compromis entre coût et performance
- Les modèles fondés sur le raisonnement améliorent les performances par rapport aux méthodes classiques, mais au prix d’un coût élevé
- Comme ils doivent générer plusieurs réponses pour une seule question, le coût de calcul augmente
- Les chercheurs tentent de combiner les modèles de raisonnement avec l’approche classique centrée sur les données afin de poser les bases de GPT-5
Défis industriels et pénurie de données
- Le secteur de l’IA fait face de plus en plus à la pénurie de données et à ses limites
- À l’image de la métaphore selon laquelle les données sont le « combustible fossile de l’IA », il devient difficile d’obtenir davantage de données de haute qualité
- Si le développement de GPT-5 s’arrête, la progression de l’IA pourrait aussi stagner
Conclusion
- OpenAI rencontre des difficultés sur le projet Orion en raison de problèmes techniques, financiers et de ressources humaines
- L’entreprise explore la possibilité que les nouveaux modèles de raisonnement constituent une nouvelle percée pour les avancées en IA
- Toutefois, la sortie d’un modèle pouvant réellement être reconnu comme GPT-5 reste incertaine
7 commentaires
Comme les entreprises pétrochimiques raffinent le pétrole en essence, gazole, etc.,
il pourrait aussi exister un modèle économique où des entreprises de raffinage de données nettoient joliment des données brutes.
Par exemple, raffiner les fichiers Excel et PowerPoint de procédures opératoires standard qui s’accumulent en interne pour les utiliser dans le fine-tuning de GPT ?
On dirait que c’était un mur annoncé,
mais je me dis aussi que ce serait intéressant de bifurquer vers une direction où il prend conscience de lui-même et réfléchit par lui-même.
Parler d’un retard de développement alors qu’il n’y a pas vraiment de feuille de route ni de critères clairement établis, c’est probablement aussi simplement une fuite d’informations à visée marketing.
o1 n’est pas un modèle basé sur MCTS ou la recherche, mais un modèle qui étend le CoT via le RL.
Il génère plusieurs réponses —> sur ce point, il ne s’agit pas de générer plusieurs réponses en parallèle puis d’en choisir une,
mais, comme vous l’avez dit, de générer les réponses séquentiellement via le CoT jusqu’à estimer qu’une réponse a été trouvée, afin d’obtenir la meilleure réponse possible.
Je me demande si cela n’a pas été mal traduit au cours du processus de traduction ; je ne peux pas en être certain car il est difficile de vérifier le texte original..
Le journaliste semble en tout cas avoir compris cela comme une méthode consistant à générer plusieurs réponses puis à en choisir une.
Avis sur Hacker News
À mesure que le coût d’entraînement des modèles augmente, le temps nécessaire à leur apprentissage s’allonge aussi. Si les petits modèles peuvent innover plus vite, c’est parce que leur boucle de rétroaction est plus courte
Les explications sur le développement de GPT-4 chez OpenAI ne suffisent pas à rendre l’article crédible
Il est mentionné que les LLMs ont atteint une limite où ils ne peuvent plus progresser simplement en augmentant les données et la puissance de calcul. De nouvelles idées sont nécessaires, et les financements pour cela sont largement disponibles
Le niveau actuel des LLM serait bien plus utile s’il pouvait fournir des indicateurs de fiabilité prudents. Il faudrait des sorties du type « je ne sais pas » ou « je ne suis pas certain, mais... »
Plus important que la prochaine sortie d’OpenAI, il y a le fait que l’industrie du logiciel intègre cette technologie pour en concrétiser la valeur
Ce que l’on peut déduire de propos d’initiés, c’est qu’ils visent une amélioration d’un facteur 10 grâce au scaling, aux données et aux changements algorithmiques. Les sources de données publiques sont presque épuisées, tandis que les changements algorithmiques continuent d’apporter des améliorations régulières via la recherche
GPT-5 n’a pas vu son calendrier retardé ; il serait déjà sorti il y a six mois sous la forme de GPT-4o. Comme il n’était pas assez révolutionnaire pour être nommé 5, il a peut-être été rebrandé au dernier moment
Il est mentionné que le journalisme technologique exagère, et que malgré la sortie de o3, des articles critiques continuent de paraître
o1-Pro est subjectivement bien supérieur à GPT-4, et o3 est considéré comme encore meilleur. Cela suggère que la technologie progresse rapidement
Le monde est en train de découvrir comment cette technologie peut fonctionner de manière appropriée, et parler d’un calendrier retardé relève presque de la comédie