Dario Amodei affirme que la perception des modèles V3 et R1 de DeepSeek est exagérée.
Les trois dynamiques du développement de l’IA (Three Dynamics of AI Development)
-
Scaling laws : toutes choses égales par ailleurs, les performances des systèmes d’IA augmentent avec l’échelle. Par exemple, un modèle à 1 million de dollars réussit 20 % des tâches de code, un modèle à 10 millions de dollars 40 %, et un modèle à 100 millions de dollars 60 %.
-
Shifting the curve : la courbe coût-performance se déplace grâce à l’architecture des modèles ou à une meilleure efficacité de calcul. Une petite innovation apporte environ 1,2x d’efficacité en coût, une innovation moyenne 2x, et une grande innovation 10x. Cependant, même quand l’efficacité en coût augmente, les entreprises ne réduisent pas les coûts d’entraînement et réinvestissent plutôt pour créer des modèles plus performants. L’accumulation de ces innovations entraîne actuellement une progression d’environ 4x par an.
-
Shifting the paradigm : jusqu’en 2023, la principale cible du scaling était les pretrained model entraînés sur d’immenses volumes de données issues d’Internet. Mais à partir de 2024, en commençant par o1, le reinforcement learning a commencé à être utilisé. Cette méthode consiste à partir d’un pretrained model généraliste, puis à lui ajouter une étape de reinforcement learning. Depuis 2024, le scaling de cette étape de reinforcement learning a commencé, mais comme on en est encore aux débuts, un investissement relativement limité peut encore produire de gros gains de performance.
Les modèles DeepSeek
DeepSeek a publié il y a un mois le pretrained model DeepSeek-V3, puis la semaine dernière R1, qui y ajoute une étape de reinforcement learning. DeepSeek-V3 s’est approché des performances SOTA tout en améliorant fortement l’efficacité du modèle.
- Cependant, les rumeurs selon lesquelles DeepSeek aurait atteint des performances équivalentes à celles de modèles américains coûtant des milliards de dollars avec seulement 6 millions de dollars sont exagérées. Claude Sonnet 3.5 a coûté des dizaines de millions de dollars à entraîner et a été entraîné il y a un an.
- Si l’on prend en compte le fait que l’efficacité d’entraînement augmente d’environ 4x par an, et que les performances de V3 n’atteignent pas le niveau SOTA (soit un écart d’environ 2x sur la courbe des coûts), le fait que V3 ait été entraîné pour un coût environ 8x inférieur ne sort pas de la tendance actuelle du progrès. Les entreprises américaines atteindront bientôt ce niveau d’efficacité par leurs propres moyens.
- Le vrai point notable est qu’un modèle suivant cette tendance soit apparu en Chine.
- DeepSeek dispose de 50 000 puces de génération Hopper. En tenant compte du fait que cela représente environ 1/2 à 1/3 du niveau des entreprises américaines, l’écart de coût avec celles-ci n’est pas si important.
- Sur le plan de l’ingénierie, R1 est moins intéressant que V3. Comme nous sommes encore au début de la courbe du reinforcement learning, R1 a pu afficher des performances de niveau o1 à faible coût. À mesure que le scaling du reinforcement learning progressera, ce type de cas deviendra plus rare.
Contrôles à l’exportation
- Les laboratoires américains et chinois investissent des sommes massives pour développer une IA puissante, et cela continuera jusqu’à la création de modèles dépassant presque tous les humains dans presque tous les domaines. Cela est estimé pour 2026-2027.
- À ce moment-là, le monde pourrait être complètement divisé différemment selon les contrôles à l’exportation.
- Si la Chine sécurise plusieurs millions de puces, le monde deviendra bipolaire, avec les États-Unis et la Chine développant chacun des modèles d’IA puissants et innovant technologiquement.
- Si la Chine ne sécurise pas plusieurs millions de puces, le monde deviendra unipolaire, avec seulement les États-Unis et leurs alliés disposant de modèles puissants. Comme l’IA accélère aussi le progrès de l’IA, cette tendance pourrait se maintenir pendant un certain temps.
- Les résultats de DeepSeek ne signifient pas que les contrôles à l’exportation ont échoué. L’entreprise avait déjà sécurisé suffisamment de puces avant leur mise en place.
Amodei a également nié la rumeur selon laquelle Sonnet 3.5 serait une version distillée d’un modèle supérieur non public (comme 3.5 Opus).
3 commentaires
Le problème, c’est qu’un modèle soit apparu en Chine ?
Le vrai problème, c’est sans doute que ce soit un modèle ouvert…
J’attends avec impatience l’arrivée de l’AGI, tout en la redoutant.
C’est un peu particulier que ce soit Anthropic qui dise ça… hmm
Cela fait déjà plusieurs mois qu’il n’y a eu aucune nouvelle de modèle, donc on commence doucement à entendre ici et là des remarques du genre : mais qu’est-ce qu’Anthropic est en train de faire ?