- Sam Altman, CEO d’OpenAI, affirme que la stratégie de recherche qui a donné naissance à ChatGPT n’est désormais plus vraiment valable et que de nouvelles idées sont nécessaires pour les futurs progrès de l’intelligence artificielle
- OpenAI a créé des modèles de langage comme GPT-4 en étendant les algorithmes existants de machine learning, mais l’entreprise estime qu’il sera difficile de progresser à l’avenir en se contentant d’augmenter encore la taille des modèles
- Le développement de GPT-4 aurait coûté plus de 100 millions de dollars, et l’extension des data centers est également contrainte par des limites physiques
- Orientations de la recherche en IA après GPT-4
- Nick Frosst, cofondateur de Cohere, partage lui aussi l’idée que l’augmentation de la seule taille des modèles atteint ses limites
- De nouvelles conceptions de modèles (architectures) et l’ajustement fin via le feedback humain pourraient devenir des pistes de recherche prometteuses
- Évolution de la série GPT
- Présenté en 2019, GPT-2 était déjà un grand modèle avec 1,5 milliard de paramètres
- En 2020, GPT-3 a vu sa taille fortement augmenter avec 175 milliards de paramètres, ce qui a poussé d’autres entreprises et laboratoires à lancer le développement de modèles de taille comparable
- La taille exacte de GPT-4 n’a pas été rendue publique, mais on suppose que, au-delà du simple changement d’échelle, des techniques comme l’apprentissage par renforcement à partir de feedback humain ont aussi été utilisées
- Impact social et controverses liés à l’arrivée de GPT-4
- Les capacités impressionnantes de GPT-4 ont surpris les experts et alimentent les craintes qu’une IA puisse transformer l’économie et faire disparaître des emplois
- Certains experts et entrepreneurs, dont Elon Musk, ont publié une lettre ouverte demandant une pause de six mois dans le développement d’IA plus puissantes que GPT-4
- Sam Altman a déclaré qu’OpenAI ne développe pas actuellement GPT-5 et ne prévoit pas de le faire dans l’immédiat
L’avis de GN⁺
- Le développement de grands modèles de langage comme GPT-4 exige des coûts énormes et d’importantes ressources de calcul, ce qui rend leur extension continue difficile à soutenir dans la pratique. Comme le souligne Sam Altman, il semble donc nécessaire d’explorer de nouvelles directions de recherche
- Diverses techniques visant à améliorer les performances des modèles, comme l’apprentissage par renforcement à partir de feedback humain, font déjà l’objet de recherches. L’évolution de l’IA devrait donc passer non par la seule augmentation de taille, mais par une innovation au niveau même des algorithmes
- L’arrivée de modèles d’IA puissants comme GPT-4 devrait entraîner de profonds changements dans l’ensemble de la société. En parallèle du développement technologique, des efforts seront aussi nécessaires pour construire un consensus social sur les questions éthiques et juridiques qui en découlent
- Alors que les progrès rapides de l’IA suscitent des inquiétudes quant à des effets négatifs comme le remplacement d’emplois, ils ouvrent aussi des opportunités en matière de création de nouveaux métiers et de gains de productivité ; il faudra donc chercher des réponses dans une perspective de long terme
- Il semble difficile pour les petites et moyennes startups de rester compétitives dans la course aux grands modèles d’IA. Elles devront probablement explorer de nouveaux modèles économiques, comme l’innovation sur des domaines spécialisés ou la fourniture de plateformes de développement
2 commentaires
C’est un article d’interview de l’an dernier, en avril. Comme il date d’il y a déjà un an, pas mal d’éléments ne correspondent plus vraiment.
En lisant le résumé, je me suis demandé de quand datait cette histoire, et en fait c’était un article d’il y a un an haha