Fait intéressant, Karpathy et Sutskever ont désormais tous deux quitté OpenAI.
OpenAI semble maintenant tourner autour de Sam Altman et Greg Brockman.
Parmi les quatre, Karpathy et Sutskever étaient les plus impressionnants, et j’espère qu’ils accompliront encore de grandes choses.
Les six meilleurs scientifiques sont partis depuis longtemps, et OpenAI est désormais une entreprise dirigée par des gens du marketing, du business, du logiciel et de la mise en produit.
Quand la prochaine vague d’innovations en deep learning déferlera sur le monde, Microsoft récupérera probablement ce qu’il en restera.
Ils gagneront beaucoup d’argent, mais s’ils ne remplacent pas ce qu’ils ont perdu, ils ne semblent pas avoir d’avenir.
Karpathy reste une figure majeure du machine learning/de l’IA, et l’une des rares personnes qu’il vaut encore la peine de suivre régulièrement sur Twitter/X.
Je pense aussi que Dario n’est pas assez reconnu.
J’aime vraiment beaucoup Karpathy.
C’est une sorte de savant polymathe classique, et un enseignant.
Cela dit, Jakub Pachocki est toujours chez OpenAI.
Le scénario que j’imagine, c’est qu’ils ont passé outre l’opposition de l’équipe sécurité pour sortir le nouveau modèle avant Google IO.
Le soi-disant superalignment semble disparaître ainsi.
Ilya, Jan Leike, William Saunders et Leopold Aschenbrenner sont tous partis.
C’est la personne qui a écrit “Bad universal priors and notions of optimality”, et qui a fait au programme MIRI de Hutter quelque chose de comparable à ce que Gödel a fait au programme de Hilbert.
Chaque fois que je marche autour de l’Université de Toronto, je repense souvent à Ilya, il y a environ dix ans, dans le labo à côté d’Alex, en train d’essayer de comprendre quelque chose.
C’est incroyable de se dire que cette nouvelle vague de l’IA a commencé là.
Ilya, Karpathy, Jimmy Ba et beaucoup d’autres étaient là au moment précis où Hinton s’y trouvait.
À l’époque, l’Université de Toronto était vraiment incroyable.
Une version du minage de bitcoin sur GPU est aussi sortie de ce groupe.
Vers 2014, Ethereum est également né dans les environs, et je me souviens des premières réunions Ethereum près de Queen et Spadina, avec Vitalik.
Mais comme quelqu’un d’autre l’a dit, malgré la présence du père du deep learning Geoffrey Hinton et de personnes comme Ilya et Vitalik, nous n’en avons tiré presque aucun bénéfice concret.
Pourtant, aucun d’entre eux n’a créé de société d’IA à Toronto.
En tant que Canadien, je trouve décevant que nous soyons aussi inefficaces pour bâtir des entreprises prospères.
Après cette tentative d’éviction, cela semblait presque inévitable, et il devait probablement être en train de régler les détails de son départ.
Mais dès le lendemain de l’annonce de nouvelles fonctionnalités ?
« Si tu mènes la prochaine fonctionnalité majeure jusqu’à son lancement, on te laissera partir dans de bonnes conditions » faisait peut-être partie de l’accord précédent.
Vu qu’il a dit en interview que, pour passer au niveau de compréhension suivant, il fallait un apprentissage multimodal de bout en bout, je pense qu’Omni était son travail.
Il y réfléchissait probablement depuis un moment, et quand l’attention portée à lui a augmenté avec le lancement, on lui a peut-être demandé de trancher.
C’est peut-être un coup habile.
Autour de Google IO, l’actualité d’OpenAI est venue s’intercaler et a capté une partie de l’attention destinée à Google ; et comme ils venaient de faire une grosse annonce, l’impact de la mauvaise nouvelle est aussi un peu atténué.
Si l’annonce du départ arrive après celle des nouvelles fonctionnalités, les gens y prêtent relativement moins attention qu’à un autre moment.
Je viens seulement d’apprendre que Jakub Pachocki était meret [1].
Je n’avais pas du tout fait le lien.
[1] https://codeforces.com/profile/meret
C’est le destin courant des idéalistes qui créent quelque chose d’extraordinaire avant d’être abandonnés par la direction dans des luttes de pouvoir.
Combien de fois cela s’est-il répété ?
Combien de fois ? Mais c’est la base du modèle économique le plus réussi de l’humanité.
Certains ne sont peut-être pas abandonnés, mais face à des ignorants et à un dirigeant clueless au sourire à un million de dollars, entouré de gens avec des portefeuilles à un milliard, ils n’obtiennent jamais la reconnaissance qu’ils méritent.
Nous devrions tout de même remercier Dieu ou la nature que, dans notre espèce, il existe des gens capables de comprendre et de créer quelque chose.
Les personnes nécessaires à une révolution et celles nécessaires après la révolution ne sont pas les mêmes.
« Faire en sorte que l’IA générale profite à tous » est le nouveau Don’t Be Evil.
« Nous voulons mettre l’IA entre vos mains. »
Pour la garder ?
Non ! Pourquoi diable avez-vous pensé ça, bande de méchants…
OpenAI, ça veut dire tendre les mains derrière d’épais gants en caoutchouc et du plexiglas pour mendier une dose d’IA de plus.
Je ne comprends pas pourquoi les changements d’emploi des techniciens sont traités comme des changements d’effectif dans une équipe de sport de Major League.
Ces influenceurs dont on ne cite que le nom sont-ils intelligents ? Bien sûr.
Mais l’intelligence n’est pas si rare.
Ces personnes sont des techniciens comme la plupart des gens ici, et elles ont surtout eu de la chance dans l’orientation de leur carrière et leur spécialisation, plutôt que d’être spécialement plus intelligentes.
Ce ne sont pas des génies des affaires, seulement des personnes occupant des rôles.
Les changements de leadership affectent-ils l’entreprise ? Dans une certaine mesure, oui, mais probablement à hauteur d’environ 5 % de ce que laisserait penser le battage people autour des figures de l’IA.
Ça suffit maintenant.
Regardons la technologie, regardons le travail réel.
Le nombre de personnes affectées professionnellement par le changement d’employeur de ces gens est bien plus proche de 0 que de 50 %.
Non, ce sont des personnes qui définissent l’entreprise, et ce genre de poste est beaucoup moins remplaçable ; ce sont des rôles qu’ils ont eux-mêmes créés.
La prochaine destination sera-t-elle Meta ?
Beaucoup d’argent est investi dans l’IA, il y a énormément de ressources de calcul, et il semble qu’il pourrait y faire toutes les recherches qu’il veut.
Probablement pas.
La politique interne suffit à rendre fou la plupart des gens.
Il est impossible que le départ de personnes ayant consacré les dix dernières années à des travaux décisifs soit sans importance.
Ce serait une erreur de penser que leur chance continuera et que ces départs ne signalent pas le déclin d’OpenAI.
Il vaut peut-être mieux monétiser la réputation tant qu’elle a encore de la valeur.
Il me semble plus probable que ce soient d’autres équipes qui ouvrent de nouvelles voies.
1 commentaires
Avis sur Hacker News
Fait intéressant, Karpathy et Sutskever ont désormais tous deux quitté OpenAI.
OpenAI semble maintenant tourner autour de Sam Altman et Greg Brockman.
Parmi les quatre, Karpathy et Sutskever étaient les plus impressionnants, et j’espère qu’ils accompliront encore de grandes choses.
Quand la prochaine vague d’innovations en deep learning déferlera sur le monde, Microsoft récupérera probablement ce qu’il en restera.
Ils gagneront beaucoup d’argent, mais s’ils ne remplacent pas ce qu’ils ont perdu, ils ne semblent pas avoir d’avenir.
C’est une sorte de savant polymathe classique, et un enseignant.
Jan Leike a aussi annoncé son départ https://twitter.com/janleike/status/1790603862132596961
Ilya, Jan Leike, William Saunders et Leopold Aschenbrenner sont tous partis.
Chaque fois que je marche autour de l’Université de Toronto, je repense souvent à Ilya, il y a environ dix ans, dans le labo à côté d’Alex, en train d’essayer de comprendre quelque chose.
C’est incroyable de se dire que cette nouvelle vague de l’IA a commencé là.
Ilya, Karpathy, Jimmy Ba et beaucoup d’autres étaient là au moment précis où Hinton s’y trouvait.
Une version du minage de bitcoin sur GPU est aussi sortie de ce groupe.
Vers 2014, Ethereum est également né dans les environs, et je me souviens des premières réunions Ethereum près de Queen et Spadina, avec Vitalik.
Mais comme quelqu’un d’autre l’a dit, malgré la présence du père du deep learning Geoffrey Hinton et de personnes comme Ilya et Vitalik, nous n’en avons tiré presque aucun bénéfice concret.
En tant que Canadien, je trouve décevant que nous soyons aussi inefficaces pour bâtir des entreprises prospères.
Après cette tentative d’éviction, cela semblait presque inévitable, et il devait probablement être en train de régler les détails de son départ.
Mais dès le lendemain de l’annonce de nouvelles fonctionnalités ?
Autour de Google IO, l’actualité d’OpenAI est venue s’intercaler et a capté une partie de l’attention destinée à Google ; et comme ils venaient de faire une grosse annonce, l’impact de la mauvaise nouvelle est aussi un peu atténué.
Jakub Pachocki est impressionnant.
Il figurait dans le top 20 des olympiades polonaises d’algorithmique.
https://oi.edu.pl/contestants/Jakub%20Pachocki/
Je n’avais pas du tout fait le lien.
[1] https://codeforces.com/profile/meret
C’est le destin courant des idéalistes qui créent quelque chose d’extraordinaire avant d’être abandonnés par la direction dans des luttes de pouvoir.
Combien de fois cela s’est-il répété ?
Certains ne sont peut-être pas abandonnés, mais face à des ignorants et à un dirigeant clueless au sourire à un million de dollars, entouré de gens avec des portefeuilles à un milliard, ils n’obtiennent jamais la reconnaissance qu’ils méritent.
Nous devrions tout de même remercier Dieu ou la nature que, dans notre espèce, il existe des gens capables de comprendre et de créer quelque chose.
« Faire en sorte que l’IA générale profite à tous » est le nouveau Don’t Be Evil.
Pour la garder ?
Non ! Pourquoi diable avez-vous pensé ça, bande de méchants…
OpenAI, ça veut dire tendre les mains derrière d’épais gants en caoutchouc et du plexiglas pour mendier une dose d’IA de plus.
Je ne comprends pas pourquoi les changements d’emploi des techniciens sont traités comme des changements d’effectif dans une équipe de sport de Major League.
Ces influenceurs dont on ne cite que le nom sont-ils intelligents ? Bien sûr.
Mais l’intelligence n’est pas si rare.
Ces personnes sont des techniciens comme la plupart des gens ici, et elles ont surtout eu de la chance dans l’orientation de leur carrière et leur spécialisation, plutôt que d’être spécialement plus intelligentes.
Ce ne sont pas des génies des affaires, seulement des personnes occupant des rôles.
Les changements de leadership affectent-ils l’entreprise ? Dans une certaine mesure, oui, mais probablement à hauteur d’environ 5 % de ce que laisserait penser le battage people autour des figures de l’IA.
Ça suffit maintenant.
Regardons la technologie, regardons le travail réel.
Le nombre de personnes affectées professionnellement par le changement d’employeur de ces gens est bien plus proche de 0 que de 50 %.
La prochaine destination sera-t-elle Meta ?
Beaucoup d’argent est investi dans l’IA, il y a énormément de ressources de calcul, et il semble qu’il pourrait y faire toutes les recherches qu’il veut.
La politique interne suffit à rendre fou la plupart des gens.
Il est impossible que le départ de personnes ayant consacré les dix dernières années à des travaux décisifs soit sans importance.
Ce serait une erreur de penser que leur chance continuera et que ces départs ne signalent pas le déclin d’OpenAI.
Il vaut peut-être mieux monétiser la réputation tant qu’elle a encore de la valeur.
Il me semble plus probable que ce soient d’autres équipes qui ouvrent de nouvelles voies.