Quitter Meta et PyTorch

• Soumith Chintala, qui dirigeait PyTorch depuis environ 8 ans, a annoncé quitter Meta et PyTorch après 11 ans dans l’entreprise
• PyTorch prend désormais en charge l’apprentissage à l’échelle exascale et a accompli un large éventail de résultats, notamment l’exploitation de modèles de base et son utilisation dans l’enseignement à travers le monde
• Il estime que PyTorch a atteint une maturité suffisante pour fonctionner de manière indépendante et se dit confiant dans la stabilité de l’équipe de succession
• Il exprime sa gratitude et ses réflexions rétrospectives sur la collaboration avec ses collègues depuis l’époque de FAIR, la culture open source et la croissance de la communauté d’utilisateurs
• À titre personnel, il prévoit de lancer un petit projet en dehors de Meta pour relever de nouveaux défis

---

Adieu à Meta et à PyTorch

• Après 11 ans chez Meta et environ 8 ans à la tête de PyTorch, il a permis d’atteindre un taux d’adoption de plus de 90 % dans l’industrie de l’IA
  • PyTorch prend désormais en charge l’apprentissage à l’échelle exascale et fait tourner des modèles de base qui redéfinissent l’intelligence
  • Il est utilisé dans l’enseignement, du MIT jusqu’aux zones rurales de l’Inde, et l’objectif d’amélioration de l’accessibilité est presque atteint
• Il souligne que, malgré la rapidité des progrès de l’IA et la nécessité pour PyTorch de continuer à évoluer, le projet a déjà accompli énormément
• Il remercie tous ceux qui ont cru à la force de l’open source et à une culture de recherche joyeuse
• Il aurait pu rejoindre un autre poste en interne chez Meta, mais a choisi de partir à l’extérieur par goût du défi et curiosité
• Il conclut son texte par le message « Rendons l’IA savoureuse et accessible » et affirme son intention de continuer à participer à la communauté

La stabilité future de PyTorch

• Il n’a jamais voulu rester indéfiniment à la tête de PyTorch et s’était fixé pour objectif de partir alors que le projet est dans un état stable
  • Il a commencé à préparer son départ fin 2024 et, en août 2025, il était convaincu que l’équipe pouvait fonctionner de manière autonome
• Des personnes clés comme Edward, Suo, Alban, Greg, John, Joe et Jana résolvent de façon autonome les problèmes produit et organisationnels
• Il met en avant la résilience de l’organisation, en s’appuyant sur la cohérence du récit produit lors de la PyTorch Conference et sur l’amélioration des problèmes passés
• Greg, Alban, Ed, Jason et Joe perpétuent les valeurs et la culture de PyTorch, et de nombreuses autres personnes partagent cet alignement de valeurs
• Il mentionne en détail les compétences techniques et l’expérience de collaboration de John, Suo et Jana, exprimant sa confiance dans la pérennité de l’équipe

Son passage chez Meta

• Il se souvient des débuts de FAIR comme d’une « période magique », durant laquelle il a participé à divers projets, dont la recherche sur les GAN, un bot Starcraft, la construction du cluster FAIR, la détection d’objets et le développement de PyTorch
• Il considère la période 2015-2016 comme la plus productive et la plus agréable
• Il mentionne l’aide déterminante apportée par le mentorat d’Andrew Tulloch à ses débuts dans l’entreprise

Le parcours de développement de PyTorch

• Il a participé directement à toutes les étapes de PyTorch — conception, gestion, documentation, déploiement — et l’a vu devenir un produit porté par des centaines de personnes
• Il remercie les ingénieurs, chercheurs, contributeurs open source, rédacteurs de documentation et partenaires hardware, chez Meta comme en dehors
• Il cite de nombreuses figures clés, dont Adam Paszke, Sam Gross, Greg Chanan, Joe Spisak, Alban Desmaison et Edward Yang
• Il se souvient d’un étudiant en master qui, à NeurIPS 2017, lui avait raconté avoir pu terminer sa recherche grâce à PyTorch, ce qui lui a fait prendre la mesure de l’impact sur les utilisateurs
• La PyTorch Conference est passée d’une réunion familiale d’environ 300 personnes à un événement industriel de 3 000 participants, et il exprime sa fierté face à cette influence élargie

Remerciements

• Il explique que FAIR et PyTorch ont été rendus possibles grâce au soutien de Mark Zuckerberg et Mike Schroepfer à la stratégie open source
• Il remercie Yann LeCun et Rob Fergus pour la mise en place initiale de FAIR
• Il fait l’éloge du leadership technique et de la capacité d’exécution d’Aparna Ramani
• Il mentionne l’accueil et la coopération de l’équipe infrastructure, notamment Santosh, Kaushik, Delia, Oldham et Ben
• Il remercie également des managers comme Serkan, Howard, Jerome, Abhijit, Yoram, Joelle, Aparna et Damien

Mot de la fin

• Il insiste sur le fait que « ce n’était pas mon parcours, mais notre parcours », soulignant l’ampleur de l’accomplissement collectif
• Il indique qu’il va désormais essayer de faire « des choses petites, nouvelles et inconfortables »
• Il laisse à la communauté PyTorch un message d’encouragement : « Continuez à rendre l’IA savoureuse et simple »

[GN⁺]

Discussion sur Hacker News

• Beaucoup de commentaires semblent juger PyTorch a posteriori. Mais quand Soumith Chintala a co-créé PyTorch, il n’existait pratiquement pas d’environnement de développement rapide et interactif. JAX n’existait même pas.
  À l’époque, tous les chercheurs qui essayaient PyTorch voulaient passer dessus immédiatement, tellement c’était meilleur. Andrej Karpathy avait même écrit dans un tweet en 2017 : « J’utilise PyTorch depuis quelques mois et ça a changé ma vie » (lien vers le tweet).
  Merci à Soumith pour ses années d’engagement sans faille, et bonne chance pour la suite de son parcours

  • Chainer avait déjà introduit le modèle define-by-run. C’était un framework développé par une petite entreprise japonaise, et les premières versions de PyTorch reconnaissaient explicitement avoir été fortement influencées par Chainer
  • PyTorch s’est inspiré de la bibliothèque Python Autograd vers 2015. D’ailleurs, le système de différentiation automatique de PyTorch s’appelait lui aussi autograd. JAX est le successeur direct d’Autograd, et certains de ses développeurs travaillent encore aujourd’hui dans l’équipe JAX. Adam Paszke, co-auteur de PyTorch, participe lui aussi actuellement aux projets JAX et Dex (historique d’Autograd, archive de présentation de PyTorch)

• Je fais partie des personnes recrutées directement par Soumith chez Meta et PyTorch pour travailler avec lui.
  Soumith a toujours considéré PyTorch comme un projet centré sur la communauté. Il célébrait les contributions de chacun, non seulement celles des co-créateurs Adam et Sam, mais aussi lors de l’intégration avec l’équipe Caffe2.
  Dès le départ, PyTorch a été conçu comme un framework ouvert pour la communauté de recherche, et Soumith a constamment encouragé de nouvelles personnes et organisations à y participer au fil de sa croissance.
  C’était un véritable aimant à talents, et grâce à lui d’innombrables personnes brillantes ont investi leur passion pour faire avancer PyTorch.
  Même maintenant qu’il s’en va, PyTorch a atteint un niveau de maturité qui lui permet de très bien se tenir debout tout seul. C’est précisément à cela que ressemble le succès de l’open source

  • J’ai aussi travaillé avec Soumith, et c’est vraiment une figure légendaire. Un leader capable de provoquer d’immenses changements tout en restant humble, peu politique et en faisant grandir les gens autour de lui. Je lui souhaite sincèrement le meilleur

• Ce qui est intéressant ici, c’est que cela ressemble à un signal montrant que Meta ne possède pas d’actifs propriétaires liés à l’IA.
  Cela rappelle un peu le mythe selon lequel la recherche militaire serait très en avance sur la réalité.
  Au final, on dirait que les laboratoires IA des big tech répètent eux aussi des choses pas si différentes, sans technologie secrète particulière

  • C’est sans doute une interprétation excessive. Soumith a travaillé 11 ans chez Meta et a probablement déjà reçu une solide rémunération en actions. Il a aussi eu un enfant récemment, et l’équilibre vie pro-vie perso chez Meta n’est pas réputé bon.
    De plus, Meta est récemment en train de se recentrer sur les LLM, ce qui réduit le rôle historique de PyTorch. Vu sous cet angle, cela ressemble simplement à un moment naturel pour changer de poste
  • Les technologies militaires sont souvent en réalité en retard sur le civil. Le secret freine la collaboration, et les facteurs politiques rendent l’ensemble plus inefficace
  • Le départ de Soumith ne semble pas lié à l’originalité de l’IA de Meta. C’est simplement le moment où il a eu envie de changement.
    Même face aux discours actuels sur l’arrivée imminente de l’« AGI », les développeurs en interne ne paraissent pas particulièrement surexcités. Le retour de Karpathy vers l’enseignement ou la création de startup par Mira Murati vont dans le même sens
  • Il a simplement dit vouloir se concentrer sur de petites choses. On ne sait même pas si son nouveau projet sera lié à l’IA
  • Quiconque a déjà manipulé du matériel militaire le sait : ce qu’on appelle la « technologie militaire de pointe » est souvent surtout de la vieille technologie éprouvée assemblée avec des composants bon marché. Comme les Raspberry Pi utilisés dans des drones russes, la réalité est souvent étonnamment banale

• La passion de Soumith était contagieuse. J’avais expérimenté avec Lua Torch après avoir lu l’article sur DCGAN, et cela fonctionnait bien même sur le petit jeu de données Oxford flowers.
  Soumith avait été suffisamment impressionné pour partager le résultat sur les réseaux sociaux.
  À l’époque, PyTorch et Lua Torch étaient bien plus faciles à utiliser que TensorFlow, et le code avait une structure facile à bidouiller, ce qui permettait aux chercheurs d’expérimenter librement

  • Un commentaire demandait ce qu’était le jeu de données Oxford flowers et où le trouver

• Parmi les propos de Soumith, la phrase « quelque chose de petit et de nouveau, quelque chose que je ne comprends pas encore complètement, quelque chose d’inconfortable » a marqué les esprits.
  Il aurait pu faire autre chose chez Meta, mais il a choisi de suivre cette curiosité qui l’obligeait à sortir. On dirait presque « Siddhartha retournant dans la forêt »

  • Je suis d’accord avec l’expression de « l’ombre de Siddhartha », mais en même temps c’est aussi quelqu’un qui cherche simplement à prendre du recul après avoir travaillé dans une mégacorp aux effets sociaux considérables

• En tant qu’utilisateur de JAX, je respecte le succès de PyTorch. Après les erreurs de TensorFlow 1, PyTorch a dominé l’écosystème de l’IA.
  J’espère que Matt Johnson sera un jour autant salué que Soumith pour avoir fait évoluer Autograd vers JAX

  • Un commentaire demandait pourquoi TensorFlow était considéré comme un échec
  • Un autre demandait aussi s’il y avait une expérience concrète avec JAX et PyTorch, et pourquoi JAX était préféré
  • JAX est excellent, mais il y a une inquiétude autour de l’instabilité des projets chez Google. Il existe toujours un risque qu’il soit remplacé du jour au lendemain par une version incompatible façon JAX 2.0

• La bibliothèque sous-jacente de Torch est elle aussi un outil vraiment agréable à utiliser. En Rust, il existe des bindings comme tch et Burn, qui s’intègrent bien avec libtorch.
  L’un des grands avantages de PyTorch est la possibilité de faire du débogage dynamique. On pouvait interrompre un modèle directement dans le terminal et inspecter son état interne, et cette expérience me manque encore

  • Cela m’a aussi conduit à écrire beaucoup de code affreux à l’époque, mais c’était vraiment une époque glorieuse

• Sa phrase disant que « toutes les grandes entreprises de l’IA et tous les fournisseurs de matériel pouvaient le contacter, mais qu’au final la curiosité l’a emporté » m’a marqué.
  J’espère qu’il construira encore une fois un nouvel outil puissant

  • Quand la curiosité disparaît, tout s’effondre. Je connais bien ce sentiment.
    J’ai moi aussi traversé une période où j’ai dû faire pendant longtemps un travail vide de sens pour gagner ma vie, alors je l’envie un peu de pouvoir prendre une telle décision

• La phrase disant que « PyTorch est enseigné du MIT jusqu’à des salles de classe rurales en Inde » m’a marqué.
  Cela donne presque l’impression que certaines salles de classe en Inde sont peut-être meilleures en accessibilité pédagogique et en pratique que les écoles d’ingénieurs d’élite américaines

  • Les « écoles d’ingénieurs d’élite » américaines sont en réalité souvent valorisées surtout pour leur statut social et leurs résultats en recherche, alors que la qualité de l’enseignement peut être médiocre
  • À l’inverse, l’enseignement traditionnel en Inde est critiqué pour son apprentissage par cœur et son obsession des examens. Certains faisaient remarquer que les écoles d’ingénieurs américaines ne sont pas parfaites, mais que les problèmes du système éducatif indien restent eux aussi bien réels

• En tant qu’utilisateur quotidien de PyTorch, je tiens à adresser mes remerciements sincères à Soumith et à l’équipe.
  Grâce à cet outil, j’ai pu expérimenter directement des idées que je n’aurais auparavant fait qu’imaginer.
  PyTorch a occupé une grande place dans ma vie, et je lui souhaite toute la réussite possible pour la suite