1. Investir dans des projets, pas seulement dans des articles
- Au début d’une carrière de recherche, publier des articles est important, mais à long terme, l’impact de la recherche et la vision d’ensemble comptent davantage que le nombre de publications
- Il faut penser la recherche non pas comme une suite d’articles isolés, mais comme une grande vision ou un paradigme
- Il est important de maintenir des artefacts cohérents comme des modèles open source, des systèmes, des frameworks et des benchmarks
2. Choisir au bon moment des problèmes à grande échelle et à fort « effet de diffusion »
- Le problème doit être opportun. Par exemple, il est préférable de trouver un sujet qui deviendra « hot » dans 2 à 3 ans
- Il doit avoir un grand « effet de diffusion », capable d’influencer de nombreux problèmes dérivés
- Il faut choisir un problème offrant une grande marge de progression. Par exemple, il doit y avoir l’espoir qu’avec le temps on puisse le rendre 20 fois plus rapide ou 30 % plus efficace
3. Penser deux étapes à l’avance et itérer rapidement
- Plutôt que de chercher une solution immédiate, il faut penser deux étapes à l’avance
- Il faut identifier la trajectoire que la plupart des gens sont susceptibles d’emprunter, puis en comprendre les limites et se concentrer sur leur résolution
- Il est important d’itérer rapidement sur différentes versions du problème et de recueillir des retours
4. Rendre son travail public et populariser ses idées
- Après avoir publié un article, il ne faut pas passer immédiatement au suivant, mais rendre son travail public et communiquer activement avec les autres
- Il faut publier l’article sur arXiv et annoncer sa sortie dans un thread, en commençant par des affirmations concrètes et accessibles
- Même après la publication, il faut continuer à promouvoir ses idées et à échanger avec la communauté
- Les idées et la communication scientifique doivent se poursuivre toute l’année, au-delà d’une publication isolée
5. Susciter l’intérêt et faire grandir la recherche open source
- Mettre simplement du code et un README sur GitHub ne suffit pas
- Une bonne recherche open source doit être à la fois une bonne recherche et offrir une utilité aval claire avec peu de friction
- Il faut proposer des releases de code utilisables, utiles et accessibles
- Il faut expliquer pourquoi les alternatives évidentes échouent et faire preuve de patience
- Il faut comprendre les différentes catégories d’utilisateurs et faire évoluer le projet en conséquence
- Il est important de transformer l’intérêt en communauté, puis de la structurer et de la faire croître
6. Continuer à investir dans le projet à travers de nouveaux articles
- Les projets open source et la recherche ne sont pas séparés
- Une grande partie du temps investi dans l’open source peut consister à mener de nouvelles recherches intéressantes
- Être à la frontière des efforts open source permet d’identifier très tôt et intuitivement de nouveaux problèmes, ainsi que d’obtenir des collaborateurs et des retours
- Par exemple, ColBERT et DSPy ont évolué grâce à plusieurs articles et collaborateurs
- La communauté construite fournit un retour direct sur l’approche et donne accès à d’excellents collaborateurs qui comprennent l’importance du problème
Le résumé de GN⁺
- Cet article explique comment maximiser son impact en recherche en IA grâce à des projets open source
- Il souligne que la grande vision et des projets cohérents sont plus importants que le nombre d’articles
- Il décrit l’importance de choisir des problèmes opportuns, de penser deux étapes à l’avance, de rendre son travail public et de faire croître des projets open source
- Il insiste sur le fait que la recherche et les projets open source ne sont pas séparés, mais peuvent se compléter et progresser ensemble
3 commentaires
Donc, de nos jours, la recherche en IA ne se fait plus à l’université mais dans la big tech.
Les géants de la tech publient désormais plus d’articles de pointe que les écoles doctorales. Quel monde étonnant..
Il arrive aussi assez souvent qu’on recrute carrément des étudiants de master ou doctorat pour quelques mois de stage, afin de faire de la recherche ensemble et de publier des articles.
Commentaires sur Hacker News
Le conseil « investir dans les projets, pas dans les articles » n’est pas réaliste pour les doctorants ou les chercheurs en début de carrière
Pour mener avec succès un programme de recherche, il est important de choisir des problèmes au bon moment et de faire largement connaître ses idées
Pour les chercheurs en IA, choisir un sujet utile dans les 1 à 2 ans peut être une raison de partir vers l’industrie
Il est difficile de mesurer l’impact réel d’un article sur le monde
Le conseil « investir dans les projets, pas dans les articles » signifie qu’un bon projet donne naissance à un bon article
Les articles en IA comptent souvent de nombreux auteurs, et les recherches réellement influentes sont rares
Aux premières étapes de la recherche, de petites améliorations peuvent avoir un grand impact
Il est important de rendre les résultats de recherche facilement accessibles, mais il est aussi nécessaire de ne pas tout rendre public
Le « hype » fait aussi partie de la recherche
Ce conseil peut s’appliquer non seulement à la recherche académique, mais aussi aux startups