J’ai récemment candidaté à une promo YC avec l’idée de faire agir l’IA de manière proactive au lieu de simplement réagir, et auparavant j’avais publié un article sur l’auto-amélioration récursive aligné sur les données d’Epoch AI
J’ai contacté un professeur d’université britannique qui menait des recherches similaires, et nous avons discuté pendant environ une heure de nos hypothèses et méthodes différentes, ainsi que de nos résultats qui se recoupaient
Même un étudiant de licence en physique peut, en faisant de la recherche indépendante et en échangeant avec des experts, entrer en contact avec des personnes qu’il aurait autrement eu du mal à rencontrer ; pour les jeunes, la recherche est donc un bon moyen de se constituer un réseau, quel que soit le projet entrepreneurial dans lequel ils se lancent
C’est aussi pour cela que les grands labos arrêtent de publier des articles. Publier a surtout de la valeur quand on n’a pas d’autre moyen d’attirer l’attention d’inconnus brillants, mais quand on peut recruter n’importe qui et que tout le monde répond au téléphone, cela revient surtout à montrer aux concurrents ce qui marche
Cela arrive chaque fois que la science devient une industrie. Les chimistes publiaient eux aussi librement, puis quand les colorants sont devenus lucratifs, les recherches intéressantes ont migré vers les laboratoires d’entreprise et ont cessé d’être rendues publiques
LinkedIn devrait être ce type de plateforme de mise en relation pour les experts, et c’est triste de voir que l’endroit est maintenant rempli d’appâts à engagement et de gens qui jouent aux entrepreneurs
Que l’on ait commencé par la recherche ou non, se rendre visible et parler avec d’autres personnes est fondamentalement important pour sa carrière et son développement personnel
J’aimerais en savoir plus sur ce que signifie concrètement l’IA proactive dont il est question ici
L’auto-amélioration récursive me semble être le début de la fin
J’ai effectivement travaillé dans deux startups ayant mené des recherches fondamentales inédites à l’échelle mondiale. La première a passé trois ans à essayer de faire publier de nouveaux résultats dans une revue de premier rang, puis les a finalement diffusés en preprint en renonçant à la revue
La seconde, où je travaille actuellement, ne publie rien à cause de cette expérience, et veut aussi éviter qu’OpenAI ou Anthropic copient ses résultats et rendent six mois de travail inutiles. Les articles ne sont fournis qu’avec les documents de présentation aux investisseurs
Il n’y a presque aucun avantage pour une startup à publier de la recherche de pointe, et c’est difficile à défendre. Cela peut servir de vitrine pour une entreprise qui ne prend pas de risque, mais pour une startup c’est problématique
Je me demande si le but même de publier de la recherche n’est pas justement de permettre à d’autres de la reproduire
À moins d’être universitaire avec un poste permanent ou dépendant de financements, on peut sauter l’étape de la revue et publier directement son article. L’essentiel est de partager la recherche
Je me demande si c’est bien le phénomène décrit dans l’article, à savoir que les startups IA publient leurs découvertes sur un blog plutôt que dans des revues. Peut-être que les revues sont devenues trop lentes, trop rigides et trop prédatrices pour être encore utiles dans ce secteur
Pour soumettre un article à une conférence de tout premier plan en informatique, il faut employer un langage d’initiés et un formalisme difficilement accessibles à quelqu’un qui n’a pas fait de doctorat dans un domaine très étroit
Paradoxalement, les LLM s’en sortent plutôt bien là-dedans, si bien qu’un très bon article écrit par un outsider a moins de chances d’être bien évalué qu’un mauvais article généré par une IA
La blogification de la recherche en IA fait apparaître et circuler toutes sortes d’affirmations et de termes comme sur les réseaux sociaux, et ce n’est pas sain
Dans un environnement gamifié, il suffit d’accoler quelques chiffres obtenus en lançant diverses expériences pour étayer à peu près n’importe quoi, et on se dirige rapidement vers une situation où presque personne ne se demande si cela a réellement du sens. Ces déchets deviennent ensuite les données d’entraînement du modèle suivant, qui produit à son tour des modèles et des blogs ou articles, dans un cercle vicieux comparable à lâcher des termites dans une bibliothèque
Nous avons déjà atteint ce stade il y a 10 ans, peut-être même bien avant. La différence, c’est qu’il y a maintenant beaucoup plus de gens qui participent au jeu sans la formation sociale qui permettait de le rendre supportable
Cela dit, ce n’est pas entièrement négatif ; les périodes où de nouveaux participants arrivent sans cesse sont agaçantes, mais une fois qu’elles sont passées, elles finissent parfois par manquer
Je me demande si, au fond, la seule différence avec la publication académique traditionnelle n’est pas la vitesse
Le texte traite les entreprises mentionnées dans l’article de manière ambiguë. En citations cumulées, OpenAI arrive en tête, suivi de MEGVII, Hugging Face, Waymo, Momenta, Preferred Networks, Anthropic, Owkin, Databricks et Aibee
Il précise qu’il s’agit du nombre de citations et non du nombre de publications, et que cela a été utilisé comme indicateur indirect d’importance, bien qu’imparfait. Des entreprises comme Google ont été exclues car ce ne sont pas des startups licornes
Je comprends que les chercheurs doivent publier pour remplir leurs objectifs et conserver leur poste. À moins qu’OpenAI ou Anthropic ne paient suffisamment pour faire renoncer à une carrière de recherche, ils continueront donc à publier ; il est difficile d’y voir la preuve d’une quelconque bonne volonté de l’entreprise
Google a publié beaucoup de recherches, et je me demande toujours pourquoi ils ont ouvert en particulier les travaux sur les Transformers et l’Attention. Au départ, c’était peut-être destiné à la traduction, ou bien même les chercheurs n’avaient pas perçu leur véritable potentiel
Je pensais que Databricks était une entreprise d’hébergement de Spark ; je me demande pourquoi elle est classée parmi les grandes startups IA
L’article ne semble pas réellement indiquer quelles sont les entreprises qui ne publient pas d’articles. OpenAI, Anthropic et Hugging Face sont au contraire explicitement citées comme des entreprises qui publient, donc quand on lit “grandes startups IA”, il ne faut pas penser immédiatement à OpenAI et Anthropic
L’article ne répond pas vraiment à la question que tout le monde se pose en voyant le titre. OpenAI est numéro 1 en citations, mais les articles anciens et influents accumulent les citations, et il y a aussi eu une époque où OpenAI était plus ouverte
Même après le changement de cap sous Altman, on ne sait pas si l’entreprise contribue encore aujourd’hui, et les articles postérieurs à 2025 sont explicitement exclus, ce qui rend difficile d’évaluer l’accessibilité des recherches de pointe les plus récentes, pourtant au cœur du sujet. Le dépôt est ici : https://github.com/q5loisel/unicorn-AI-startup-publications
Être une entreprise d’IA ne fait pas automatiquement d’elle une entreprise de recherche. La plupart des startups créées ces dernières années utilisent des modèles conçus ailleurs à des fins commerciales, donc il n’y a pas de raison particulière d’attendre d’elles des articles scientifiques
Au contraire, si 50 % des startups contribuent à la recherche publique, c’est un résultat bien meilleur que prévu
On finance la science avec de l’argent public précisément parce qu’on ne peut pas compter uniquement sur les incitations du marché libre. Les entreprises n’ont presque aucune raison de partager des informations avec leurs concurrentes
Si le deuxième plus gros acteur s’appelle OpenAI, on s’attend quand même dans une certaine mesure à ce qu’il publie des articles
Un bon article analysant l’industrie au sens large explique aussi pourquoi les travaux antérieurs donnaient l’impression qu’il devenait de plus en plus difficile de trouver de bonnes idées
Contrairement au phénomène de stagnation de la croissance de la production malgré l’augmentation du nombre de chercheurs aux États-Unis, le suivi des brevets d’entreprises américaines sur 45 ans montre que le nombre moyen de brevets par unité d’investissement en R&D a augmenté, et que l’élasticité des brevets par rapport aux investissements s’est maintenue ou a progressé. Il existe une relation positive constante entre l’augmentation des brevets, c’est-à-dire des idées, et la productivité du travail, mais le taux de croissance des entreprises baisse lorsqu’on contrôle l’augmentation des idées. Autrement dit, la conclusion est que le rôle de l’activité d’innovation dans le soutien à la croissance ne s’est pas affaibli au cours des 40 dernières années https://faculty.tuck.dartmouth.edu/uploads/teresaFort/files/...
Il est ironique de penser que si Google n’avait pas publié Attention Is All You Need, aucune des startups IA actuelles n’existerait probablement
En regardant https://research.google/pubs/distilling-the-knowledge-in-a-n... de 2015, il se pourrait que cette ironie soit encore en train de se déployer
Google a peut-être jugé qu’une course aux armements indépendante sur les modèles de pointe était économiquement irrationnelle, tout en considérant cette capacité comme stratégiquement indispensable. La stratégie de long terme pourrait être de ne construire les plus grands modèles que dans la mesure nécessaire pour s’en servir comme usines de production de capacités, puis de transformer cette intelligence en un bien plus grand nombre de modèles spécialisés et bon marché
Si Google le savait, la raison pour laquelle il n’en a pas fait une arme secrète dès le départ est peut-être qu’il avait prévu la course aux armements et savait aussi comment en tirer profit. Le fait que l’article sur la distillation soit antérieur à celui sur les Transformers suggère que ce n’est peut-être pas une ironie, mais un résultat naturel
Même Google ne serait pas là où il est aujourd’hui sans recherche publique. Comme pour la science des radiations avant la Seconde Guerre mondiale, les résultats sont publiés librement tant que leur potentiel de transformation du monde n’est pas reconnu, mais une fois le sujet devenu un enjeu pour les gouvernements, même les chercheurs sans lien avec l’armement commencent à cacher leurs résultats
Les auteurs de cet article travaillent aujourd’hui tous dans des entreprises d’IA autres que Google
Cet article aussi s’appuyait sur plusieurs idées déjà très proches. C’est une grande découverte, mais comme beaucoup d’autres, elle repose sur les épaules de géants
Toute l’industrie de l’IA a été bâtie sur la recherche ouverte, mais la vague actuelle va à l’encontre de cela et semble guidée par la cupidité, sous prétexte de course aux armements
Il faudrait de nouvelles politiques ESG reconnaissant le rôle de la recherche ouverte, mais dans le climat sombre actuel, l’ESG comme les autres normes semblent tous avoir été relégués au second plan
Une part importante de la valeur de l’industrie informatique a été créée parce que des gens intelligents ont coopéré et ont choisi de divulguer leurs méthodes au lieu de monopoliser la valeur des premières découvertes. Ce phénomène a précédé l’actuelle vague IA d’environ un demi-siècle
Dans mon cas toutefois, c’est tout l’inverse de la cupidité. Si l’on veut partager le fonctionnement, les résultats de résolution de problèmes ou des contenus pédagogiques, il suffit de les publier directement, mais le faire dans le cadre d’institutions approuvées par le monde académique est épuisant et dispersif
Ici, la “publication de recherche” ne désigne pas la mise en ligne d’une page HTML et de code source, mais une procédure de communication très particulière et politique. Elle n’a de sens qu’à certains stades de carrière où la compétition de réputation est nécessaire, et elle a aussi un aspect proche du culte du cargo, imitant la véritable méthode scientifique
Il existe aussi beaucoup d’excellente recherche financée par des fonds publics, mais Attention Is All You Need et plusieurs articles clés d’OpenAI ont été produits grâce à des financements privés, et en matière de recherche OpenAI est n°1 en nombre de citations. Les présupposés sur la recherche ouverte pourraient ne pas correspondre aux preuves
Certaines entreprises partagent leurs recherches, mais ce ne sont généralement pas des entreprises américaines, par exemple https://arxiv.org/abs/2607.24653. DeepMind, Nvidia et Thinking Machines font exception
Le processus de publication avec évaluation par les pairs est lourd, ne maximise pas l’efficacité de la transmission des connaissances, et ressemble davantage à une certification de titres et d’autorité qu’à de la communication, les bénéfices de réputation allant d’ailleurs plus aux individus qu’aux entreprises
Les publications de type blog contiennent beaucoup de déchets non vérifiés, mais la recherche évaluée par les pairs contient elle aussi beaucoup de résultats de faible qualité, si bien que le ratio signal/bruit est mauvais depuis des décennies, quelle que soit la source du savoir
Lorsqu’une bonne recherche est publiée, les concurrents peuvent l’exploiter de multiples façons, et il est en pratique quasiment impossible de faire valoir la propriété intellectuelle, ce qui en fait un centre de coût pur. Dans certains domaines de l’informatique, l’état de l’art est resté enfoui pendant des décennies comme secret commercial, au point que la littérature académique a pris un retard embarrassant
Publier demande du temps et de l’argent, mais les chercheurs veulent résoudre des problèmes intéressants et les entreprises cherchent à maximiser l’utilité de la recherche, donc la publication n’aide vraiment ni l’un ni l’autre. Une grande partie de la recherche fondamentale vise elle aussi à résoudre des problèmes plutôt qu’à produire des articles, et une fois le problème résolu, on passe au suivant
Les considérations de sécurité nationale accompagnent toujours la recherche de pointe. Tout cela est le résultat de structures d’incitation, et une part importante de la recherche fondamentale n’a plus lieu dans le monde académique. J’ai moi-même apprécié des programmes de recherche non publics, et des travaux fondamentaux intéressants que j’ai réalisés ne valaient pas la peine d’être publiés, parce que le but n’était pas la réputation, mais les problèmes à résoudre
1 commentaires
Avis sur Hacker News
J’ai récemment candidaté à une promo YC avec l’idée de faire agir l’IA de manière proactive au lieu de simplement réagir, et auparavant j’avais publié un article sur l’auto-amélioration récursive aligné sur les données d’Epoch AI
J’ai contacté un professeur d’université britannique qui menait des recherches similaires, et nous avons discuté pendant environ une heure de nos hypothèses et méthodes différentes, ainsi que de nos résultats qui se recoupaient
Même un étudiant de licence en physique peut, en faisant de la recherche indépendante et en échangeant avec des experts, entrer en contact avec des personnes qu’il aurait autrement eu du mal à rencontrer ; pour les jeunes, la recherche est donc un bon moyen de se constituer un réseau, quel que soit le projet entrepreneurial dans lequel ils se lancent
Cela arrive chaque fois que la science devient une industrie. Les chimistes publiaient eux aussi librement, puis quand les colorants sont devenus lucratifs, les recherches intéressantes ont migré vers les laboratoires d’entreprise et ont cessé d’être rendues publiques
J’ai effectivement travaillé dans deux startups ayant mené des recherches fondamentales inédites à l’échelle mondiale. La première a passé trois ans à essayer de faire publier de nouveaux résultats dans une revue de premier rang, puis les a finalement diffusés en preprint en renonçant à la revue
La seconde, où je travaille actuellement, ne publie rien à cause de cette expérience, et veut aussi éviter qu’OpenAI ou Anthropic copient ses résultats et rendent six mois de travail inutiles. Les articles ne sont fournis qu’avec les documents de présentation aux investisseurs
Paradoxalement, les LLM s’en sortent plutôt bien là-dedans, si bien qu’un très bon article écrit par un outsider a moins de chances d’être bien évalué qu’un mauvais article généré par une IA
La blogification de la recherche en IA fait apparaître et circuler toutes sortes d’affirmations et de termes comme sur les réseaux sociaux, et ce n’est pas sain
Dans un environnement gamifié, il suffit d’accoler quelques chiffres obtenus en lançant diverses expériences pour étayer à peu près n’importe quoi, et on se dirige rapidement vers une situation où presque personne ne se demande si cela a réellement du sens. Ces déchets deviennent ensuite les données d’entraînement du modèle suivant, qui produit à son tour des modèles et des blogs ou articles, dans un cercle vicieux comparable à lâcher des termites dans une bibliothèque
Cela dit, ce n’est pas entièrement négatif ; les périodes où de nouveaux participants arrivent sans cesse sont agaçantes, mais une fois qu’elles sont passées, elles finissent parfois par manquer
Le texte traite les entreprises mentionnées dans l’article de manière ambiguë. En citations cumulées, OpenAI arrive en tête, suivi de MEGVII, Hugging Face, Waymo, Momenta, Preferred Networks, Anthropic, Owkin, Databricks et Aibee
Il précise qu’il s’agit du nombre de citations et non du nombre de publications, et que cela a été utilisé comme indicateur indirect d’importance, bien qu’imparfait. Des entreprises comme Google ont été exclues car ce ne sont pas des startups licornes
L’article ne semble pas réellement indiquer quelles sont les entreprises qui ne publient pas d’articles. OpenAI, Anthropic et Hugging Face sont au contraire explicitement citées comme des entreprises qui publient, donc quand on lit “grandes startups IA”, il ne faut pas penser immédiatement à OpenAI et Anthropic
Même après le changement de cap sous Altman, on ne sait pas si l’entreprise contribue encore aujourd’hui, et les articles postérieurs à 2025 sont explicitement exclus, ce qui rend difficile d’évaluer l’accessibilité des recherches de pointe les plus récentes, pourtant au cœur du sujet. Le dépôt est ici : https://github.com/q5loisel/unicorn-AI-startup-publications
Être une entreprise d’IA ne fait pas automatiquement d’elle une entreprise de recherche. La plupart des startups créées ces dernières années utilisent des modèles conçus ailleurs à des fins commerciales, donc il n’y a pas de raison particulière d’attendre d’elles des articles scientifiques
Au contraire, si 50 % des startups contribuent à la recherche publique, c’est un résultat bien meilleur que prévu
Un bon article analysant l’industrie au sens large explique aussi pourquoi les travaux antérieurs donnaient l’impression qu’il devenait de plus en plus difficile de trouver de bonnes idées
Contrairement au phénomène de stagnation de la croissance de la production malgré l’augmentation du nombre de chercheurs aux États-Unis, le suivi des brevets d’entreprises américaines sur 45 ans montre que le nombre moyen de brevets par unité d’investissement en R&D a augmenté, et que l’élasticité des brevets par rapport aux investissements s’est maintenue ou a progressé. Il existe une relation positive constante entre l’augmentation des brevets, c’est-à-dire des idées, et la productivité du travail, mais le taux de croissance des entreprises baisse lorsqu’on contrôle l’augmentation des idées. Autrement dit, la conclusion est que le rôle de l’activité d’innovation dans le soutien à la croissance ne s’est pas affaibli au cours des 40 dernières années
https://faculty.tuck.dartmouth.edu/uploads/teresaFort/files/...
Il est ironique de penser que si Google n’avait pas publié Attention Is All You Need, aucune des startups IA actuelles n’existerait probablement
Google a peut-être jugé qu’une course aux armements indépendante sur les modèles de pointe était économiquement irrationnelle, tout en considérant cette capacité comme stratégiquement indispensable. La stratégie de long terme pourrait être de ne construire les plus grands modèles que dans la mesure nécessaire pour s’en servir comme usines de production de capacités, puis de transformer cette intelligence en un bien plus grand nombre de modèles spécialisés et bon marché
Si Google le savait, la raison pour laquelle il n’en a pas fait une arme secrète dès le départ est peut-être qu’il avait prévu la course aux armements et savait aussi comment en tirer profit. Le fait que l’article sur la distillation soit antérieur à celui sur les Transformers suggère que ce n’est peut-être pas une ironie, mais un résultat naturel
Toute l’industrie de l’IA a été bâtie sur la recherche ouverte, mais la vague actuelle va à l’encontre de cela et semble guidée par la cupidité, sous prétexte de course aux armements
Il faudrait de nouvelles politiques ESG reconnaissant le rôle de la recherche ouverte, mais dans le climat sombre actuel, l’ESG comme les autres normes semblent tous avoir été relégués au second plan
Dans mon cas toutefois, c’est tout l’inverse de la cupidité. Si l’on veut partager le fonctionnement, les résultats de résolution de problèmes ou des contenus pédagogiques, il suffit de les publier directement, mais le faire dans le cadre d’institutions approuvées par le monde académique est épuisant et dispersif
Ici, la “publication de recherche” ne désigne pas la mise en ligne d’une page HTML et de code source, mais une procédure de communication très particulière et politique. Elle n’a de sens qu’à certains stades de carrière où la compétition de réputation est nécessaire, et elle a aussi un aspect proche du culte du cargo, imitant la véritable méthode scientifique
Le processus de publication avec évaluation par les pairs est lourd, ne maximise pas l’efficacité de la transmission des connaissances, et ressemble davantage à une certification de titres et d’autorité qu’à de la communication, les bénéfices de réputation allant d’ailleurs plus aux individus qu’aux entreprises
Les publications de type blog contiennent beaucoup de déchets non vérifiés, mais la recherche évaluée par les pairs contient elle aussi beaucoup de résultats de faible qualité, si bien que le ratio signal/bruit est mauvais depuis des décennies, quelle que soit la source du savoir
Lorsqu’une bonne recherche est publiée, les concurrents peuvent l’exploiter de multiples façons, et il est en pratique quasiment impossible de faire valoir la propriété intellectuelle, ce qui en fait un centre de coût pur. Dans certains domaines de l’informatique, l’état de l’art est resté enfoui pendant des décennies comme secret commercial, au point que la littérature académique a pris un retard embarrassant
Publier demande du temps et de l’argent, mais les chercheurs veulent résoudre des problèmes intéressants et les entreprises cherchent à maximiser l’utilité de la recherche, donc la publication n’aide vraiment ni l’un ni l’autre. Une grande partie de la recherche fondamentale vise elle aussi à résoudre des problèmes plutôt qu’à produire des articles, et une fois le problème résolu, on passe au suivant
Les considérations de sécurité nationale accompagnent toujours la recherche de pointe. Tout cela est le résultat de structures d’incitation, et une part importante de la recherche fondamentale n’a plus lieu dans le monde académique. J’ai moi-même apprécié des programmes de recherche non publics, et des travaux fondamentaux intéressants que j’ai réalisés ne valaient pas la peine d’être publiés, parce que le but n’était pas la réputation, mais les problèmes à résoudre