Terence Tao : un article refusé par une revue

• Même le mathématicien de renommée mondiale Terence Tao s’est déjà vu refuser un article au motif qu’il ne correspondait pas à la revue, et il a globalement accepté ce jugement avant de le soumettre à nouveau à une revue qui lui semblait plus appropriée
• Pour Tao aussi, le refus d’un article n’est pas une exception rare mais quelque chose qui lui arrive en moyenne une à deux fois par an, et ses étudiants comme ses collègues sont souvent surpris d’apprendre que son taux de refus n’est pas nul
• Dans le monde académique, les cas de publication acceptée ou de démonstration réussie sont bien plus visibles, ce qui peut donner l’impression que les échecs ordinaires n’arrivent qu’à soi
• Par le passé, il y a même eu un cas où un article presque abouti avec une epsilon loss, puis l’article de démonstration complète publié ensuite, ont tous deux été refusés par la même revue très réputée pour des raisons différentes
• Plutôt que de prendre un refus de revue comme une évaluation personnelle, il est plus pratique de corriger l’article en tenant compte des remarques issues de l’évaluation, puis de l’envoyer à une autre revue

---

Ce refus et la nouvelle soumission

• Terence Tao a rendu public le fait qu’un des articles qu’il avait soumis avait été refusé par une revue
• La lettre de la revue expliquait poliment que l’article était intéressant, mais qu’il ne correspondait pas bien à cette revue
• Tao s’est dit globalement d’accord avec cette conclusion, et a soumis à nouveau l’article à une autre revue qu’il espère plus adaptée

Des échecs ordinaires peu visibles dans le monde académique

• Pour Tao, le refus d’un article est quelque chose d’assez courant, qui se produit en moyenne une ou deux fois par an
• Il en a déjà parlé de temps en temps à ses étudiants et collègues, et certains sont surpris de constater que son taux de refus n’est pas de 0
• Dans le monde académique, les réussites sont bien plus partagées que les échecs
  • un article est accepté pour publication
  • un résultat est démontré
• À l’inverse, les échecs non controversés circulent peu
  • un article est refusé
  • une tentative de démonstration ne fonctionne pas
• À cause de ce biais de visibilité, on peut avoir l’impression que les autres ne vivent que des succès ou des situations controversées, tandis que sa propre carrière semble remplie d’échecs ordinaires
• Tao estime que cette structure peut être l’une des causes du syndrome de l’imposteur (impostor syndrome) largement répandu dans ce milieu
  • il note toutefois que le syndrome de l’imposteur lui-même peut aussi être peu partagé en raison du biais de visibilité et de la stigmatisation
• Le fait de rendre public ce refus relève surtout d’un petit geste en faveur d’une représentation plus fidèle de la réalité

Le paradoxe créé par epsilon loss et epsilon improvement

• Tao explique que certains refus passés sont devenus rétrospectivement des cas presque comiques
• Avec un co-auteur, il avait presque résolu une conjecture
  • ils avaient établi un résultat avec une epsilon loss sur le paramètre clé
  • l’article a été soumis à une revue très réputée, mais refusé au motif qu’il ne résolvait pas entièrement la conjecture
  • il a ensuite été envoyé à une autre revue, qui l’a accepté
• L’année suivante, ils ont démontré complètement la même conjecture, sans epsilon loss
  • ils l’ont de nouveau soumis à cette revue très réputée, mais cette fois il a été refusé au motif qu’il ne représentait qu’une epsilon improvement par rapport à la littérature existante
  • cet article aussi a ensuite été soumis à une autre revue et accepté
• Tao a par la suite également publié des articles dans cette revue sélective

Le refus vu du point de vue d’un éditeur

• Tao explique qu’en tant qu’éditeur lui aussi, il a déjà dû refuser de bonnes soumissions pour diverses raisons
• Selon lui, il vaut mieux ne pas prendre ce type de refus de manière personnelle
• Mieux vaut réviser l’article en tenant compte des points soulevés dans le refus, puis l’envoyer à une autre revue

Processus d’évaluation et conflits d’intérêts

• Lorsqu’un commentaire a demandé s’il pouvait s’agir d’un « refus de représailles », Tao a répondu que cela ne lui était jamais arrivé
• Dans le processus de soumission à une revue, il est difficile qu’une réaction émotionnelle à chaud joue un grand rôle
  • plusieurs mois s’écoulent entre les rapports d’évaluation
  • plusieurs semaines s’écoulent entre les discussions du comité éditorial
  • l’essentiel du travail se fait par e-mail et sur les plateformes éditoriales, au moment où les éditeurs trouvent le temps de s’en occuper
• Lorsqu’un éditeur ou un évaluateur entretient avec l’auteur une relation personnelle ou professionnelle susceptible de nuire à son objectivité, le fait de se récuser (recuse) n’a rien de rare
• Pour des raisons similaires, il est généralement préférable pour un auteur de ne pas soumettre à un éditeur qui est un ami proche ou un collègue professionnel
  • cet éditeur pourrait devoir se récuser et transmettre l’article à un autre éditeur

Le syndrome de l’imposteur vécu par Tao

• Tao a aussi répondu qu’il avait lui-même connu le syndrome de l’imposteur à plusieurs reprises
• Il a notamment ressenti cela lorsqu’il a présidé un comité chargé de produire un rapport sur un sujet important, lié à ses centres d’intérêt, mais dans un domaine où il n’avait pas l’expérience nécessaire pour parler avec autorité
• Il a alors constaté que les autres membres du comité avaient bien plus d’expérience que lui
• Il en est ensuite venu à comprendre que le rôle du président n’était pas de produire directement la majeure partie du contenu, mais de créer l’environnement et la structure permettant aux autres membres de proposer volontiers leurs réflexions et leurs idées

Comment il compense en entrant dans un nouveau domaine des mathématiques

• Tao dit ressentir quelque chose de similaire lorsqu’il entre dans un nouveau sous-domaine des mathématiques
• C’est particulièrement le cas dans des domaines fortement liés à l’algebra ou à la topology, qu’il décrit comme ayant toujours été ses domaines les plus faibles en mathématiques
• Il compense l’expertise nécessaire de plusieurs façons
  • il arrive souvent qu’un co-auteur apporte l’expertise dans le domaine concerné
  • ce type de collaboration constitue pour lui une expérience d’apprentissage très précieuse
  • il lui arrive aussi de demander les bases à de vieux amis remontant à l’époque de ses études doctorales
• Il considère que Wikipedia, MathOverflow et, plus récemment, les grands modèles de langage, sont assez utiles pour obtenir des informations de contexte
  • la bonne notation d’un concept
  • les raisons pour lesquelles il est étudié
  • les références standards sur le sujet
• Mais ces ressources ne sont qu’un point de départ, pas une réponse finale, et les informations doivent être vérifiées de manière aussi indépendante que possible

[GN⁺]

Commentaires sur Hacker News

• En 2005, j’ai publié un article qui cassait RSA en observant une seule opération de clé privée depuis un autre hyperthread partageant le même cache L1 ; il a été refusé par une archive de prépublications en cryptographie au motif que « c’est un sujet d’architecture CPU, pas de cryptographie »
  C’était littéralement la première publication sur une attaque cryptographique exploitant un cache partagé, et les refus de revues ressemblent aux refus de capital-risque : ça arrive tout le temps et il n’y a pas toujours une bonne raison
  Cet article n’a jamais été publié dans une revue, mais il compte tout de même 971 citations d’après Google Scholar

  • Cette revue y a perdu. S’il avait été publié chez elle, son indice h et sa réputation auraient bien augmenté
  • Le temps est un meilleur évaluateur que n’importe qui dans n’importe quelle revue
  • Est-il sur arXiv ? Sinon, j’aimerais qu’il y soit déposé

• Le titre prêtait à confusion parce que les refus d’articles sont extrêmement courants dans la recherche, mais c’est justement le point central, et l’un des objectifs est de réduire le syndrome de l’imposteur
  Je trouve que c’est une bonne initiative. L’étape suivante pourrait être que tout le monde réalise que les chercheurs sont, au fond, des gens ordinaires comme les autres. Peut-être que cela ferait disparaître le reste du syndrome de l’imposteur
  Cela dit, pendant un doctorat, même si les refus sont fréquents, ils restent assez difficiles à vivre. On s’attend à ce que vous publiiez plusieurs articles, si possible dans des revues prestigieuses, en peu de temps ; un refus vous ralentit, et vous avez l’impression que le temps continue de filer. Ce serait bien de pouvoir réduire au moins une partie de ce système nocif

  • Si cela attire l’attention, c’est parce que le billet vient de Terence Tao. Beaucoup le considèrent comme le plus grand mathématicien vivant
    Si l’on lit l’article en entier, il dit la même chose. Même Terence Tao essuie des refus d’articles : c’est courant et normal, donc il ne faut pas prendre un refus comme la fin du monde
  • C’est particulièrement important que quelqu’un comme Terence Tao le dise. Si l’un des plus grands mathématiciens peut se faire refuser un article, cela peut littéralement arriver à n’importe qui
  • C’est bon de savoir qu’il n’est pas parfait, mais ses réalisations écrasent toujours les miennes, donc mon syndrome de l’imposteur reste intact
  • Je ne suis pas d’accord avec l’idée que les chercheurs sont « comme les autres ». Ce sont des personnes qui ont affûté pendant plus de dix ans leurs compétences et leurs connaissances dans un domaine, au point de devenir expertes d’un sous-domaine, parfois d’un domaine entier
    Dans ce contexte, ce ne sont absolument pas des personnes ordinaires prises au hasard
  • Terence Tao souffrirait du syndrome de l’imposteur ? Ce ne serait pas plutôt le syndrome de l’imposteur qui souffre de Terence Tao ? Vous ne savez peut-être pas qui est Terence Tao ?

• Adam Grant a un jour raconté un refus assez drôle en évaluation en double aveugle. L’un des relecteurs avait justifié le refus en écrivant quelque chose comme : « l’auteur ferait bien de se familiariser avec les travaux d’Adam Grant »

  • La réalité imite l’art. Dans la comédie Back to School de 1986, le personnage de Rodney Dangerfield confie ses devoirs universitaires à des experts de chaque domaine
    Son professeur de littérature anglaise le réprimande en lui disant qu’il a non seulement clairement triché, mais qu’il a aussi copié l’essai de quelqu’un qui ne connaît rien à l’œuvre de Kurt Vonnegut. Bien sûr, cet essai avait été écrit par Vonnegut lui-même, qui apparaît en caméo
  • Pour préciser d’emblée, je ne sais pas suffisamment si ce cas s’applique aussi aux mathématiques
    On entend souvent ce genre d’histoire, mais c’est bien un phénomène réel. Des chercheurs seniors célèbres font parfois attention à ne pas trop citer leurs propres travaux, ou sont tellement familiers de leurs recherches qu’ils ne les intègrent pas suffisamment dans la revue de littérature
    Pour les autres personnes du domaine, il va de soi que les travaux de la figure célèbre X devraient occuper une part importante de la revue de littérature, et que la nouvelle étude devrait expliciter comment elle prolonge les travaux antérieurs de X qui ont changé de paradigme
    Pour diverses raisons, on peut ne pas réussir à décrire ses propres travaux passés à destination d’un lectorat particulier, et beaucoup de chercheurs seniors le font effectivement souvent. Le texte peut alors devenir indiscernable de celui d’un doctorant et être refusé
  • Ce genre de chose est assez courant. Et ce n’est pas forcément irrationnel. Quand on rédige un article, il arrive de ne pas suffisamment contextualiser ses propres travaux connexes
  • En tant que relecteur, j’ai déjà commis une erreur similaire. Le manuscrit initial de l’auteur semblait contredire un ancien article, mais il me manquait une partie du contexte
  • Pour jouer l’avocat du diable, la mémoire humaine n’est pas parfaite et les gens se trompent. Adam Grant aurait peut-être dû relire ses propres travaux antérieurs pour se rafraîchir la mémoire
    Même si ce n’était pas faux, il est aussi possible qu’il ait cru avoir publié quelque chose qu’il avait en réalité omis
    En tant que développeur, si vous avez déjà vu du code atroce, vous êtes énervé en cherchant qui a écrit ce monstre, puis vous vous rendez compte que c’était vous, c’est exactement ce genre de sensation

• C’est rafraîchissant quand des chercheurs rendent publics leurs échecs. La science est faite de résultats négatifs, d’erreurs et de refus, mais elle est généralement présentée de manière bien plus irréaliste
  Certains le connaissent peut-être déjà, mais voici le lien vers le Journal of Negative Results : https://www.jnr-eeb.org/index.php/jnr

• Le fait que Terence Tao se fasse encore refuser des articles par des revues de mathématiques est assez surprenant. Mais je lui suis reconnaissant de le partager, et entendre ce genre d’histoire de sa part peut aider les jeunes scientifiques à être moins découragés par les refus
  J’ai eu la chance de faire un postdoc avec l’une des personnes les plus connues de mon domaine, et j’ai été choqué de voir à quel point le prestige du nom changeait les choses
  Quand nous le mettions comme auteur correspondant, nos articles n’ont jamais été refusés par les meilleures revues. Sans ce nom, je suis assez sûr que les éditeurs auraient rejeté mon travail en disant que le sujet n’était pas fondamentalement assez intéressant. Le simple fait qu’une personnalité célèbre s’intéresse à quelque chose peut suffire à en faire un sujet à fort impact

  • Si même Terence Tao se fait refuser par des revues de mathématiques, cela veut au moins dire qu’il y a des moments où le système fonctionne à peu près correctement
  • N’est-ce pas peut-être parce qu’il avait d’abord relu l’article et l’avait rendu prêt à être publié ? Ou penses-tu vraiment que c’était uniquement l’effet du prestige du nom, et que sans lui il n’aurait pas été accepté ?

• Le maître a échoué plus souvent que le débutant n’a essayé

• « Les refus sont en fait relativement fréquents pour moi, en moyenne une ou deux fois par an »
  On dirait un surhumain qui essaie de compatir avec les gens ordinaires

• Un taux d’échec non nul peut souvent être optimal, car il fournit un retour utile pour trouver la plage optimale de plusieurs métriques, par exemple la vitesse, la qualité ou la plus petite unité publiable (LPU)
  Cela dit, compte tenu du travail que représentent la publication académique et l’évaluation, le taux de refus optimal devrait être assez faible. Autrement dit, il faudrait des méthodes moins coûteuses pour filtrer les articles en amont. À l’inverse, les relecteurs peuvent aussi tirer de la valeur des articles refusés
  [1] least publishable unit

• Si vous restez longtemps en physique, il vous arrivera tôt ou tard de soumettre un article à Physical Review Letters, limité à environ 4 pages, de vous le faire refuser au motif qu’il « n’est pas d’un intérêt assez général », puis de le soumettre à nouveau dans une autre section de The Physical Review et de le voir accepté
  Ces temps-ci, je lis beaucoup d’articles d’informatique sous l’angle de la résolution de problèmes, et personnellement je trouve souvent les articles courts globalement inutiles. Par exemple, je paie 30 dollars pour un article de 4 pages censé proposer une bonne fonction de classement pour la reconnaissance d’entités nommées, et en réalité la formule n’est pas une bonne fonction de classement

• Bien sûr, même les mathématiciens de tout premier plan se font refuser des articles
  Mais le point le plus important, c’est que très peu de personnes peuvent soumettre des articles aux revues de mathématiques les plus prestigieuses