- Dans un système où les citations académiques influencent la réputation, les promotions, les salaires et les grands projets, des éléments montrent que le nouveau recteur de l’université de Salamanque, Juan Manuel Corchado, a accru son influence grâce à des citations réciproques organisées
- Des messages internes montrent des consignes visant à insérer des articles de Corchado et de ADCAIJ, la revue qu’il édite, dans des mémoires de master, projets de fin d’études, thèses, articles de revue et communications de conférence
- Certains articles comportaient des références sans lien avec leur sujet, si bien que la part de citations vers Corchado ou ADCAIJ atteignait 97 à 100 % ; un article sur la sécurité des réseaux de distribution électrique citait même des travaux sur le cancer de la vessie, le CO₂ marin et les marées noires
- Springer Nature a indiqué qu’il examinerait l’affaire, tandis qu’Elsevier a déjà rétracté une étude publiée en 2019 par Corchado et trois collaborateurs pour plagiat d’un mémoire de master
- Alors que le Research Ethics Committee espagnol a ouvert une enquête, des experts estiment que cette affaire met en lumière les failles du système d’évaluation des chercheurs et de la surveillance interne dans les universités
Des consignes de citation révélées par des messages internes
- Juan Manuel Corchado a été nommé recteur de l’université de Salamanque et s’était auparavant présenté comme le 4e chercheur en informatique d’Espagne et parmi les 247 premiers au monde
- Cette progression dans les classements aurait reposé sur un cartel de citations, c’est-à-dire un groupe de chercheurs se citant mutuellement dans leurs publications
- Des messages internes montrent que le groupe de Corchado donnait pour consigne de citer, dans chaque article, soit Corchado lui-même, soit Advances in Distributed Computing and Artificial Intelligence Journal (ADCAIJ), la revue qu’il édite
- Le 7 juin 2017, un assistant a demandé d’ajouter les 20 références à Corchado et 10 articles ADCAIJ contenus dans un document Word joint à des mémoires de master, projets de fin d’études et thèses
- La pièce jointe comprenait environ 50 articles de Corchado
- Le même assistant précisait qu’il joignait les références pour faciliter le « copier-coller »
- Le 26 juillet 2017, un autre assistant a transmis l’instruction de citer des articles de Corchado dans les prochaines publications en revue ou en conférence
- En tête de la liste jointe figurait un article de Corchado sur les marées noires
Des schémas anormaux répétés dans les bibliographies
- Le 9 janvier 2019, Roberto Casado Vara a publié un article sur la cybersécurité des réseaux de distribution électrique ; 29 de ses 31 références, soit 94 %, concernaient des articles de Corchado
- La bibliographie incluait des travaux sans rapport avec le sujet de l’article, sur le risque de cancer de la vessie, le CO₂ marin, les marées noires et les proliférations de microalgues
- Dans trois autres articles publiés le même jour par Casado Vara, 97 à 100 % des références étaient des citations de Corchado ou d’ADCAIJ
- Casado Vara avait eu Corchado comme directeur de thèse et, trois ans après sa soutenance, il a intégré en 2022 la liste des chercheurs les plus cités de Stanford University
- Une analyse de Scopus montre que des collaborateurs de Corchado l’ont cité près de 1 700 fois et ont mentionné ADCAIJ 520 fois dans 75 publications
- Une étude de Pedro Tomás Nevado-Batalla sur la modernisation de l’administration publique cite 42 articles de Corchado et 7 d’ADCAIJ
- 92 % des citations de cet article renvoyaient à Corchado ou à sa revue
- Nevado-Batalla a déclaré ignorer que ces références avaient été ajoutées à son travail et a indiqué qu’il demanderait des explications
Enquêtes des éditeurs et sur l’éthique de la recherche
- Les actes de conférence publiés par Springer auraient servi à Corchado de moyen pour insérer des blocs d’autocitations
- Chris Graf, directeur de la Research Integrity chez Springer Nature, a indiqué que l’affaire serait examinée « avec le plus grand soin »
- Il a ajouté que des mesures éditoriales seraient prises si l’enquête le justifiait
- Elsevier a déjà rétracté une étude publiée en 2019 par Corchado et trois collaborateurs
- Le motif de la rétractation est le plagiat d’un mémoire de master
- Après la publication de l’enquête par EL PAÍS, le ministère espagnol de la Science a annoncé que le Spanish Research Ethics Committee avait ouvert une enquête visant Corchado
- Par une déclaration anonyme diffusée sur les canaux officiels de l’université de Salamanque, Corchado a défendu son « honneur et son intégrité scientifique » et a invité à évaluer l’impact de ses publications dans Scopus et Web of Science
Soupçons de manipulation de comptes en ligne et de dépôts
- Outre l’ajout de milliers d’autocitations à ses publications et les demandes adressées aux membres de son groupe pour qu’ils le citent, Corchado aurait aussi bénéficié de faux comptes en ligne attribués à des scientifiques inexistants
- Sur ResearchGate, des comptes de chercheurs inexistants comme Devika Rout et Marcus Ress mentionnaient à répétition les travaux de Corchado
- Depuis mars, Corchado a supprimé en masse ces faux profils ainsi que des publications manifestement manipulées qu’il avait déposées dans le répertoire Gredos de l’université de Salamanque
- Lors d’un entretien téléphonique le 13 mars, Corchado a affirmé qu’il existait « 20 à 30 » faux comptes en ligne le citant
- Il a expliqué que ces comptes avaient été créés par d’anciens employés mécontents cherchant à lui nuire
- Il a également déclaré qu’« un jeune homme » les avait créés pour montrer qu’une manipulation de ResearchGate était possible
- Un porte-parole de ResearchGate a déclaré ne pas avoir connaissance d’une attaque informatique et a précisé que seuls les créateurs disposant du mot de passe pouvaient supprimer les profils
Réactions des experts et élection à l’université
- L’université de Salamanque a été fondée en 1218, et Domingo Docampo, ancien recteur de l’université de Vigo et spécialiste des cartels de citations, a estimé que Corchado n’aurait jamais dû briguer une telle fonction
- Selon lui, des publications sans contenu réel ont servi de vecteurs à une ferme à citations, dans une structure pyramidale dominée par une personne exerçant une influence sur les signataires des articles
- Alberto Ruano, de l’université de Saint-Jacques-de-Compostelle, a qualifié l’affaire de « cas d’école de cartel de citations »
- Il estime que Corchado nuit à une institution emblématique, ainsi qu’à la crédibilité de l’université de Salamanque et du corps professoral universitaire espagnol dans son ensemble
- Il a appelé le ministère et la Conference of Rectors of Spanish Universities à prendre des mesures pour éviter des cas similaires
- Corchado s’est présenté comme candidat unique après la démission soudaine du précédent recteur et a remporté l’élection du 7 mai
- Il a obtenu le soutien de 6,5 % des 33 000 électeurs inscrits
- La moitié du corps enseignant a voté blanc en signe de protestation
- En 2018, Corchado a créé l’organisme privé AIR Institute, qui gère des projets de plusieurs millions d’euros attribués par le gouvernement régional de Castille-et-León
Débat sur la réforme du système d’évaluation
- Ismael Ràfols, spécialiste des méthodologies d’évaluation scientifique, estime qu’un système valorisant le grand nombre de publications et de citations favorise ce type de corruption
- Ràfols explique qu’un processus de réforme a commencé en Europe, mais que l’Espagne a encore beaucoup à faire
- ANECA, l’organisme chargé de superviser le système universitaire espagnol, est en train d’évoluer pour ne plus évaluer les chercheurs principalement selon leur productivité
- Pilar Paneque, d’ANECA, estime que cette réforme freinera les mauvaises pratiques et réduira la pression sur les chercheurs, en particulier les plus jeunes
- Paneque souligne que les progrès en matière d’intégrité scientifique et d’éthique de la recherche doivent commencer par la responsabilité et le contrôle au sein de chaque établissement
- Selon elle, chaque université connaît bien les productions de ses chercheurs et peut donc détecter facilement les comportements anormaux
1 commentaires
Avis sur Hacker News
Tout cela semble s’être fait au grand jour et, comme pour le montrer, lors du vote sur la candidature unique d’un professeur, 50 % des bulletins étaient blancs, un vote de protestation. Autrement dit, les gens sur place étaient tous au courant
À propos de ce scandale, demander « comment concevoir un algorithme de détection » me paraît complètement à côté de la plaque. Ces cliques de citations sont tellement flagrantes que la détection elle-même est presque un problème trivial ; le vrai problème, difficile et non résolu, c’est la culture professionnelle des universités de recherche
[0] https://retractionwatch.com/2022/03/25/how-critics-say-a-com... ("How critics say a computer scientist in Spain artificially boosted his Google Scholar metrics")
Je pense que les gens aiment les réponses algorithmiques parce qu’elles donnent l’impression de remplacer le pouvoir réel. Si l’on n’arrive pas à s’imaginer trouver soi-même la force de corriger ce qui ne va pas, on peut au moins bricoler une structure logique qui le fera peut-être automatiquement
Beaucoup de techniciens auraient, à mon avis, un impact bien plus grand s’ils se souciaient d’acquérir du pouvoir politique plutôt que de concevoir des algorithmes
Dans ce cas aussi, on dirait qu’ils voulaient continuer tout en publiant un communiqué disant : « nous sommes à l’avant-garde de la détection de cette mauvaise pratique que tout le monde connaît »
C’est drôle, un peu comme la mère de Sam Bankman-Fried qui siège au comité d’éthique de Stanford
Rafael Luque n’a pas été suspendu 13 ans pour malhonnêteté manifeste, mais parce qu’il avait indiqué King Abdulaziz University comme première affiliation, ce qui a déplu à son université [1]. KAU est connue pour acheter des citations de cette manière [2]
Un autre cas est celui de Francisco Herrera Triguero [3]. Pendant des années, il a indiqué KAU comme seconde affiliation, mais rien ne lui est arrivé même après que l’affaire concernant quelqu’un d’autre a éclaté
Il faudrait donc peut-être davantage de surveillance publique sur ce genre d’affaires, plutôt que de créer encore plus d’algorithmes
[1] (espagnol) : https://elpais.com/ciencia/2023-03-31/suspendido-de-empleo-y...
[2] https://liorpachter.wordpress.com/2014/10/31/to-some-a-citat...
[3] (espagnol) : https://www.elsaltodiario.com/universidad/papers-y-mas-paper...
S’il s’agissait d’un cartel secret et malin qui dissémine des références plausibles entre plusieurs personnes et articles, je pourrais encore comprendre ; mais là, c’est simplement « citez les mauvais articles de cette personne »
Le nombre de citations et l’indice h-index ont eux aussi clairement besoin d’être améliorés. Pondérer à la baisse ce type de citations via la détection de groupes devrait être trivial
En l’absence de soupçon explicite, personne ne vérifie systématiquement toutes les citations et tous les articles. Il y a beaucoup trop d’articles pour que chaque chercheur, doctorant ou professeur fasse tout cela
Les universités n’ont pas les ressources pour ce genre de travail. Cela voudrait dire recruter plusieurs personnes dédiées à temps plein, et même ainsi, elles ne détecteraient pas les cas un peu plus sophistiqués. Par exemple, lorsque dans tous les articles publiés par les étudiants d’un laboratoire, le professeur est une citation obligatoire
Je me demande comment certains pensent qu’un professeur peut publier 20 à 30 articles de revue par an. Ce niveau est très courant, et même plutôt faible, alors qu’écrire un article et le faire accepter par l’évaluation peut prendre, dans le meilleur des cas, plusieurs mois, et jusqu’à deux ans dans le pire des cas pour les grandes revues
Le vrai travail est fait par les doctorants et les maîtres de conférences, tandis que le nom du professeur figure dans la liste des auteurs par respect, ou dans le pire des cas parce qu’on leur a ordonné de l’y mettre. C’est une pratique extrêmement courante
J’ai vu personnellement quelqu’un se construire une carrière universitaire essentiellement fictive en poussant des doctorants à lui attribuer le mérite de travaux qu’il n’avait pas faits. Il a failli réussir, mais un professeur siégeant dans le comité de titularisation d’une université européenne prestigieuse avait travaillé avec lui auparavant, savait comment il avait obtenu son impressionnant bilan de recherche sur le papier, et a opposé son veto
En outre, la plupart des indicateurs comme le facteur d’impact ne sont que des chiffres. On ne voit pas à partir de quoi ils ont été calculés. La recherche a toujours reposé sur l’intégrité et l’honnêteté individuelles, et il y aura toujours des brebis galeuses pour en abuser
Les motivations et les enjeux — carrière, emplois, financements de recherche, etc. — sont tellement déformés que beaucoup ont l’impression que les gens sont poussés vers ce type de fraude
Les citations attirent des financements, et les financements sont attractifs pour les institutions
Les éditeurs n’ont aucune raison de corriger cela, et tirent des bénéfices assez importants de l’inconduite scientifique
Ce genre de choses est aussi très courant. Il a fallu très longtemps pour que les articles frauduleux de Macchiarini soient rétractés, et il en a été de même pour certains articles fondamentaux sur les plaques liées à Alzheimer
Comment distinguer un groupe de copains de personnes qui travaillent sur le même sujet et se citent mutuellement ?
L’affaire Corchado n’est qu’un cas extrême, « noir ou blanc », alors que le problème d’ensemble est beaucoup plus subtil
Par exemple, il n’y a pas de ligne claire entre un cartel de citations implicite au sein d’une petite communauté et un groupe de leaders intellectuels. Quand on devient un leader dans une petite communauté, il devient bien plus facile d’obtenir une visibilité plus large, de décrocher des financements et même d’influencer les décisions en coulisse
D’une certaine façon, Corchado est relativement inoffensif, puisque tout le monde sait que c’est un clown. Dans la communauté IA européenne, il n’a pas grand-chose à dire. Le vrai problème, ce sont les zones grises qui affectent et contaminent tout le monde, et les gens qui y prospèrent
Cet homme est vraiment corrompu. L’article n’explique pas pourquoi l’université l’a recruté ni pourquoi elle ne l’a toujours pas licencié, et cela m’intrigue beaucoup
On admet souvent que les humains échouent à respecter la rigueur et les systèmes planifiés
On reconnaît généralement que beaucoup d’avocats et de responsables politiques sont corrompus, et on dit aussi que de nombreuses incitations poussent les gens dans cette direction. Pourtant, quand la même chose se produit dans la science, le monde académique, la médecine, la religion, le sport ou l’ingénierie, on semble surpris, ou on le traite comme un scandale
Nous ne sommes tous que des humains. Dans ce cas, cet homme a fait de l’optimisation d’indicateurs pour améliorer son statut. Est-ce mal ? Oui. Est-ce quelqu’un à qui l’on devrait confier des responsabilités ? Non. Est-ce un cas unique ? Non
Il existe un court billet avec davantage de liens à son sujet : https://forbetterscience.com/2024/05/03/schneider-shorts-3-0...
Les usines à citations et les usines à articles sont assez courantes et peuvent rapporter gros. Des acteurs comme Elsevier ou Springer n’ont pas grand-chose à gagner à les combattre
Il semble avoir été particulièrement stupide au point de mettre par écrit ce que beaucoup de chercheurs font de manière discrète et implicite
Les gens citent leurs amis ou des personnes de leur domaine, et une réciprocité implicite fonctionne aussi. Ils le font même quand la recherche citée n’a presque aucun rapport avec l’article en cours
La pratique même de la citation est aussi très étrange. J’ai vu plusieurs fois des chercheurs chercher quoi citer au moment de rédiger un article. Les premiers résultats Google sont cités, alors qu’ils n’avaient jamais lu l’article auparavant. Ils cherchaient simplement une citation à accoler à une affirmation assez générale comme « le machine learning a été appliqué à la médecine »
Je ne suis même pas sûr que ce type de citation soit une mauvaise pratique. Une phrase doit bien être étayée par une référence. Mais, du coup, le fait qu’un article soit cité — par exemple parce qu’il apparaît en haut de Google pour une recherche sur ML et cancer — ne signifie plus que cet article soit réellement une contribution scientifique significative, fiable ou importante
Ce genre de citation politique se produit même sans fraude délibérée
Quand j’étais en thèse, il était de notoriété publique que, si l’on voulait faire accepter un article, il fallait citer les travaux des membres du comité de programme et des relecteurs influents. Même si je ne pensais pas que leurs travaux avaient grand rapport avec ce que je faisais
Ce n’est pas aussi extrême qu’une clique explicite qui ordonne aux gens de le faire, mais une partie de la distorsion est similaire. Les personnes de haut rang ont ce statut parce qu’elles sont largement citées, et il faut ensuite les citer à nouveau parce qu’elles ont ce statut élevé
Je ne comprends pas pourquoi on voudrait normaliser les absurdités vécues par le passé
Beaucoup de personnes qui ne sont pas passées par l’enseignement supérieur avancé ou par un cursus de deuxième/troisième cycle semblaient avoir l’image des gens de l’enseignement supérieur comme de grandes figures irréprochables, faisant un travail formidable pour la société
En vieillissant, en ayant davantage d’occasions de côtoyer ces personnes et en lisant ce genre d’articles, j’en suis venu à penser qu’une bonne partie d’entre elles sont des monstres, parmi les personnes les plus follement narcissiques et abusives de la planète
Elles dirigent des fiefs féodaux et détiennent l’argent, le prestige et le pouvoir sur leurs subordonnés. Et comme ce sont des gens intelligents, elles ont aussi la capacité de causer bien plus de tort à leur entourage dans l’exercice de leur travail
Il existe beaucoup de domaines « ennuyeux » et « peu séduisants », où le travail et la communauté sont assez détendus et fonctionnent selon les règles
À l’inverse, les domaines très en vue et compétitifs attirent un certain type de personnes
Et les scientifiques toxiques ou brutaux sont souvent laissés libres de régner, tant qu’ils produisent les résultats attendus
Ce n’est pas une vision complète, mais j’ai entendu des témoignages de personnes issues de plusieurs universités. Quelqu’un venant d’une université disait ne pas être impressionné par les recrutements récents de professeurs, mais qu’il « prendrait une balle » pour un professeur en particulier, admirable à tous égards
La plupart des universitaires me semblent simplement plus proches d’une distribution normale des gens. Ils ont reçu plus d’éducation que la moyenne et peuvent être plus intelligents sur certains aspects, mais ils n’ont pas une intelligence surhumaine, et rien ne laisse penser qu’ils soient plus proches de la sainteté que les autres humains
Beaucoup de professeurs doivent aussi faire preuve d’un sérieux sens du hustle, ce qui leur laisse moins de temps, d’énergie et de pouvoir pour endosser le rôle d’anciens bienveillants et sages de la société universitaire que j’imaginais autrefois
Dans certains endroits et chez certaines personnes, des dynamiques plus malheureuses sont aussi à l’œuvre. Certains aspects de certaines universités se comportent comme les entreprises les plus toxiques en interne que l’on puisse imaginer, voire pire, parce que les institutions et les individus tendent à être moins tenus responsables
Bien sûr, il existe des exceptions évidentes, mais personnellement j’en suis arrivé à la conclusion que le milieu universitaire et les universités sont une fosse à purin où stagnent ce que la nature humaine peut produire de pire, de plus traître et de plus sournois. On est loin de la méritocratie, et dans ce genre d’environnement, ce sont les résidus qui « remontent » à la surface.
Je me demande vraiment comment ce constat se rattache à la perception, évoquée récemment ici aussi, de la perte de valeur des diplômes universitaires.
Ces gens-là ont simplement été assez stupides pour le laisser par écrit ; dans beaucoup d’endroits, on s’échange des citations entre soi, ou bien des personnes se retrouvent autrices d’articles auxquels elles n’ont absolument pas contribué.
Tant qu’on ne commencera pas à voir des sanctions comme des peines de prison pour ce genre de choses, il semble difficile que cela change.