J’ai ajouté à la fin de mon article sur AlphaChip (https://vighneshiyer.com/misc/ml-for-placement/) une annexe qui couvre la réfutation de Google et l’algorithme AlphaChip dans son ensemble.
En résumé, je pense que les auteurs de l’article dans Nature ont formulé certaines critiques valables sur la méthodologie d’entraînement des auteurs de l’article de l’ISPD. Mais AlphaChip reste beaucoup trop coûteux en calcul et trop long à exécuter par rapport aux floorplanners automatiques commerciaux et à AutoDMP, ce qui le rend peu compétitif. Cela dit, les auteurs de l’ISPD devraient publier une étude plus rigoureuse répondant à toutes les critiques des auteurs de Nature, et le simple fait d’évaluer les checkpoints de préentraînement publiés par Google fournirait aussi des éléments utiles au débat.
Dans la conclusion de l’article, il est dit : « J’admets que les auteurs de l’ISPD auraient pu faire mieux, mais la conclusion reste valable. Les auteurs de Nature ne traitent pas le fait que CMP et AutoDMP obtiennent de meilleures performances que CT avec des temps d’exécution et des besoins de calcul bien moindres. » Or l’un des points centraux de la réfutation est que les ressources utilisées pour la comparaison étaient bien plus faibles.
Ce seul élément semble suffire à mettre en doute la validité des conclusions de l’étude de l’ISPD ; je suis curieux de savoir ce que tu en penses. Par ailleurs, ce commentaire est neutre, alors que dans l’article le ton était beaucoup plus dur envers les auteurs d’AlphaChip, avec des termes comme « arrogance », « disdain », « hyperbole », « belittling », « hostile », tandis que le vice-président de Synopsys était qualifié d’« excellent ». Je me demande aussi d’où vient cette différence.
Utiliser environ 16 GPU pendant 6 heures pour l’inférence, et 48 heures pour le préentraînement, ce n’est pas une quantité de calcul excessive.
Dans le cloud, un GPU coûte environ 1 à 2 dollars de l’heure, donc l’inférence revient à environ 100 à 200 dollars, et le préentraînement à environ 800 à 1 600 dollars ; le coût du préentraînement est en outre amorti sur plusieurs puces. Les prix du cloud sont proches d’un plafond, et la plupart des laboratoires d’informatique disposent de ressources on-premise largement supérieures à cela. Dans l’industrie, ces coûts sont absolument négligeables par rapport au reste du processus de conception d’une puce, et les seules licences de logiciels EDA commerciaux se chiffrent déjà en millions de dollars.
À ce stade, je ne vois pas vraiment pourquoi on ne donnerait pas d’emblée un minimum de crédit à Jeff Dean. Son bilan est difficilement comparable à celui de qui que ce soit, et il reste très actif. Y a-t-il eu quelque chose qui puisse jeter une ombre sur lui ? Parfois, le messager lui-même apporte du poids au message.
Ici, il semble s’être rangé du côté des mauvaises personnes. C’est fondamentalement un bâtisseur de systèmes, pas un spécialiste de la conception de puces ni de l’EDA, et à strictement parler ce n’est pas non plus un chercheur en machine learning.
Certains verront peut-être les choses ainsi : il s’est laissé entraîner par un jeune escroc charismatique, et il est maintenant trop engagé pour pouvoir faire marche arrière. Se concentrer sur ce projet ne l’a pas non plus aidé dans sa position au sein de Google ; l’an dernier, tous les dossiers importants sont passés à Demis, et il ne lui reste plus qu’un titre proche de l’honorifique. Vu ce qu’il a accompli, c’est assez triste.
Quand Jeff Dean donnait des conférences en 2020, 2021 et 2022, cette confiance avait du sens. Mais aujourd’hui, face au scepticisme de la communauté EDA, il répond par des attaques ad hominem non académiques et par des mentions vagues selon lesquelles « beaucoup d’entreprises » l’utilisent.
À mon avis, on a dépassé le stade de la présomption de bonne foi et on est entré dans une zone où un doute sérieux est permis.
Je me demande pourquoi ce débat suscite autant d’émotion et de ressentiment. Comment une querelle académique ennuyeuse sur des benchmarks ou la significativité a-t-elle pu se transformer en combat d’attaques personnelles ?
Beaucoup de gens travaillent avec des méthodes de mise en œuvre qui ne relèvent pas de l’IA.
Faire des affirmations extraordinaires sans moyen de les reproduire, puis courir vers les médias, qui avalent n’importe quoi.
« L’IA conçoit l’IA… non, elle conçoit des puces » : pour des diplômés en lettres, ça sonne futuriste, et apparemment aussi pour des programmeurs qui devraient pourtant se méfier de tout ce qui est « IA ». Tout le processus de publication, à commencer par l’article dans Nature, paraît malhonnête. Pourquoi pas une conférence comme l’ISCCC ?
À cause de l’argent.
Si tu trouves que ce niveau d’animosité est pénible, va voir les militants écologistes qui attaquent Jeff Dean sur Twitter.
Le problème est que les incitations commerciales des big tech autour de l’IA ont pollué les eaux de la « recherche académique ennuyeuse », produisant de la publicité informationnelle malhonnête déguisée en articles de revues ou en preprints arXiv [1].
Résultat : la recherche moderne en IA traverse une crise de reproductibilité bien pire que celle des sciences sociales, avec beaucoup moins d’excuses légitimes. Si Google ne ment pas, il lui suffirait de publier les données de benchmark pour que des personnes indépendantes puissent les examiner, et une grande partie de la controverse disparaîtrait ; pourtant, Google refuse toujours : https://cacm.acm.org/news/updates-spark-uproar/ Google semble penser qu’il faut accepter ses conclusions sur la seule foi de son autorité. Par ailleurs, dans l’article divulgué par Satrajit Chatterjee, lanceur d’alerte licencié par Google en 2022, il était indiqué que l’avantage de « 30 à 35 % » de RePlAce concordait avec des résultats contredisant les affirmations « surhumaines » que Google avançait alors au sujet de son approche d’IA pour la conception de puces. Les « attaques personnelles » contre Jeff Dean sont tout à fait appropriées, car le cœur de la critique porte sur le fait que son caractère serait malhonnête et autoritaire. Il publie des recherches douteuses et licencie ceux qui s’y opposent.
[1] Le fait que Jeff Dean se moque de l’article critique au motif qu’il s’agit d’un article de conférence est particulièrement répugnant. C’est une attitude incroyablement médiocre.
D’après le tweet de Jeff Dean, Cheng et ses coauteurs n’auraient pas suivi la procédure nécessaire pour reproduire les travaux des chercheurs de Google.
En particulier, il affirme que « les auteurs n’ont fait aucun pré-entraînement, alors que celui-ci est mentionné 37 fois dans l’article de Nature, privant ainsi la méthode fondée sur l’apprentissage de sa capacité à apprendre à partir d’autres conceptions de puces ». Pourtant, le dépôt Circuit Training de Google[1] indique explicitement que « les résultats obtenus en entraînant depuis zéro sont similaires, voire meilleurs, que ceux de l’article obtenus en affinant un modèle pré-entraîné ». Peut-être que je comprends mal quelque chose, mais lequel des deux est vrai ? Ont-ils échoué parce qu’ils n’ont pas fait de pré-entraînement, ou ont-ils tenté une reproduction équitable en suivant la « procédure » indiquée dans le dépôt d’origine ? Vu que le groupe de l’UCSD a dû rétroconcevoir plusieurs étapes, on a l’impression que les résultats de l’article n’étaient pas reproductibles à partir de l’article seul.
[1]: https://github.com/google-research/circuit_training/blob/mai...
L’article de Markov renvoie aussi à un article d’un autre groupe d’auteurs de Google, où les bénéfices du pré-entraînement apparaissent également très faibles.
En outre, avec un nombre limité de benchmarks, utiliser un modèle pré-entraîné de Google d’origine inconnue pourrait être contre-productif. Google a probablement entraîné le modèle sur tous les benchmarks disponibles, le faisant régurgiter les solutions optimales des outils commerciaux.
« Entraîner depuis zéro » peut aussi vouloir dire mélanger les tentatives sur le nouveau design avec des designs passés.
Dans ce cas, il n’y a pas de contradiction. C’est la différence entre pré-entraîner sur d’anciens designs puis affiner sur le nouveau, et entraîner depuis zéro sur toutes les données mélangées pendant toute la durée. L’affinage peut provoquer un oubli catastrophique, et les deux approches peuvent être plus performantes que de n’inclure aucun design passé.
Le dépôt Circuit Training ressemble davantage à une démonstration d’exemple simple. Il est courant qu’un dépôt open source décrive un exemple simple pour tester ou valider une configuration, sans que cela signifie que c’est, de manière générale, la façon d’obtenir les meilleurs résultats.
La confusion vient peut-être du fait que cet exemple disait obtenir des résultats similaires à ceux du pré-entraînement dans l’article. Mais il est clair que cela ne réfutait pas le pré-entraînement en général. Si Cheng et ses coauteurs trouvaient vraiment cela ambigu, ils auraient dû contacter l’auteur correspondant. S’ils estimaient devoir « rétroconcevoir » une partie du dépôt, ils auraient aussi dû poser la question.
Chatterjee, présenté comme le méchant dans l’article cité, semble désormais poursuivre Google. Il semble considérer qu’il a été licencié parce qu’il avait signalé que son supérieur, Jeff Dean, présentait des affirmations fausses en toute connaissance de cause.
« Pour être clair, il n’existe aucune preuve permettant de croire que le RL soit meilleur que l’état de l’art académique ou que les placeurs de macros commerciaux les plus puissants. La comparaison avec ces derniers est tellement déficiente que, dans de nombreux cas, les outils commerciaux n’ont même pas pu être exécutés en raison de problèmes d’installation » : ce passage proviendrait d’une capture d’écran d’une présentation interne de Jeff Dean. https://regmedia.co.uk/2023/03/26/satrajit_vs_google.pdf Vu de l’extérieur, il est très difficile de juger si Chatterjee était un mauvais recrutement coûteux ayant étouffé les bons résultats de ses collègues, ou au contraire un employé très précieux qui cherchait à empêcher une présentation mensongère.
Une quantité vraiment énorme de temps a été gâchée.
Il a même mené une étude interne avec Markov, mais les auteurs d’AlphaChip expliquent ceci : en 2022, un comité indépendant de Google l’a examinée et a estimé que « les affirmations et conclusions du brouillon ne sont pas scientifiquement étayées par les expériences », et que « la reproduction indépendante des résultats du jeu de données original de [AlphaChip] a remis en question les résultats RL de [Markov et al.] ». Les auteurs disent avoir fourni au comité un script d’une ligne produisant des résultats RL bien meilleurs que ceux rapportés par Markov et al., et que ces résultats dépassaient même leur baseline de recuit simulé « plus forte ». Ils disent ne toujours pas savoir comment Markov et ses coauteurs ont obtenu les chiffres de leur article.
(https://arxiv.org/pdf/2411.10053)
Recruter des personnes prêtes à commettre de la fraude ou de la manipulation dans le monde académique, financier ou ailleurs est effectivement un gros problème.
La meilleure façon, peut-être la seule, de réduire cela passe par les incitations internes, les contrôles et la culture. Si, cycle après cycle, on exige fortement quelques pourcents d’amélioration sans fin, et qu’on promeut ceux qui les apportent régulièrement sans vérifier si ces résultats ont jamais réellement existé, alors la même chose finit par arriver, quelle que soit l’échelle. Cela peut se produire dans une petite équipe, un département, une entreprise, un hedge fund qui possède beaucoup de ces entreprises, un fonds de fonds, ou l’administration fédérale. Tôt ou tard, la direction se retrouve largement infiltrée par des gens sans scrupules. Les scandales de publications en série dans le monde académique et les innombrables affaires dans la finance en sont des exemples. Holmes et SBF sont en prison, mais les personnes qu’ils ont financées, et les milieux similaires, restent au sommet de l’influence, continuent de porter cette idéologie et disposent désormais d’encore meilleurs avocats. Il y a ce vieux dicton : « le poisson pourrit par la tête ». Quand on regarde toutes les zones d’ombre et les scandales incessants autour des figures emblématiques de l’industrie STEM et qu’on se dit « bien joué, ils ont battu le système », il est difficile d’attendre autre chose qu’une attaque généralisée contre l’ordre existant fondé sur l’honnêteté et l’équité. Nous aussi, au fond, nous avons voté avec nos pieds pour un idéal quasi religieux où « la force fait le droit », et j’en ai fait partie jusqu’à ce que je démissionne par dégoût. On l’appelle de différentes façons : Objectivism, Effective Altruism, Capitalism, mais ce n’est même pas du vrai capitalisme. On ne peut pas s’étonner que tout soit devenu poisseux et sale. Je ne sais pas vraiment quelle est la réponse aujourd’hui. Travailler dans une entreprise moins mauvaise, dénoncer les abus au moins anonymement, écouter les propos des dirigeants en interview et les examiner de près, peut-être. Je serais preneur d’autres suggestions.
Je comprends que Jeff soit mis sous pression pour répondre ici. Son nom apparaît sur presque toute la production de recherche de « Google Brain ».
Mais dire en substance « ils n’ont pas réussi à reproduire parce qu’ils sont idiots, donc c’est reproductible » n’est pas une réfutation, c’est du harcèlement. Les critiques ont touché un point sensible, et on dirait qu’il n’a pas de bon moyen de répondre au problème de reproductibilité que son travail met en évidence.
Ce n’est pas ce qu’il affirme dans le tweet lié. Son argument est : « ils n’ont pas réussi à reproduire parce qu’ils n’ont pas suivi la procédure », et quelles que soient ses motivations, cela semble être un argument assez raisonnable.
S’ils n’ont pas suivi la procédure de reproduction, par exemple le pré-entraînement ou une quantité de calcul suffisante, puis ont échoué, je ne vois pas le problème à pointer les défauts de cette tentative de « reproduction ».
Où est-ce écrit ? Dans son tweet, Dean indique les étapes précises que les auteurs ont manquées.
Heureusement, il n’a pas dit cela.
Le tweet dit seulement que la tentative de reproduction n’a pas réellement suivi la méthodologie originale. Il ne dit pas que les auteurs de la tentative de reproduction sont des « idiots » ou quoi que ce soit de similaire ; ça, c’est inventé. Et la logique manifestement fallacieuse « ils n’ont pas réussi à reproduire, donc c’est reproductible » est une pure fabrication.
C’est assez drôle d’affirmer qu’il y a un biais à cause de l’employeur du critique, comme si travailler chez Google ne créait aucun conflit d’intérêts.
Google n’est-il pas l’entreprise qui survend désespérément toutes sortes de développements IA en mode « moi aussi » pour soutenir son cours de Bourse ? Jeff a tellement bu le Kool-Aid qu’il a oublié ce qu’est l’eau.
La preuve ultime pour Google serait de fabriquer des puces meilleures que celles de ses concurrents. Pour l’instant, ce n’est pas le cas.
La critique « vous n’avez pas utilisé assez de ressources de calcul pour reproduire notre méthode » est un peu risible de nos jours. Bien sûr que non, vous êtes Google.
On a l’impression que cela revient à dire qu’on ne peut pas évaluer votre méthodologie si l’on ne possède pas un cloud. Même s’il est vrai que davantage de calcul et davantage de pré-entraînement sont utiles, ce qui ne serait pas surprenant, cela rend la vérification difficile. Il y a aussi un contrepoint intéressant : Google dispose d’énormes ressources de calcul, mais Synopsys dispose d’énormément de données pour l’entraînement. À condition, bien sûr, qu’il soit acceptable de s’entraîner sur la propriété intellectuelle des clients, ce qui est une très grosse condition.
Les concepteurs de puces exécutent les outils EDA on-premise. Comment une entreprise d’EDA aurait-elle accès aux données de ses clients ? Ce serait possible, dans une certaine mesure, à des fins de débogage sous NDA, mais cela ne permettrait pas pour autant de s’entraîner sur la propriété intellectuelle des clients.
1 commentaires
Avis sur Hacker News
J’ai ajouté à la fin de mon article sur AlphaChip (https://vighneshiyer.com/misc/ml-for-placement/) une annexe qui couvre la réfutation de Google et l’algorithme AlphaChip dans son ensemble.
En résumé, je pense que les auteurs de l’article dans Nature ont formulé certaines critiques valables sur la méthodologie d’entraînement des auteurs de l’article de l’ISPD. Mais AlphaChip reste beaucoup trop coûteux en calcul et trop long à exécuter par rapport aux floorplanners automatiques commerciaux et à AutoDMP, ce qui le rend peu compétitif. Cela dit, les auteurs de l’ISPD devraient publier une étude plus rigoureuse répondant à toutes les critiques des auteurs de Nature, et le simple fait d’évaluer les checkpoints de préentraînement publiés par Google fournirait aussi des éléments utiles au débat.
Ce seul élément semble suffire à mettre en doute la validité des conclusions de l’étude de l’ISPD ; je suis curieux de savoir ce que tu en penses. Par ailleurs, ce commentaire est neutre, alors que dans l’article le ton était beaucoup plus dur envers les auteurs d’AlphaChip, avec des termes comme « arrogance », « disdain », « hyperbole », « belittling », « hostile », tandis que le vice-président de Synopsys était qualifié d’« excellent ». Je me demande aussi d’où vient cette différence.
Dans le cloud, un GPU coûte environ 1 à 2 dollars de l’heure, donc l’inférence revient à environ 100 à 200 dollars, et le préentraînement à environ 800 à 1 600 dollars ; le coût du préentraînement est en outre amorti sur plusieurs puces. Les prix du cloud sont proches d’un plafond, et la plupart des laboratoires d’informatique disposent de ressources on-premise largement supérieures à cela. Dans l’industrie, ces coûts sont absolument négligeables par rapport au reste du processus de conception d’une puce, et les seules licences de logiciels EDA commerciaux se chiffrent déjà en millions de dollars.
À ce stade, je ne vois pas vraiment pourquoi on ne donnerait pas d’emblée un minimum de crédit à Jeff Dean. Son bilan est difficilement comparable à celui de qui que ce soit, et il reste très actif. Y a-t-il eu quelque chose qui puisse jeter une ombre sur lui ? Parfois, le messager lui-même apporte du poids au message.
Certains verront peut-être les choses ainsi : il s’est laissé entraîner par un jeune escroc charismatique, et il est maintenant trop engagé pour pouvoir faire marche arrière. Se concentrer sur ce projet ne l’a pas non plus aidé dans sa position au sein de Google ; l’an dernier, tous les dossiers importants sont passés à Demis, et il ne lui reste plus qu’un titre proche de l’honorifique. Vu ce qu’il a accompli, c’est assez triste.
À mon avis, on a dépassé le stade de la présomption de bonne foi et on est entré dans une zone où un doute sérieux est permis.
Je me demande pourquoi ce débat suscite autant d’émotion et de ressentiment. Comment une querelle académique ennuyeuse sur des benchmarks ou la significativité a-t-elle pu se transformer en combat d’attaques personnelles ?
« L’IA conçoit l’IA… non, elle conçoit des puces » : pour des diplômés en lettres, ça sonne futuriste, et apparemment aussi pour des programmeurs qui devraient pourtant se méfier de tout ce qui est « IA ». Tout le processus de publication, à commencer par l’article dans Nature, paraît malhonnête. Pourquoi pas une conférence comme l’ISCCC ?
Résultat : la recherche moderne en IA traverse une crise de reproductibilité bien pire que celle des sciences sociales, avec beaucoup moins d’excuses légitimes. Si Google ne ment pas, il lui suffirait de publier les données de benchmark pour que des personnes indépendantes puissent les examiner, et une grande partie de la controverse disparaîtrait ; pourtant, Google refuse toujours : https://cacm.acm.org/news/updates-spark-uproar/ Google semble penser qu’il faut accepter ses conclusions sur la seule foi de son autorité. Par ailleurs, dans l’article divulgué par Satrajit Chatterjee, lanceur d’alerte licencié par Google en 2022, il était indiqué que l’avantage de « 30 à 35 % » de RePlAce concordait avec des résultats contredisant les affirmations « surhumaines » que Google avançait alors au sujet de son approche d’IA pour la conception de puces. Les « attaques personnelles » contre Jeff Dean sont tout à fait appropriées, car le cœur de la critique porte sur le fait que son caractère serait malhonnête et autoritaire. Il publie des recherches douteuses et licencie ceux qui s’y opposent.
[1] Le fait que Jeff Dean se moque de l’article critique au motif qu’il s’agit d’un article de conférence est particulièrement répugnant. C’est une attitude incroyablement médiocre.
D’après le tweet de Jeff Dean, Cheng et ses coauteurs n’auraient pas suivi la procédure nécessaire pour reproduire les travaux des chercheurs de Google.
En particulier, il affirme que « les auteurs n’ont fait aucun pré-entraînement, alors que celui-ci est mentionné 37 fois dans l’article de Nature, privant ainsi la méthode fondée sur l’apprentissage de sa capacité à apprendre à partir d’autres conceptions de puces ». Pourtant, le dépôt Circuit Training de Google[1] indique explicitement que « les résultats obtenus en entraînant depuis zéro sont similaires, voire meilleurs, que ceux de l’article obtenus en affinant un modèle pré-entraîné ». Peut-être que je comprends mal quelque chose, mais lequel des deux est vrai ? Ont-ils échoué parce qu’ils n’ont pas fait de pré-entraînement, ou ont-ils tenté une reproduction équitable en suivant la « procédure » indiquée dans le dépôt d’origine ? Vu que le groupe de l’UCSD a dû rétroconcevoir plusieurs étapes, on a l’impression que les résultats de l’article n’étaient pas reproductibles à partir de l’article seul.
[1]: https://github.com/google-research/circuit_training/blob/mai...
En outre, avec un nombre limité de benchmarks, utiliser un modèle pré-entraîné de Google d’origine inconnue pourrait être contre-productif. Google a probablement entraîné le modèle sur tous les benchmarks disponibles, le faisant régurgiter les solutions optimales des outils commerciaux.
Dans ce cas, il n’y a pas de contradiction. C’est la différence entre pré-entraîner sur d’anciens designs puis affiner sur le nouveau, et entraîner depuis zéro sur toutes les données mélangées pendant toute la durée. L’affinage peut provoquer un oubli catastrophique, et les deux approches peuvent être plus performantes que de n’inclure aucun design passé.
La confusion vient peut-être du fait que cet exemple disait obtenir des résultats similaires à ceux du pré-entraînement dans l’article. Mais il est clair que cela ne réfutait pas le pré-entraînement en général. Si Cheng et ses coauteurs trouvaient vraiment cela ambigu, ils auraient dû contacter l’auteur correspondant. S’ils estimaient devoir « rétroconcevoir » une partie du dépôt, ils auraient aussi dû poser la question.
Articles liés. Y en a-t-il d’autres ?
AI Alone Isn't Ready for Chip Design - https://news.ycombinator.com/item?id=42207373 - novembre 2024, 2 commentaires
That Chip Has Sailed: Critique of Unfounded Skepticism Around AI for Chip Design - https://news.ycombinator.com/item?id=42172967 - novembre 2024, 9 commentaires
Reevaluating Google's Reinforcement Learning for IC Macro Placement (AlphaChip) - https://news.ycombinator.com/item?id=42042046 - novembre 2024, 1 commentaire
How AlphaChip transformed computer chip design - https://news.ycombinator.com/item?id=41672110 - septembre 2024, 194 commentaires
Tension Inside Google over a Fired AI Researcher’s Conduct - https://news.ycombinator.com/item?id=31576301 - mai 2022, 23 commentaires
Google is using AI to design chips that will accelerate AI - https://news.ycombinator.com/item?id=22717983 - mars 2020, 1 commentaire
Le contexte de la réponse de Jeff Dean est ici :
https://news.ycombinator.com/item?id=41673769
https://news.ycombinator.com/item?id=41673808
Le coût d’un mauvais recrutement peut être presque comique tellement il est élevé : https://www.wired.com/story/google-brain-ai-researcher-fired...
« Pour être clair, il n’existe aucune preuve permettant de croire que le RL soit meilleur que l’état de l’art académique ou que les placeurs de macros commerciaux les plus puissants. La comparaison avec ces derniers est tellement déficiente que, dans de nombreux cas, les outils commerciaux n’ont même pas pu être exécutés en raison de problèmes d’installation » : ce passage proviendrait d’une capture d’écran d’une présentation interne de Jeff Dean. https://regmedia.co.uk/2023/03/26/satrajit_vs_google.pdf Vu de l’extérieur, il est très difficile de juger si Chatterjee était un mauvais recrutement coûteux ayant étouffé les bons résultats de ses collègues, ou au contraire un employé très précieux qui cherchait à empêcher une présentation mensongère.
Il a même mené une étude interne avec Markov, mais les auteurs d’AlphaChip expliquent ceci : en 2022, un comité indépendant de Google l’a examinée et a estimé que « les affirmations et conclusions du brouillon ne sont pas scientifiquement étayées par les expériences », et que « la reproduction indépendante des résultats du jeu de données original de [AlphaChip] a remis en question les résultats RL de [Markov et al.] ». Les auteurs disent avoir fourni au comité un script d’une ligne produisant des résultats RL bien meilleurs que ceux rapportés par Markov et al., et que ces résultats dépassaient même leur baseline de recuit simulé « plus forte ». Ils disent ne toujours pas savoir comment Markov et ses coauteurs ont obtenu les chiffres de leur article.
(https://arxiv.org/pdf/2411.10053)
La meilleure façon, peut-être la seule, de réduire cela passe par les incitations internes, les contrôles et la culture. Si, cycle après cycle, on exige fortement quelques pourcents d’amélioration sans fin, et qu’on promeut ceux qui les apportent régulièrement sans vérifier si ces résultats ont jamais réellement existé, alors la même chose finit par arriver, quelle que soit l’échelle. Cela peut se produire dans une petite équipe, un département, une entreprise, un hedge fund qui possède beaucoup de ces entreprises, un fonds de fonds, ou l’administration fédérale. Tôt ou tard, la direction se retrouve largement infiltrée par des gens sans scrupules. Les scandales de publications en série dans le monde académique et les innombrables affaires dans la finance en sont des exemples. Holmes et SBF sont en prison, mais les personnes qu’ils ont financées, et les milieux similaires, restent au sommet de l’influence, continuent de porter cette idéologie et disposent désormais d’encore meilleurs avocats. Il y a ce vieux dicton : « le poisson pourrit par la tête ». Quand on regarde toutes les zones d’ombre et les scandales incessants autour des figures emblématiques de l’industrie STEM et qu’on se dit « bien joué, ils ont battu le système », il est difficile d’attendre autre chose qu’une attaque généralisée contre l’ordre existant fondé sur l’honnêteté et l’équité. Nous aussi, au fond, nous avons voté avec nos pieds pour un idéal quasi religieux où « la force fait le droit », et j’en ai fait partie jusqu’à ce que je démissionne par dégoût. On l’appelle de différentes façons : Objectivism, Effective Altruism, Capitalism, mais ce n’est même pas du vrai capitalisme. On ne peut pas s’étonner que tout soit devenu poisseux et sale. Je ne sais pas vraiment quelle est la réponse aujourd’hui. Travailler dans une entreprise moins mauvaise, dénoncer les abus au moins anonymement, écouter les propos des dirigeants en interview et les examiner de près, peut-être. Je serais preneur d’autres suggestions.
Je comprends que Jeff soit mis sous pression pour répondre ici. Son nom apparaît sur presque toute la production de recherche de « Google Brain ».
Mais dire en substance « ils n’ont pas réussi à reproduire parce qu’ils sont idiots, donc c’est reproductible » n’est pas une réfutation, c’est du harcèlement. Les critiques ont touché un point sensible, et on dirait qu’il n’a pas de bon moyen de répondre au problème de reproductibilité que son travail met en évidence.
Le tweet dit seulement que la tentative de reproduction n’a pas réellement suivi la méthodologie originale. Il ne dit pas que les auteurs de la tentative de reproduction sont des « idiots » ou quoi que ce soit de similaire ; ça, c’est inventé. Et la logique manifestement fallacieuse « ils n’ont pas réussi à reproduire, donc c’est reproductible » est une pure fabrication.
Google n’est-il pas l’entreprise qui survend désespérément toutes sortes de développements IA en mode « moi aussi » pour soutenir son cours de Bourse ? Jeff a tellement bu le Kool-Aid qu’il a oublié ce qu’est l’eau.
La preuve ultime pour Google serait de fabriquer des puces meilleures que celles de ses concurrents. Pour l’instant, ce n’est pas le cas.
La critique « vous n’avez pas utilisé assez de ressources de calcul pour reproduire notre méthode » est un peu risible de nos jours. Bien sûr que non, vous êtes Google.
On a l’impression que cela revient à dire qu’on ne peut pas évaluer votre méthodologie si l’on ne possède pas un cloud. Même s’il est vrai que davantage de calcul et davantage de pré-entraînement sont utiles, ce qui ne serait pas surprenant, cela rend la vérification difficile. Il y a aussi un contrepoint intéressant : Google dispose d’énormes ressources de calcul, mais Synopsys dispose d’énormément de données pour l’entraînement. À condition, bien sûr, qu’il soit acceptable de s’entraîner sur la propriété intellectuelle des clients, ce qui est une très grosse condition.