Word2Vec a reçu quatre verdicts de « rejet ferme » à l’ICLR 2013

Estimation efficace de représentations vectorielles de mots

• Les chercheurs proposent deux nouvelles architectures de modèles pour calculer des représentations vectorielles continues de mots à partir de très grands jeux de données.
• La qualité de ces représentations est mesurée sur des tâches de similarité entre mots et comparée à divers types de techniques basées sur des réseaux de neurones qui obtenaient auparavant les meilleures performances.
• L’équipe de recherche observe une nette amélioration de la précision pour un coût de calcul bien plus faible. Autrement dit, il est possible de dériver en moins d’une journée, sur un seul CPU, des vecteurs 300 dimensions de haute qualité pour un vocabulaire d’un million de mots à partir d’un jeu de données de 1,6 milliard de mots.
• Ils montrent également que ces vecteurs atteignent l’état de l’art sur des jeux de test destinés à mesurer différents types de similarité entre mots.
• Ils prévoient de rendre ce jeu de test public pour qu’il puisse être utilisé par la communauté de recherche.

Avis

• Les reviewers ont souligné le manque de motivation claire expliquant en quoi le modèle proposé diffère des modèles existants et pourquoi il leur est supérieur.
• La description du modèle est minimale, ce qui rend difficile de déterminer en quoi il se distingue des travaux antérieurs.
• Les reviewers insistent sur le fait que l’article inclut des comparaisons incohérentes entre des modèles entraînés sur différents jeux de données et avec des dimensions différentes, alors que cela est nécessaire pour rendre les affirmations de l’article convaincantes.

L’avis de GN⁺

• Cette recherche propose une nouvelle technique pour estimer efficacement des vecteurs de mots, ce qui constitue une avancée importante dans le domaine du traitement automatique du langage naturel.
• Le modèle proposé peut être entraîné bien plus rapidement que les modèles de réseaux de neurones complexes existants, ce qui peut être utile pour les recherches traitant de grands volumes de données linguistiques.
• L’article présente une nouvelle méthode d’évaluation de la qualité des vecteurs de mots, qui pourrait s’imposer comme standard pour mesurer la similarité entre mots dans les recherches futures.

[GN⁺]

Avis Hacker News

• On peut trouver plus de détails sur word2vec dans une publication Facebook de Tomas Mikolov.

  • C’est à la fois amusant et révélateur de voir que même les experts se trompent.
  • Il y a eu diverses réactions : certains, comme Geoff Hinton, ont dit « nous le savions déjà mais avons oublié de le publier », tandis qu’Ian Goodfellow s’en est indigné sur Twitter.

• Je pense que les reviewers ont bien fait leur travail.

  • Les reviews portent sur la qualité d’un article, pas sur l’influence qu’il pourrait avoir à l’avenir.
  • Tous les articles influents ne sont pas forcément de bons articles.

• Le commentaire du reviewer f5bf est intéressant.

  • Les modèles récents (GPT, modèles de diffusion d’images, etc.) ont la capacité de jouer avec la double signification des mots.
  • On pensait que c’était une caractéristique propre aux humains, mais cela fait désormais partie de la boîte à outils des modèles génératifs.
  • Il n’est pas certain que l’ambiguïté de word2vec contribue à cette capacité de jeu de mots, mais cela peut être une caractéristique utile à des fins créatives, tout en devenant un bug lorsqu’on cherche à modéliser l’espace sémantique comme un espace vectoriel strict.

• Certains estiment que le processus de review n’est pas efficace pour les idées nouvelles.

  • Personne ne peut consacrer d’innombrables heures à comprendre quelque chose de totalement nouveau.

• Une première version de l’article a été rejetée, mais des mises à jour et clarifications ont ensuite été apportées à partir des reviews.

  • Cela montre comment le processus de review est censé fonctionner, surtout pour les travaux innovants qui demandent davantage d’explications.

• Il y a bien quatre avis de « rejet fort », mais ils semblent tous provenir du même reviewer au même moment.

  • On se demande pourquoi seuls les scores de ce reviewer sont visibles.

• Je me demande combien de personnes qui expriment des opinions tranchées sur la valeur de la peer review y ont réellement participé en tant qu’auteur, reviewer ou éditeur.

  • Il existe de nombreux endroits pour partager des recherches ou des idées sans peer review (par ex. arXiv/bioRxiv).

• Il est souligné que le titre est trompeur.

  • Les quatre « rejets forts » proviendraient d’un seul auteur, probablement à cause d’un bug d’OpenReview.

• Le fil de review se lit comme un fil Show HN négatif.

  • L’article a d’abord reçu quelques questions et retours négatifs, puis les auteurs ont demandé aux reviewers de petites modifications.

• À l’université, quelqu’un a créé un système simple de correction de texte et a soumis un article à ce sujet, mais il a été rejeté à cause de problèmes de grammaire anglaise.

  • En demandant du feedback aux reviewers, cette personne s’est vu reprocher comme des erreurs les exemples « avant/après » corrigés par le système.
  • Après quelques tentatives, elle a abandonné.