Les employés de Google qui ont créé les transformeurs

Huit employés de Google ont inventé l’IA moderne : récit interne

• L’article scientifique intitulé "Attention Is All You Need", rédigé au printemps 2017, comptait 8 auteurs.
• Tous étaient des chercheurs de Google, et Noam Shazeer, le contributeur le plus expérimenté, a été surpris de voir son nom figurer en premier.
• Les auteurs ont décidé de "détruire" la pratique consistant à classer les contributions, en ajoutant un astérisque à côté de chaque nom et une note de bas de page indiquant que "l’ordre d’apparition est aléatoire".

Le début d’une transformation

• Cet article a fait progresser la technologie des réseaux de neurones dans le domaine de l’IA, au point de la transformer en systèmes numériques puissants qui donnent l’impression d’être le produit d’une intelligence extraterrestre.
• Cette architecture sert d’ingrédient secret à des produits d’intelligence artificielle comme ChatGPT, Dall-E et Midjourney.
• Sept ans après sa publication, cet article a acquis un statut légendaire.

L’architecture de la transformation : le transformer

• L’histoire du transformer commence avec le quatrième auteur, Jakob Uszkoreit.
• Uszkoreit a imaginé une nouvelle approche fondée sur son idée de self-attention.
• Ce réseau peut traduire des mots en se référant à certaines parties d’une phrase, ce qui aide le système à produire de bonnes traductions.

Collaboration et innovation

• Uszkoreit pensait que le modèle de self-attention pouvait être plus rapide et plus efficace que les réseaux de neurones récurrents.
• Cette idée a progressé grâce à la collaboration avec d’autres chercheurs, notamment Illia Polosukhin et Ashish Vaswani.
• Ils ont rédigé un document de conception intitulé "Transformers: Iterative Self-Attention and Processing for Various Tasks".

Publication de l’article et impact

• L’équipe de recherche a utilisé le modèle transformer pour effectuer de la traduction automatique, puis a mesuré ses performances à l’aide du benchmark BLEU.
• Leur nouveau modèle a surpassé les concurrents, et une version plus grande, Big, a obtenu un score BLEU battant le record précédent.
• L’article a été soumis juste avant la date limite, et Google a rapidement déposé un brevet provisoire sur ce travail.

La réaction de Google et les évolutions

• En interne chez Google, ce travail a été considéré comme un projet d’IA intéressant parmi d’autres, et l’entreprise a commencé à intégrer les transformeurs à ses produits à partir de 2018.
• Mais cette évolution paraît timide comparée à l’accélération radicale d’OpenAI et à l’intégration audacieuse par Microsoft de systèmes fondés sur les transformeurs dans sa gamme de produits.

Les auteurs qui ont quitté Google

• Tous les auteurs ont quitté Google et travaillent aujourd’hui de différentes manières à partir des systèmes qu’ils ont créés.
• Beaucoup d’entre eux ont quitté Google pour rejoindre de nouvelles startups de l’IA.

L’avis de GN⁺

• Cet article offre un éclairage intéressant sur l’évolution des technologies de l’IA en expliquant en détail la naissance et le développement du modèle transformer, qui a joué un rôle majeur dans le domaine.
• Le modèle transformer est aujourd’hui une technologie centrale du traitement du langage par l’IA et une invention essentielle à la base d’IA conversationnelles comme ChatGPT.
• L’article montre comment l’environnement de recherche innovant au sein de Google a permis une percée technologique majeure.
• Mais le fait que Google ait adopté une approche plutôt prudente dans l’exploitation commerciale de cette technologie offre aussi un enseignement important sur le rythme d’innovation et la stratégie des entreprises.
• Les entreprises ou développeurs qui adoptent cette technologie doivent tenir compte de la complexité du modèle transformer et de ses besoins en ressources, mais les bénéfices potentiels sont très importants.

[GN⁺]

Avis sur Hacker News

• Discussion sur les modèles d’attention :

  • Le mécanisme d’attention n’était pas nouveau, mais des travaux ont montré qu’il suffisait, dans un certain contexte, pour prédire la séquence de mots suivante.
  • Lors de l’utilisation de ce framework en 2018, il a présenté des comportements inattendus, mais l’expérience était intéressante.
  • D’autres groupes ont découvert que calculer à grande échelle des algorithmes simples produisait de meilleurs résultats.
  • Il est agaçant de prétendre qu’un seul groupe a découvert l’IA et l’a transformée.
  • Les chercheurs méritent des éloges, mais ils n’ont pas inventé l’IA moderne ; ils l’ont fait progresser de manière intéressante.
  • Aujourd’hui, on souhaite revenir à des approches plus déterministes : world models, mémoire, graphes, minimisation d’énergie, etc.
  • Les modèles génératifs étaient amusants et instructifs, mais on ne sait pas vraiment si l’on peut résoudre l’AGI/SGI simplement en ajoutant plus de puces.

• Souvenirs de l’âge d’or de Google :

  • En 2014, lorsqu’on discutait du rôle d’Uszkoreit et de l’équipe NLP au sommet de Google, on lui a demandé ce qu’il ferait avec un budget illimité, et il a répondu : « J’ai un tel budget. »

• Conversation sur l’histoire de l’IA :

  • Une discussion avec Geoffrey Hinton et Fei-Fei Li portait sur l’histoire de l’IA, l’orientation des recherches de Hinton et les efforts de Li autour d’ImageNet.

• Comparaison entre Google et OpenAI :

  • Il est surprenant que Google ne soit pas devenu OpenAI ; Google disposait très tôt de DeepMind et de nombreux titulaires de doctorat.

• Mention de la collaboration entre employés de Google :

  • Il est souligné que tous les auteurs étaient des employés de Google et travaillaient dans le même bureau, ce qui laisse entendre que la collaboration en présentiel est la meilleure technologie pour innover.

• Critique de la stratégie IA de Google :

  • Aucun des auteurs ne travaille encore chez Google, et cela suscite des interrogations sur la manière dont le PDG de Google a si mal géré l’IA.

• Document interne sur l’histoire de l’IA chez Google :

  • Les employés de Google peuvent consulter sur l’intranet de l’entreprise des moments clés de l’histoire de l’IA, comme la première implémentation du transformer et les commentaires des reviewers.

• Attention portée à la diversité des auteurs :

  • Parmi les 8 auteurs, 6 sont nés hors des États-Unis ; les deux autres sont respectivement l’enfant de détenteurs allemands de green card temporairement installés en Californie et un Américain de première génération issu d’une famille ayant fui les persécutions.

• Soutien aux départements R&D :

  • Certains sont favorables au soutien de départements de R&D exonérés d’impôts, en espérant que des idées qui n’émergent peut-être qu’une fois par décennie puissent tirer l’ensemble de l’économie.
  • Les merveilles du computing moderne sont le résultat de l’expansion de la R&D menée sans impact immédiat sur le résultat net de l’entreprise.