Noam Shazeer rejoint OpenAI

 (twitter.com/NoamShazeer)
1 points par GN⁺ 7 시간 전 | 1 commentaires | Partager sur WhatsApp
  • Noam Shazeer, figure clé derrière l’architecture Transformer et ancien co-responsable de Gemini chez Google, a annoncé son arrivée chez OpenAI
  • Il a été l’un des premiers employés à rejoindre Google en 2000, où il a contribué à l’amélioration de la correction orthographique dans la recherche et à la création de l’algorithme central d’AdSense
  • Coauteur en 2017 de l’article "Attention Is All You Need", il est à l’origine de l’architecture Transformer qui sert de base à presque tous les LLM modernes
  • Il a également été un contributeur majeur à LaMDA et Meena
    • Meena — un chatbot conversationnel open domain dévoilé par Google en 2020, projet de recherche visant des échanges plus naturels et plus pertinents contextuellement grâce à un modèle de 2,6 milliards de paramètres
    • LaMDA (Language Model for Dialogue Applications) — grand modèle de langage spécialisé dans le dialogue présenté en 2021 comme successeur de Meena, conçu pour générer des conversations naturelles multi-tours sur des sujets libres, et qui a ensuite servi de technologie de base initiale pour les chatbots de Google et Bard
  • Il avait quitté Google en 2021 pour cofonder Character.AI, avant d’y revenir en 2024 après une acquisition par Google d’environ 2,7 milliards de dollars afin d’occuper le poste de VP Eng et de co-responsable de Gemini

À lire aussi

1 commentaires

 
GN⁺ 7 시간 전
Avis sur Hacker News

  • Pour celles et ceux que ça intéresse, Wired a couvert il y a deux ans les coulisses de l’article Attention Is All You Need : https://www.wired.com/story/eight-google-employees-invented-...
    Cela donne du contexte pour comprendre la contribution de chaque auteur. L’article dit de Shazeer que son arrivée a été décisive, et que des mécanismes théoriques et intuitifs comme la self-attention ont souvent besoin, pour prouver leur viabilité, d’un petit nombre de « magiciens » très expérimentés capables de les implémenter avec énormément de soin. Shazeer a tout simplement réécrit à sa manière une version du code de l’équipe Transformer, disant qu’il avait « pris l’idée de base et l’avait construite lui-même » ; il posait parfois des questions à Kaiser, mais la plupart du temps il partait essayer de son côté puis revenait en disant : « Regarde, ça marche. » Selon l’article, il a fait franchir un cap au système d’une manière que ses collègues ont ensuite décrite avec des mots comme « magie », « alchimie » et « accessoires »

    • Des expressions comme « magie », « alchimie » ou « accessoires » donnent l’impression de gens assez entraînés à faire de l’emballage marketing exagéré pour un public non technique, sans contenu concret

  • Noam Shazeer est l’un des co-auteurs de l’article monumental « Attention Is All You Need », qui a présenté l’architecture Transformer

    • C’est une façon de dire les choses qui minimise son importance. L’ordre des auteurs était aléatoire, mais l’idée centrale était vraiment la sienne, à mon avis. Je me demande aussi ce que cela dit de GDM

  • Pour donner du contexte à celles et ceux qui n’ont pas suivi toute l’histoire : Shazeer est un ancien chercheur de Google, entré dans l’entreprise en 2000, et co-auteur de « Attention Is All You Need »
    Il a quitté Google en 2021 pour co-fonder Character.AI, puis en 2024 Google l’a récupéré, avec certains chercheurs de Character.AI, via un accord de licence et de recrutement avec Character.AI. Le montant rapporté était d’environ 2,7 milliards de dollars, et il est ensuite devenu co-responsable de Gemini. Et maintenant il quitte à nouveau Google pour rejoindre OpenAI, ce qui en fait une période intéressante

    • La raison de son premier départ de Google était que l’entreprise ne voulait pas lancer le produit de type chatbot qu’il pensait possible. Google a dépensé énormément pour le faire revenir et en faire l’un des responsables de Gemini
    • J’ai découvert Noam lors du podcast de Dwarkesh avec Jeff Dean ; si vous voulez avoir un aperçu de la manière dont les gens de Google voient les choses, je recommande
      https://youtu.be/v0gjI__RyCY?is=nz77XP4KiJy7L1AX
    • À ce niveau-là, je me demande si la rémunération est vraiment le facteur de séduction, ou si ce qui compte davantage est ce qu’on peut faire. Google pourrait probablement offrir autant qu’OpenAI sur le plan financier, donc peut-être qu’une vieille entreprise a simplement plus de mal à réunir des conditions vraiment atypiques
    • Je me demande comment quelqu’un qui a été acquis peut partir en moins de deux ans
    • J’aimerais bien qu’on finisse par conclure que « Hopfield Networks is All You Need »

  • Waouh, il est revenu il n’y a pas si longtemps, qu’est-ce qui a bien pu le pousser à repartir ?
    J’espère que ce n’est pas exact, mais j’ai peur que ça le soit : https://x.com/signulll/status/2067446889956430273

    • Pour celles et ceux qui ne veulent pas cliquer sur le lien ci-dessus, voici le lien nitter : https://nitter.net/signulll/status/2067446889956430273
    • signull ressemble moins à un initié reconnu du secteur qu’à un compte anonyme aux propos agressifs, mais au moins, vu de l’extérieur, il semble assez bien capter la manière dont Sam Altman contribue à OpenAI
    • Si je devais parier, l’argent a probablement joué un rôle
    • On dirait un épisode de Silicon Valley. C’est dommage, il y aurait énormément de matière drôle si la série était relancée aujourd’hui
    • Je dirais que c’est à cause de « l’argent » et d’une grande quantité de non-sens du côté d’Altman

  • [Modification : mon commentaire répondait à l’origine à un commentaire qui appelait Noam un autre « Scam Altman », mais le parent a changé. Peu importe que le sous-fil d’origine ait été nettoyé, mais il me semble que ce contexte est nécessaire pour comprendre.]
    Noam est quelqu’un de réellement très doué, et il était assez légendaire dans l’ingénierie interne de Google à l’époque des années 2000. Il y a cette histoire selon laquelle Paul Buchheit l’a interrogé avec une question d’entretien du type « comment construiriez-vous un correcteur orthographique ? », et il a imaginé quelque chose de meilleur que l’état de l’art de l’époque ; ensuite, il aurait pratiquement créé le correcteur orthographique de Google comme premier projet de Noogler de deux semaines
    https://www.youtube.com/watch?v=gilk-76W9rE&t=60

    • S’il était aussi intelligent, alors il savait évidemment ce qu’il faisait ; je ne vois pas comment on peut prétendre que tout cela n’était qu’un accident
      « Google and Character.AI agree to settle lawsuits over teen suicides » - https://www.axios.com/2026/01/07/google-character-ai-lawsuit...
      Attention. C’est extrêmement choquant : https://www.judiciary.senate.gov/imo/media/doc/e2e8fc50-a9ac...
    • Waouh, cela voudrait dire qu’il résolvait déjà des problèmes avec l’IA en 2000. Ce correcteur orthographique était entraîné sur le web et est devenu le premier outil d’IA largement utilisé ; il avait donc plusieurs décennies d’avance

  • https://old.reddit.com/r/singularity/comments/1u8xc9m/most_l...
    Il semble y avoir là quelques éléments de réflexion. Édition : le post semble avoir été supprimé, mais les commentaires restent visibles. En une phrase, même en étant généreux, cette personne était politiquement très explicite et portait des convictions fortes.

  • C’est une très mauvaise nouvelle pour Gemini. Le petit rebond de l’an dernier avec 2.5 Pro semblait être porté par Noam.

    • Honnêtement, à long terme, je pense que ça n’aura pas beaucoup d’impact. Les modèles n’ont pas de moat et deviennent de plus en plus des commodités.
      Cela dit, Google est plutôt bien positionné. Il ne déverse pas autant d’argent dans l’IA qu’Anthropic/OpenAI, et dispose de gammes de produits dans lesquelles intégrer l’IA. En plus, avec son modèle publicitaire déjà mature, c’est peut-être même de ce côté-là qu’on pourrait voir un peu de vrai chiffre d’affaires issu des grands modèles de langage.

  • Première question : combien OpenAI a-t-il dépensé pour ça ?
    Deuxième question : pourquoi OpenAI dépenserait-il cet argent pour débaucher chez Google, qui peut clairement payer davantage en recrutement, plutôt que chez Anthropic, qui mène le marché tout en ayant certaines contraintes financières ?

    • D’après les articles liés, les gens d’Anthropic semblent bien plus loyaux, et les tentatives de débauchage d’OpenAI et Meta n’ont globalement pas eu beaucoup de succès.

  • Waouh, Google a proposé des milliards de dollars pour faire revenir Noam. Si les informations sont exactes, OAI a vraiment réalisé quelque chose d’impressionnant.

  • Le recrutement dans l’IA commence de plus en plus à ressembler à un marché des agents libres dans le sport.
    Karpathy part chez Anthropic, et maintenant Noam chez OpenAI.

    • Je croyais que Karpathy allait chez OpenAI.