Chaque fois que Karpathy quitte une entreprise, on a l’impression que le domaine fait un bond en avant parce qu’il crée d’excellents contenus pédagogiques pendant son temps libre
Tu as des exemples ? Je ne connais pas si bien ce domaine
Oui, j’espère que cette fois il y aura beaucoup de contenus liés à l’open source
Karpathy est vraiment un excellent enseignant. J’ai suivi son cours de vision par ordinateur, et j’aimerais qu’il enseigne davantage et qu’il s’y consacre sérieusement
Le fait d’être un influenceur IA populaire ne veut pas dire qu’on est un bon chercheur, et cela semble même être assez négativement corrélé au fait d’être un bon dirigeant ou fondateur
J’aimerais qu’il revienne tranquillement à cet art perdu, aujourd’hui désespérément nécessaire, d’expliquer avec élégance des choses complexes, et qu’il n’oriente pas trop son temps vers des pertes de temps avec les charlatans de la Silicon Valley
Plus j’y pense, plus je me dis que voir ses tweets arriver directement en première page de Hacker News doit avoir pas mal d’effet sur une personne. À cause du nom et de l’influence, les propositions et opportunités affluent, mais ce n’est pas forcément parce que c’est le poste qui lui convient le mieux
J’aurais aimé que la connaissance soit correctement rémunérée. YouTube semble être ce qui s’en rapproche le plus, mais les éducateurs sur YouTube montrent aussi combien de temps ils doivent consacrer à attirer des vues au lieu d’enseigner une véritable expertise
Le fait que les propositions affluent à cause du nom et de l’influence plutôt que de l’adéquation réelle, c’est malheureusement un bon résumé de la vie. Il est rare que la personne la plus adaptée obtienne un poste donné ; elle peut être écartée parce qu’elle est surqualifiée, recalée au stade RH, ou refusée pour des raisons floues comme les exigences de retour au bureau, le rejet d’une contre-offre ou des facteurs illégaux non divulgués
C’est un jeu médiocre, donc il est difficile de blâmer ceux qui utilisent les cartes qu’on leur a distribuées
Il m’arrive de souhaiter que le métier d’enseignant soit davantage valorisé dans son ensemble. J’aimerais gagner ma vie en enseignant sans faire de recherche
Je pense que les bons enseignants font d’excellents chercheurs. Il faut très bien comprendre son domaine, anticiper et se poser soi-même les bonnes questions, toujours regarder le domaine avec un œil neuf, bien collaborer et, surtout, avoir de bonnes capacités de communication
Les grands pédagogues comme Karpathy construisent quelque chose depuis zéro et l’expliquent de façon à ce que je puisse le comprendre. Je me demande si c’est une question de talent de l’enseignant, ou si c’est simplement que des étudiants comme moi n’ont pas le niveau nécessaire pour comprendre d’autres supports
Petite correction : ce n’est pas “b-lined” mais bee-lined
En général je ne relève pas ce genre de chose, mais “b-lined” pourrait se lire avec le sens opposé, comme dans “B-list celebrity”, c’est-à-dire une priorité moindre
Honnêtement, OpenAI donne l’impression de perdre rapidement de son éclat
Les plugins ont été un échec, les GPTs font un peu mieux mais on ne voit toujours pas de product-market fit. GPT-4 est encore sur le trône, mais il n’est plus aussi écrasant qu’avant, et comme ils ne publient pas leurs articles, il n’est même pas clair qu’ils fassent encore de la bonne recherche
Maintenant, GPT-5 doit être incroyablement bon, mais je ne sais pas si ce sera vraiment le cas
Je sais que ce domaine évolue particulièrement vite, mais GPT-4 a moins d’un an. Dire qu’ils perdent de leur éclat simplement parce qu’ils ne sortent pas un nouveau modèle révolutionnaire chaque trimestre me semble un peu ridicule
Avec l’explosion de la popularité et l’importance croissante des questions éthiques, ils ont peut-être besoin de temps pour peaufiner correctement certains aspects au lieu de tout publier au plus vite
Je viens d’essayer Gemini Ultra, et j’ai été assez choqué de voir à quel point c’était inférieur à GPT-4. Au moindre début de question de code, il hallucine à chaque fois une nouvelle syntaxe inexistante, puis demande si l’on veut continuer avec une option A ou B qui ne fonctionne pas et n’existe même pas, ce qui en fait une perte de temps étrange et frustrante
Ce n’est qu’après avoir perdu une heure à essayer de lui faire produire quelque chose dans la langue demandée que je me suis rendu compte que c’était totalement inutile
C’est étonnant que Google soit à ce point à la traîne et ait lancé un produit aussi sans valeur. Et le culot d’essayer de le faire payer, en plus
Bien sûr, j’attends GPT-5 avec impatience, mais même avec de légères améliorations, OpenAI reste largement devant
Les employés de Google doivent probablement espérer qu’OpenAI disparaisse. À cause d’OpenAI, Google donne exactement l’image d’une entreprise comme IBM
La scène amusante est ici : https://twitter.com/Suhail/status/1757573182138290284
En faisant tourner le modèle Mistral 80GB avec Ollama, on obtient des résultats comparables, voire meilleurs, que ChatGPT 3.5. Je pense que c’est une bonne chose pour le monde que la magie ne soit plus l’apanage d’OpenAI
La vitesse à laquelle les concurrents l’ont rattrapé, rien que sur les trois derniers mois, est impressionnante
Ce serait bien si OpenAI perdait rapidement de son éclat
Je n’ai aucune idée de ce qui se passe réellement dans cette entreprise, mais quand Altman a été évincé, le comportement des employés sur Twitter était franchement effrayant, plein de signaux d’alerte et d’une très mauvaise ambiance
C’est peut-être un avis impopulaire, mais j’ai l’impression que la réputation et l’influence de Karpathy viennent presque entièrement de son talent d’enseignant et de communicateur
Par rapport à cette renommée, je ne sais pas vraiment à quel point ses contributions concrètes ont fait avancer l’IA
Je lui suis profondément reconnaissant pour son contenu pédagogique, et je suis heureux qu’il ait pu acquérir de l’influence et poursuivre sa carrière grâce à cela. J’espère que cela lui aura permis de devenir assez riche pour se consacrer à 100 % à l’enseignement
Je ne suis pas d’accord. Je pense qu’on sous-estime souvent la valeur d’un excellent matériel pédagogique. Karpathy a redonné de l’élan à un domaine de l’IA saturé d’explications mathématiques inutilement complexes et denses
Par exemple, CS 231 était l’un des cours d’IA/ML les plus populaires à Stanford. Quand on pense au nombre d’étudiants qui l’ont suivi vers 2015-2017 puis ont progressé ensuite dans l’IA, il n’est pas exagéré de dire qu’une part importante du mérite revient à ce cours
Un enseignant capable de guider pas à pas tout en montrant à quel point les choses peuvent être simplifiées a une valeur immense. Il joue un rôle clé pour abaisser les barrières d’entrée du domaine
À long terme, ce sont les nouveaux talents entrés dans l’IA grâce à des ressources comme celles de Karpathy qui produiront les grandes percées. Son “Hacker's Guide to Neural Networks”, qui date de presque 10 ans, m’a offert l’un des moments de compréhension les plus limpides pour saisir la rétropropagation
L’enseignement et la communication sont importants. Ils attirent de nouvelles personnes dans le domaine et aident aussi celles qui y sont déjà à progresser, et les deux sont indispensables à la croissance et au progrès sur le long terme
Réserver l’expression « contribution réelle » aux seules activités non pédagogiques revient à minimiser totalement le rôle que jouent les grands enseignants dans la marche du progrès. Sans cet enseignement, où en serions-nous aujourd’hui ?
Il a contribué à faire avancer l’IA. Pas besoin d’ajouter la réserve « réelle ». Perdre un grand enseignant devrait être considéré comme aussi regrettable que de perdre un grand ingénieur
Karpathy a mené des travaux pionniers sur la génération de légendes d’images et l’alignement des espaces sémantiques vision-texte. C’est un fondement conceptuel des générateurs d’images modernes
Il a aussi brillamment analysé les réseaux neuronaux récurrents, et a livré l’une des premières, et des meilleures, explications de ce qui se passe à l’intérieur des modèles de langage
La section commentaires de Hacker News est probablement l’un des forums les moins légitimes qu’on puisse imaginer pour évaluer publiquement le CV de quelqu’un. À la limite, le Parlement peut-être
Il a dit : « Pour l’instant, mon plan est de travailler sur mes projets personnels et de voir ce que ça donne. Ceux qui me suivent depuis longtemps auront une idée de ce à quoi cela pourrait ressembler » ; est-ce que quelqu’un ici sait de quoi il parle ?
Je pense qu’il parle de sa série YouTube. J’ai hâte
Son ancien profil disait qu’il travaillait sur JARVIS chez OpenAI
Dans sa série vidéo, il construisait une version petite et efficace de GPT-3
On peut le voir sur GitHub : https://github.com/karpathy
Il s’intéresse aussi aux modèles open source et traîne sur /r/localllama
Avec son talent de conteur et même sa capacité à résoudre un Rubik’s Cube, il devrait très bien s’en sortir aussi dans les fêtes pour enfants. En plus, il peut enseigner et fabriquer des choses. Il n’a pas encore gravi l’Everest ?
Tout à fait d’accord. C’était une excellente nouvelle. J’aimerais la voir développée un jour sous une forme plus ample
Va-t-il se consacrer entièrement à sa chaîne YouTube ? J’ai hâte. Son contenu est vraiment excellent
Moi aussi. Les miniatures Python pour réseaux neuronaux récurrents qu’il avait publiées il y a environ 8 ans, comme char-rnn, m’ont énormément aidé à apprendre
Cela lui ferait sans doute renoncer à plusieurs millions de dollars. Bien sûr, il est probablement à l’aise financièrement et pourrait prendre sa retraite tôt, mais plusieurs millions de dollars, ça reste une somme énorme
Cet article a un paywall sévère, donc je vais fusionner ces commentaires ici. Merci de patienter
Vu son tweet épinglé, « le nouveau langage de programmation le plus brûlant, c’est l’anglais », le message à la fin de son texte — « ceux qui me connaissent savent ce que je fais ;) » — semble suggérer une sorte d’outil pour développeurs
Ce serait logique pour un visionnaire technique, et les hackers semblent incapables de résister à l’envie de fabriquer des outils qui les rendent eux-mêmes meilleurs
Quelqu’un a-t-il des informations meilleures que ma spéculation oisive ?
Il va devenir YouTuber à plein temps
Il a spéculé plusieurs fois sur un système d’exploitation basé sur les LLM. Si c’est ça, ce serait vraiment génial
1 commentaires
Avis sur Hacker News
Chaque fois que Karpathy quitte une entreprise, on a l’impression que le domaine fait un bond en avant parce qu’il crée d’excellents contenus pédagogiques pendant son temps libre
Karpathy est vraiment un excellent enseignant. J’ai suivi son cours de vision par ordinateur, et j’aimerais qu’il enseigne davantage et qu’il s’y consacre sérieusement
Le fait d’être un influenceur IA populaire ne veut pas dire qu’on est un bon chercheur, et cela semble même être assez négativement corrélé au fait d’être un bon dirigeant ou fondateur
J’aimerais qu’il revienne tranquillement à cet art perdu, aujourd’hui désespérément nécessaire, d’expliquer avec élégance des choses complexes, et qu’il n’oriente pas trop son temps vers des pertes de temps avec les charlatans de la Silicon Valley
Plus j’y pense, plus je me dis que voir ses tweets arriver directement en première page de Hacker News doit avoir pas mal d’effet sur une personne. À cause du nom et de l’influence, les propositions et opportunités affluent, mais ce n’est pas forcément parce que c’est le poste qui lui convient le mieux
Le fait que les propositions affluent à cause du nom et de l’influence plutôt que de l’adéquation réelle, c’est malheureusement un bon résumé de la vie. Il est rare que la personne la plus adaptée obtienne un poste donné ; elle peut être écartée parce qu’elle est surqualifiée, recalée au stade RH, ou refusée pour des raisons floues comme les exigences de retour au bureau, le rejet d’une contre-offre ou des facteurs illégaux non divulgués
C’est un jeu médiocre, donc il est difficile de blâmer ceux qui utilisent les cartes qu’on leur a distribuées
En général je ne relève pas ce genre de chose, mais “b-lined” pourrait se lire avec le sens opposé, comme dans “B-list celebrity”, c’est-à-dire une priorité moindre
Honnêtement, OpenAI donne l’impression de perdre rapidement de son éclat
Les plugins ont été un échec, les GPTs font un peu mieux mais on ne voit toujours pas de product-market fit. GPT-4 est encore sur le trône, mais il n’est plus aussi écrasant qu’avant, et comme ils ne publient pas leurs articles, il n’est même pas clair qu’ils fassent encore de la bonne recherche
Maintenant, GPT-5 doit être incroyablement bon, mais je ne sais pas si ce sera vraiment le cas
Avec l’explosion de la popularité et l’importance croissante des questions éthiques, ils ont peut-être besoin de temps pour peaufiner correctement certains aspects au lieu de tout publier au plus vite
Ce n’est qu’après avoir perdu une heure à essayer de lui faire produire quelque chose dans la langue demandée que je me suis rendu compte que c’était totalement inutile
C’est étonnant que Google soit à ce point à la traîne et ait lancé un produit aussi sans valeur. Et le culot d’essayer de le faire payer, en plus
Bien sûr, j’attends GPT-5 avec impatience, mais même avec de légères améliorations, OpenAI reste largement devant
La scène amusante est ici : https://twitter.com/Suhail/status/1757573182138290284
La vitesse à laquelle les concurrents l’ont rattrapé, rien que sur les trois derniers mois, est impressionnante
Je n’ai aucune idée de ce qui se passe réellement dans cette entreprise, mais quand Altman a été évincé, le comportement des employés sur Twitter était franchement effrayant, plein de signaux d’alerte et d’une très mauvaise ambiance
C’est peut-être un avis impopulaire, mais j’ai l’impression que la réputation et l’influence de Karpathy viennent presque entièrement de son talent d’enseignant et de communicateur
Par rapport à cette renommée, je ne sais pas vraiment à quel point ses contributions concrètes ont fait avancer l’IA
Je lui suis profondément reconnaissant pour son contenu pédagogique, et je suis heureux qu’il ait pu acquérir de l’influence et poursuivre sa carrière grâce à cela. J’espère que cela lui aura permis de devenir assez riche pour se consacrer à 100 % à l’enseignement
Cet article a inspiré Alec Radford d’OpenAI à mener la recherche sur Unsupervised sentiment neuron : https://openai.com/research/unsupervised-sentiment-neuron
OpenAI a ensuite décidé de voir ce qui se passerait en faisant monter en échelle ce modèle à l’aide de la nouvelle architecture Transformer créée par Google, et a produit ce qu’on a appelé GPT : https://cdn.openai.com/research-covers/language-unsupervised...
Par exemple, CS 231 était l’un des cours d’IA/ML les plus populaires à Stanford. Quand on pense au nombre d’étudiants qui l’ont suivi vers 2015-2017 puis ont progressé ensuite dans l’IA, il n’est pas exagéré de dire qu’une part importante du mérite revient à ce cours
Un enseignant capable de guider pas à pas tout en montrant à quel point les choses peuvent être simplifiées a une valeur immense. Il joue un rôle clé pour abaisser les barrières d’entrée du domaine
À long terme, ce sont les nouveaux talents entrés dans l’IA grâce à des ressources comme celles de Karpathy qui produiront les grandes percées. Son “Hacker's Guide to Neural Networks”, qui date de presque 10 ans, m’a offert l’un des moments de compréhension les plus limpides pour saisir la rétropropagation
Réserver l’expression « contribution réelle » aux seules activités non pédagogiques revient à minimiser totalement le rôle que jouent les grands enseignants dans la marche du progrès. Sans cet enseignement, où en serions-nous aujourd’hui ?
Il a contribué à faire avancer l’IA. Pas besoin d’ajouter la réserve « réelle ». Perdre un grand enseignant devrait être considéré comme aussi regrettable que de perdre un grand ingénieur
Il a aussi brillamment analysé les réseaux neuronaux récurrents, et a livré l’une des premières, et des meilleures, explications de ce qui se passe à l’intérieur des modèles de langage
Il a dit : « Pour l’instant, mon plan est de travailler sur mes projets personnels et de voir ce que ça donne. Ceux qui me suivent depuis longtemps auront une idée de ce à quoi cela pourrait ressembler » ; est-ce que quelqu’un ici sait de quoi il parle ?
On peut le voir sur GitHub : https://github.com/karpathy
J’aimerais qu’il écrive davantage de fiction pendant son temps libre. J’avais vraiment adoré https://karpathy.github.io/2015/11/14/ai/
Va-t-il se consacrer entièrement à sa chaîne YouTube ? J’ai hâte. Son contenu est vraiment excellent
Il semble avoir rejoint OpenAI de nouveau il y a presque exactement un an : https://twitter.com/karpathy/status/1623476659369443328
Article connexe : “Andrej Karpathy Departs OpenAI”[0] (159 points, il y a 2 heures, 71 commentaires)
[0]: https://news.ycombinator.com/item?id=39365288
Vu son tweet épinglé, « le nouveau langage de programmation le plus brûlant, c’est l’anglais », le message à la fin de son texte — « ceux qui me connaissent savent ce que je fais ;) » — semble suggérer une sorte d’outil pour développeurs
Ce serait logique pour un visionnaire technique, et les hackers semblent incapables de résister à l’envie de fabriquer des outils qui les rendent eux-mêmes meilleurs
Quelqu’un a-t-il des informations meilleures que ma spéculation oisive ?