30 Papers — Synthèse de la liste des articles clés en IA recommandés par Ilya Sutskever

baeba · 2026-07-08T09:33:20+09:00

Un site qui rassemble des articles fondamentaux du machine learning, à partir d’une liste d’articles clés en IA qu’Ilya Sutskever aurait recommandée à John Carmack, afin de les rendre plus faciles à suivre pour les débutants La liste suit les grandes lignes d’évolution de l’IA moderne : deep learning, computer vision, modélisation séquentielle, attention, Transformers, graph neural networks, scaling laws, théorie de l’information, théorie de la complexité, etc. Elle ne se contente pas d’énumérer des articles : elle regroupe aussi notes de cours, articles explicatifs et explications fondées sur le code afin d’abaisser la barrière d’entrée vers les articles originaux Les lecteurs qui souhaitent comprendre les grands modèles de langage modernes et les systèmes de deep learning peuvent y parcourir en un seul endroit les points de départ en architectures, techniques d’entraînement et théorie de la complexité Bien qu’elle soit connue à l’origine comme une liste de 30 articles, le site web ne présente actuellement que 27 entrées Introduction Une liste qui rassemble les ressources clés du progrès de l’IA Ce site web est un projet qui réunit des articles et ressources d’apprentissage ayant marqué des tournants majeurs dans la recherche en IA. La liste est construite autour de la rumeur selon laquelle Ilya Sutskever l’aurait recommandée à John Carmack. L’auteur du site indique n’avoir actuellement retrouvé que 27 des 30 articles au total. Chaque entrée comprend le titre de l’article, un résumé de son contenu essentiel et des informations sur ses principaux contributeurs. L’objectif de ces ressources est d’organiser les idées qui ont servi de base aux technologies d’IA modernes afin de les appréhender d’un seul coup d’œil. Développement Évolution de la computer vision et des réseaux de neurones convolutifs CS231n: Convolutional Neural Networks for Visual Recognition Une ressource pédagogique qui explique les réseaux de neurones convolutifs depuis les bases. Elle couvre progressivement le sujet, des classifieurs linéaires aux modèles profonds de reconnaissance d’images. Elle sert de ressource d’introduction pour apprendre les CNN dans le domaine de la computer vision. ImageNet Classification with Deep Convolutional Neural Networks L’article d’AlexNet, qui a remporté le concours ImageNet avec une large avance de performance. Il a démontré l’efficacité des réseaux de neurones convolutifs profonds pour la classification d’images à grande échelle. Il est considéré comme un article emblématique ayant déclenché l’ère moderne du deep learning. Deep Residual Learning for Image Recognition L’article de ResNet, qui introduit les connexions résiduelles. Le réseau est conçu pour apprendre non pas toute la transformation, mais la variation par rapport à l’entrée. Il a rendu possible l’entraînement de réseaux de neurones très profonds, comptant des centaines de couches. Identity Mappings in Deep Residual Networks Une étude ultérieure sur ResNet, qui analyse pourquoi les raccourcis identité sont efficaces. Elle propose le bloc résiduel à pré-activation, améliorant la structure des réseaux résiduels. Elle a contribué à la stabilité de l’optimisation et à l’amélioration des performances des réseaux profonds. Multi-Scale Context Aggregation by Dilated Convolutions Présente une méthode pour élargir le champ réceptif sans perte de résolution grâce aux dilated convolutions. Elle permet d’exploiter plus largement les informations de contexte dans les tâches de dense prediction comme la segmentation d’images. Elle a contribué à intégrer des caractéristiques à grande portée tout en conservant les informations spatiales fines. Modèles séquentiels et résolution du problème des dépendances longues The Unreasonable Effectiveness of Recurrent Neural Networks Un billet de blog pratique expérimentant la génération de texte avec des RNN au niveau caractère. Il montre par des exemples que les RNN peuvent capturer une part importante de la structure et des motifs présents dans les données. Il explique intuitivement le potentiel de la modélisation de données séquentielles. Understanding LSTM Networks Une ressource qui explique visuellement la structure des portes des LSTM et la manière dont l’information y circule. Elle se concentre sur la compréhension du principe permettant de conserver l’information dans de longues séquences. Elle est largement utilisée comme ressource d’introduction pour les personnes qui apprennent les LSTM pour la première fois. Recurrent Neural Network Regularization Présente une méthode appropriée pour appliquer le dropout aux LSTM. Explique que le dropout doit être appliqué aux connexions non récurrentes, et non aux connexions récurrentes. A contribué à réduire le surapprentissage dans les grands réseaux de neurones récurrents. Order Matters: Sequence to Sequence for Sets Analyse l’impact de l’ordre des entrées et des sorties sur les performances des modèles sequence-to-sequence. Traite les problèmes qui surviennent lorsque des données fondamentalement ensemblistes sont traitées avec des modèles séquentiels. Propose une réflexion sur les manières de modéliser des structures de données sans ordre. Transition structurelle vers l’attention et les Transformers Neural Machine Translation by Jointly Learning to Align and Translate Un article clé qui introduit le mécanisme d’attention dans la traduction automatique. Il permet au modèle de ne pas dépendre d’un unique vecteur de résumé fixe, mais de se référer directement aux mots pertinents du texte source. Il est devenu une base importante des évolutions ultérieures dans l’architecture des modèles de traitement du langage naturel. Pointer Networks Un modèle séquentiel conçu pour que la sortie pointe vers des positions précises de l’entrée. Il convient aux problèmes dont la réponse s’exprime comme une sélection ou un ordonnancement d’éléments de l’entrée. Il présente une architecture de modèle utilisable pour l’optimisation combinatoire et les problèmes de prédiction structurée. Attention Is All You Need L’article qui propose l’architecture Transformer. Il supprime la récurrence et traite les données séquentielles uniquement avec le self-attention. Il est devenu le socle architectural central des grands modèles de langage modernes. The Annotated Transformer Une ressource qui explique l’article Transformer ligne par ligne avec du code exécutable. Elle aide à comprendre la structure de l’article original du point de vue de l’implémentation réelle. Elle sert de ressource d’apprentissage pour réduire l’écart entre l’article de recherche et l’implémentation pratique. Mémoire, raisonnement relationnel et apprentissage sur structures de graphes Neural Turing Machines Un modèle qui associe un réseau de neurones à une mémoire externe lisible et inscriptible. Il contrôle la mémoire au moyen d’une attention différentiable. Il a montré la possibilité d’apprendre des algorithmes simples à partir de données d’exemple. A Simple Neural Network Module for Relational Reasoning L’article qui propose les relation networks. Il ajoute aux réseaux de neurones un module capable de raisonner sur les relations entre paires d’objets. Il présente une structure utile pour le raisonnement visuel et la résolution de problèmes fondés sur les relations. Relational Recurrent Neural Networks Combine un réseau récurrent avec une mémoire fondée sur le self-attention. La conception permet aux éléments de mémoire stockés d’interagir entre eux. Vise à améliorer les performances sur les tâches nécessitant un raisonnement relationnel au fil du temps. Neural Message Passing for Quantum Chemistry Explique les graph neural networks de manière unifiée à travers un message passing framework. Applique l’apprentissage fondé sur les graphes à la prédiction des propriétés de structures moléculaires. Peut être considéré comme un article qui organise les bases structurelles de la recherche sur les graph neural networks. Entraînement de grands modèles et scaling laws Scaling Laws for Neural Language Models Mesure que la perte des modèles de langage diminue selon une forme de power law en fonction de la taille du modèle, des données et du volume de calcul. Fournit une base empirique pour construire des modèles à grande échelle. Est devenu ensuite un repère important pour les stratégies de développement des grands modèles de langage. GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism Présente une méthode de pipeline parallelism pour entraîner de très grands réseaux de neurones répartis sur plusieurs appareils. Rend pratique l’entraînement de grands modèles en répartissant efficacement le travail entre les appareils. Fournit une solution côté infrastructure d’entraînement, nécessaire à l’extension de la taille des modèles. Deep Speech 2: End-to-End Speech Recognition in English and Mandarin Un système qui traite la reconnaissance vocale en anglais et en chinois mandarin de bout en bout. Il utilise la connectionist temporal classification pour apprendre des séquences vocales. Il a montré la possibilité de modèles de reconnaissance vocale extensibles à différents environnements linguistiques. Comprendre l’apprentissage sous l’angle de la théorie de l’information, de la compression et de la complexité Keeping Neural Networks Simple by Minimizing the Description Length of the Weights Une étude précoce qui interprète la généralisation des réseaux de neurones en la reliant à la longueur de description des poids. Elle propose l’idée qu’un bon modèle possède des poids pouvant être décrits avec peu de bits. Elle explique la relation entre compression et généralisation du point de vue de la théorie de l’information. A Tutorial Introduction to the Minimum Description Length Principle Une ressource tutorielle qui présente le principe de longueur minimale de description. Elle interprète l’apprentissage comme le processus consistant à trouver le modèle qui décrit les données de la manière la plus courte. Elle fournit les concepts de base nécessaires pour comprendre la sélection de modèles et l’apprentissage fondé sur la compression. Kolmogorov Complexity Une théorie portant sur la longueur du programme le plus court capable de générer une chaîne de caractères. Elle fournit une base formelle à la description length et à l’algorithmic randomness. Elle est liée aux discussions sur la compression, la généralisation et la complexité des modèles d’IA. The First Law of Complexodynamics Un texte qui explore une loi expliquant pourquoi la complexité augmente puis diminue dans les systèmes fermés. Il ne réduit pas la complexité à l’entropie, mais la traite comme une propriété dynamique distincte. Il soulève des questions conceptuelles sur l’évolution temporelle des systèmes complexes. Quantifying the Rise and Fall of Complexity in Closed Systems: The Coffee Automaton Une étude qui modélise le mélange du café et de la crème au moyen d’automates cellulaires. Elle analyse le phénomène par lequel la complexité augmente puis diminue à mesure que le système se rapproche de l’équilibre. Elle illustre une tentative de quantifier l’évolution temporelle de la complexité. Modèles génératifs et concept d’intelligence universelle Variational Lossy Autoencoder Un modèle qui combine un autoencodeur variationnel avec un décodeur autorégressif. Il propose une méthode pour contrôler quelles informations le latent code doit préserver. Il traite l’équilibre entre apprentissage de représentations et préservation de l’information dans les modèles génératifs. Machine Super Intelligence Une thèse de doctorat qui propose une méthode de mesure universelle de l’intelligence des machines. Elle explore théoriquement les propriétés et les conséquences d’agents extrêmement puissants. Elle peut être vue comme l’une des bases formelles des discussions sur l’intelligence artificielle générale et la superintelligence. Conclusion Une liste de référence qui condense les grands axes de développement de l’IA moderne Cette liste organise, par grandes trajectoires techniques, les concepts majeurs qui ont guidé le développement de l’IA moderne. Elle montre les transformations structurelles allant des premiers modèles de computer vision aux RNN, LSTM, attention, Transformers et scaling laws. Elle couvre largement l’optimisation des réseaux de neurones, l’entraînement à grande échelle, l’apprentissage sur structures de graphes, la théorie de l’information et la théorie de la complexité. Il ne s’agit pas d’une simple liste d’articles d’un domaine unique, mais plutôt d’un parcours d’apprentissage multidimensionnel pour comprendre l’IA moderne. Pour les chercheurs et développeurs en IA, elle peut servir de ressource de base pour saisir à la fois le contexte historique, les principes clés et les directions de recherche d’une technologie.

(30papers.com)

21 points par baeba 4 시간 전 | 2 commentaires | Partager sur WhatsApp

Un site qui rassemble des articles fondamentaux du machine learning, à partir d’une liste d’articles clés en IA qu’Ilya Sutskever aurait recommandée à John Carmack, afin de les rendre plus faciles à suivre pour les débutants
La liste suit les grandes lignes d’évolution de l’IA moderne : deep learning, computer vision, modélisation séquentielle, attention, Transformers, graph neural networks, scaling laws, théorie de l’information, théorie de la complexité, etc.
Elle ne se contente pas d’énumérer des articles : elle regroupe aussi notes de cours, articles explicatifs et explications fondées sur le code afin d’abaisser la barrière d’entrée vers les articles originaux
Les lecteurs qui souhaitent comprendre les grands modèles de langage modernes et les systèmes de deep learning peuvent y parcourir en un seul endroit les points de départ en architectures, techniques d’entraînement et théorie de la complexité
Bien qu’elle soit connue à l’origine comme une liste de 30 articles, le site web ne présente actuellement que 27 entrées

Introduction

Une liste qui rassemble les ressources clés du progrès de l’IA

Ce site web est un projet qui réunit des articles et ressources d’apprentissage ayant marqué des tournants majeurs dans la recherche en IA.
La liste est construite autour de la rumeur selon laquelle Ilya Sutskever l’aurait recommandée à John Carmack.
L’auteur du site indique n’avoir actuellement retrouvé que 27 des 30 articles au total.
Chaque entrée comprend le titre de l’article, un résumé de son contenu essentiel et des informations sur ses principaux contributeurs.
L’objectif de ces ressources est d’organiser les idées qui ont servi de base aux technologies d’IA modernes afin de les appréhender d’un seul coup d’œil.

Développement

Évolution de la computer vision et des réseaux de neurones convolutifs

CS231n: Convolutional Neural Networks for Visual Recognition
- Une ressource pédagogique qui explique les réseaux de neurones convolutifs depuis les bases.
- Elle couvre progressivement le sujet, des classifieurs linéaires aux modèles profonds de reconnaissance d’images.
- Elle sert de ressource d’introduction pour apprendre les CNN dans le domaine de la computer vision.
ImageNet Classification with Deep Convolutional Neural Networks
- L’article d’AlexNet, qui a remporté le concours ImageNet avec une large avance de performance.
- Il a démontré l’efficacité des réseaux de neurones convolutifs profonds pour la classification d’images à grande échelle.
- Il est considéré comme un article emblématique ayant déclenché l’ère moderne du deep learning.
Deep Residual Learning for Image Recognition
- L’article de ResNet, qui introduit les connexions résiduelles.
- Le réseau est conçu pour apprendre non pas toute la transformation, mais la variation par rapport à l’entrée.
- Il a rendu possible l’entraînement de réseaux de neurones très profonds, comptant des centaines de couches.
Identity Mappings in Deep Residual Networks
- Une étude ultérieure sur ResNet, qui analyse pourquoi les raccourcis identité sont efficaces.
- Elle propose le bloc résiduel à pré-activation, améliorant la structure des réseaux résiduels.
- Elle a contribué à la stabilité de l’optimisation et à l’amélioration des performances des réseaux profonds.
Multi-Scale Context Aggregation by Dilated Convolutions
- Présente une méthode pour élargir le champ réceptif sans perte de résolution grâce aux dilated convolutions.
- Elle permet d’exploiter plus largement les informations de contexte dans les tâches de dense prediction comme la segmentation d’images.
- Elle a contribué à intégrer des caractéristiques à grande portée tout en conservant les informations spatiales fines.

Modèles séquentiels et résolution du problème des dépendances longues

The Unreasonable Effectiveness of Recurrent Neural Networks
- Un billet de blog pratique expérimentant la génération de texte avec des RNN au niveau caractère.
- Il montre par des exemples que les RNN peuvent capturer une part importante de la structure et des motifs présents dans les données.
- Il explique intuitivement le potentiel de la modélisation de données séquentielles.
Understanding LSTM Networks
- Une ressource qui explique visuellement la structure des portes des LSTM et la manière dont l’information y circule.
- Elle se concentre sur la compréhension du principe permettant de conserver l’information dans de longues séquences.
- Elle est largement utilisée comme ressource d’introduction pour les personnes qui apprennent les LSTM pour la première fois.
Recurrent Neural Network Regularization
- Présente une méthode appropriée pour appliquer le dropout aux LSTM.
- Explique que le dropout doit être appliqué aux connexions non récurrentes, et non aux connexions récurrentes.
- A contribué à réduire le surapprentissage dans les grands réseaux de neurones récurrents.
Order Matters: Sequence to Sequence for Sets
- Analyse l’impact de l’ordre des entrées et des sorties sur les performances des modèles sequence-to-sequence.
- Traite les problèmes qui surviennent lorsque des données fondamentalement ensemblistes sont traitées avec des modèles séquentiels.
- Propose une réflexion sur les manières de modéliser des structures de données sans ordre.

Transition structurelle vers l’attention et les Transformers

Neural Machine Translation by Jointly Learning to Align and Translate
- Un article clé qui introduit le mécanisme d’attention dans la traduction automatique.
- Il permet au modèle de ne pas dépendre d’un unique vecteur de résumé fixe, mais de se référer directement aux mots pertinents du texte source.
- Il est devenu une base importante des évolutions ultérieures dans l’architecture des modèles de traitement du langage naturel.
Pointer Networks
- Un modèle séquentiel conçu pour que la sortie pointe vers des positions précises de l’entrée.
- Il convient aux problèmes dont la réponse s’exprime comme une sélection ou un ordonnancement d’éléments de l’entrée.
- Il présente une architecture de modèle utilisable pour l’optimisation combinatoire et les problèmes de prédiction structurée.
Attention Is All You Need
- L’article qui propose l’architecture Transformer.
- Il supprime la récurrence et traite les données séquentielles uniquement avec le self-attention.
- Il est devenu le socle architectural central des grands modèles de langage modernes.
The Annotated Transformer
- Une ressource qui explique l’article Transformer ligne par ligne avec du code exécutable.
- Elle aide à comprendre la structure de l’article original du point de vue de l’implémentation réelle.
- Elle sert de ressource d’apprentissage pour réduire l’écart entre l’article de recherche et l’implémentation pratique.

Mémoire, raisonnement relationnel et apprentissage sur structures de graphes

Neural Turing Machines
- Un modèle qui associe un réseau de neurones à une mémoire externe lisible et inscriptible.
- Il contrôle la mémoire au moyen d’une attention différentiable.
- Il a montré la possibilité d’apprendre des algorithmes simples à partir de données d’exemple.
A Simple Neural Network Module for Relational Reasoning
- L’article qui propose les relation networks.
- Il ajoute aux réseaux de neurones un module capable de raisonner sur les relations entre paires d’objets.
- Il présente une structure utile pour le raisonnement visuel et la résolution de problèmes fondés sur les relations.
Relational Recurrent Neural Networks
- Combine un réseau récurrent avec une mémoire fondée sur le self-attention.
- La conception permet aux éléments de mémoire stockés d’interagir entre eux.
- Vise à améliorer les performances sur les tâches nécessitant un raisonnement relationnel au fil du temps.
Neural Message Passing for Quantum Chemistry
- Explique les graph neural networks de manière unifiée à travers un message passing framework.
- Applique l’apprentissage fondé sur les graphes à la prédiction des propriétés de structures moléculaires.
- Peut être considéré comme un article qui organise les bases structurelles de la recherche sur les graph neural networks.

Entraînement de grands modèles et scaling laws

Scaling Laws for Neural Language Models
- Mesure que la perte des modèles de langage diminue selon une forme de power law en fonction de la taille du modèle, des données et du volume de calcul.
- Fournit une base empirique pour construire des modèles à grande échelle.
- Est devenu ensuite un repère important pour les stratégies de développement des grands modèles de langage.
GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism
- Présente une méthode de pipeline parallelism pour entraîner de très grands réseaux de neurones répartis sur plusieurs appareils.
- Rend pratique l’entraînement de grands modèles en répartissant efficacement le travail entre les appareils.
- Fournit une solution côté infrastructure d’entraînement, nécessaire à l’extension de la taille des modèles.
Deep Speech 2: End-to-End Speech Recognition in English and Mandarin
- Un système qui traite la reconnaissance vocale en anglais et en chinois mandarin de bout en bout.
- Il utilise la connectionist temporal classification pour apprendre des séquences vocales.
- Il a montré la possibilité de modèles de reconnaissance vocale extensibles à différents environnements linguistiques.

Comprendre l’apprentissage sous l’angle de la théorie de l’information, de la compression et de la complexité

Keeping Neural Networks Simple by Minimizing the Description Length of the Weights
- Une étude précoce qui interprète la généralisation des réseaux de neurones en la reliant à la longueur de description des poids.
- Elle propose l’idée qu’un bon modèle possède des poids pouvant être décrits avec peu de bits.
- Elle explique la relation entre compression et généralisation du point de vue de la théorie de l’information.
A Tutorial Introduction to the Minimum Description Length Principle
- Une ressource tutorielle qui présente le principe de longueur minimale de description.
- Elle interprète l’apprentissage comme le processus consistant à trouver le modèle qui décrit les données de la manière la plus courte.
- Elle fournit les concepts de base nécessaires pour comprendre la sélection de modèles et l’apprentissage fondé sur la compression.
Kolmogorov Complexity
- Une théorie portant sur la longueur du programme le plus court capable de générer une chaîne de caractères.
- Elle fournit une base formelle à la description length et à l’algorithmic randomness.
- Elle est liée aux discussions sur la compression, la généralisation et la complexité des modèles d’IA.
The First Law of Complexodynamics
- Un texte qui explore une loi expliquant pourquoi la complexité augmente puis diminue dans les systèmes fermés.
- Il ne réduit pas la complexité à l’entropie, mais la traite comme une propriété dynamique distincte.
- Il soulève des questions conceptuelles sur l’évolution temporelle des systèmes complexes.
Quantifying the Rise and Fall of Complexity in Closed Systems: The Coffee Automaton
- Une étude qui modélise le mélange du café et de la crème au moyen d’automates cellulaires.
- Elle analyse le phénomène par lequel la complexité augmente puis diminue à mesure que le système se rapproche de l’équilibre.
- Elle illustre une tentative de quantifier l’évolution temporelle de la complexité.

Modèles génératifs et concept d’intelligence universelle

Variational Lossy Autoencoder
- Un modèle qui combine un autoencodeur variationnel avec un décodeur autorégressif.
- Il propose une méthode pour contrôler quelles informations le latent code doit préserver.
- Il traite l’équilibre entre apprentissage de représentations et préservation de l’information dans les modèles génératifs.
Machine Super Intelligence
- Une thèse de doctorat qui propose une méthode de mesure universelle de l’intelligence des machines.
- Elle explore théoriquement les propriétés et les conséquences d’agents extrêmement puissants.
- Elle peut être vue comme l’une des bases formelles des discussions sur l’intelligence artificielle générale et la superintelligence.

Conclusion

Une liste de référence qui condense les grands axes de développement de l’IA moderne

Cette liste organise, par grandes trajectoires techniques, les concepts majeurs qui ont guidé le développement de l’IA moderne.
Elle montre les transformations structurelles allant des premiers modèles de computer vision aux RNN, LSTM, attention, Transformers et scaling laws.
Elle couvre largement l’optimisation des réseaux de neurones, l’entraînement à grande échelle, l’apprentissage sur structures de graphes, la théorie de l’information et la théorie de la complexité.
Il ne s’agit pas d’une simple liste d’articles d’un domaine unique, mais plutôt d’un parcours d’apprentissage multidimensionnel pour comprendre l’IA moderne.
Pour les chercheurs et développeurs en IA, elle peut servir de ressource de base pour saisir à la fois le contexte historique, les principes clés et les directions de recherche d’une technologie.

2 commentaires

GN⁺ 2 시간 전

Avis sur Hacker News

Je ne m’attendais pas à ce que ce billet suscite autant d’intérêt ; à l’origine, je le voyais comme un petit projet pour aider des amis à se lancer dans la lecture d’articles de recherche.
J’ai reçu beaucoup de retours disant que l’arrière-plan et les animations étaient trop présents ; je pense que j’avais trop privilégié l’effet « cool » au détriment de l’utilisabilité.
J’ai donc ajouté des interrupteurs pour désactiver séparément les mouvements de la page et l’arrière-plan des articles.
Certains demandaient aussi des impressions plus personnelles sur chaque article ; pour quelques articles populaires, j’en ai déjà écrit sur X via @notmcrowley.
Si cela peut aider, je peux les ajouter au site, mais je n’ai pas reçu de formation formelle en ML ou en IA, donc mes interprétations restent personnelles et peuvent être erronées.
Si quelqu’un de plus expérimenté veut contribuer, il peut me contacter.
- Pour ceux qui n’ont jamais utilisé Twitter et n’ont pas l’intention de s’y mettre, ce serait bien d’ajouter ces impressions personnelles au site.
  Comme tes amis, j’essaie de me lancer dans la lecture d’articles de recherche, et cette sélection tombe exactement au bon moment.
Quelqu’un a posté sur X « voici les 30 articles d’Ilya », sans source, sans dire d’où cela venait, et sans être quelqu’un lié à Ilya ou à Carmack.
Et à partir de ça, quelqu’un a fait en vibe coding un site web à peine utilisable, et il se retrouve en une de HN : c’est bien la situation ?
- Un étudiant de première année en informatique s’est intéressé à un sujet, a créé un petit site de compilation d’articles, puis l’a posté sur HN pour le partager avec d’autres.
  Et quelqu’un a laissé un commentaire pas franchement bienveillant : c’est bien la situation.
- Les listes de ressources pour geeks ne sont guère plus que des appâts.
  Le genre de choses qu’on met en favori et qu’on recommande, puis qu’on ne revoit plus jamais :)
- Le site indique quand même une source, dans une certaine mesure.
  Il dit qu’il s’agit d’une « liste d’articles qui, selon la rumeur, aurait été donnée par Ilya Sutskever à John Carmack ».
  Manning a aussi un livre appelé la liste d’Ilya.
  https://www.manning.com/books/sutskevers-list
- Encore un contradicteur de plus, comme s’il n’y en avait pas déjà assez.
Je suis l’auteur. Je suis en première année d’informatique à Trinity College Dublin, et j’ai créé ce site parce qu’en me lançant dans la lecture d’articles de recherche, j’ai brûlé énormément de crédits Claude à poser des questions que d’autres s’étaient probablement déjà posées.
Le site est simplement un projet à côté, et c’est clairement encore un travail en cours.
Je peux répondre aux questions ou accepter des PR sur GitHub.
- Une option pour désactiver les animations et afficher les liens vers les articles sous forme de simple liste serait utile.
- Ce serait intéressant d’entendre quel est l’objectif du site.
  Je me demande s’il s’agit juste de réhéberger la liste et de mettre les articles dans un nouveau format.
  Je m’attendais au minimum à trouver des annotations sur ce que tu avais appris pour chaque article.
Ce serait bien que les articles soient organisés selon un ordre de lecture recommandé ou logique.
Par exemple, l’article qui introduit le mécanisme d’attention devrait à mon avis venir avant « Attention Is All You Need ».
- Je suis d’accord. Si les articles suivent un ordre de lecture logique, il serait très utile de l’indiquer tout en haut.
C’est peut-être le post X original qui a rendu cette liste célèbre. Il date de 2024 et a 876 000 vues.
https://x.com/keshavchan/status/1787861946173186062
Je ne pense pas que cela vaille vraiment la peine de débattre pour savoir si la liste vient réellement d’Ilya ou non.
Beaucoup de ces articles sont largement reconnus comme ressources pédagogiques, par exemple annotated transformer, unreasonable effectiveness of RNNs et understanding LSTM networks.
D’autres sont des articles de référence dont toute personne intéressée par le domaine a quelque chose à tirer : Krizhevsky et al. (2012) a introduit AlexNet, Bahdanau et al. (2014) l’attention, He et al. (2015) ResNet, et Vaswani et al. (2017) le Transformer.
Les autres articles sont plus spécialisés, mais parmi eux, Kaplan et al. (2020) d’OpenAI est probablement le plus important à mon avis.
Pour les débutants qui ne sont pas encore habitués à lire des articles, je recommande Welch Labs Illustrated Guide To AI.
C’est un très beau livre, et j’ai pris plaisir à le lire.
Lire ensuite ces articles permettrait, je pense, de les comprendre plus en profondeur.
Au début, j’ai cru qu’il s’agissait des « 30 meilleurs articles écrits par Ilya », et je me suis demandé un instant pourquoi « Quantifying the Rise and Fall of Complexity in Closed Systems: The Coffee Automaton » figurait dans la liste.
Dans la phrase « je n’ai pas lu toutes les versions web de bout en bout », on ne sait pas non plus si les versions web désignent le texte réel ou les « explications ».
Dans un cas comme dans l’autre, cela ressemble à un gros signal d’alerte.
Après avoir vu cette liste pour la première fois, j’ai créé PdfToMp3 pour pouvoir écouter ces articles.
C’est devenu aujourd’hui ListenDock.
Ce qui est amusant, c’est que PdfToMp3 existait avant NotebookLM, et avait déjà un « aperçu », même si nous appelions cela à l’époque une explication par un enseignant.
Voici un exemple de « Teacher Explanation » pour l’article « Quantifying the Rise and Fall of Complexity in Closed Systems: The Coffee Automaton ».
https://listendock.com/e/quantifying_the_rise_and_fall_of_co...
- Je ne comprends pas pourquoi je me fais downvoter chaque fois que je poste quelque chose ici.
  Je me demande si c’est parce que ça fait trop spam, parce que c’est de l’IA, ou parce qu’il y a un bot de downvote qui me suit.
Les articles théoriques sur la complexité de Kolmogorov ressortent.
Pour ceux qui ne connaissent pas : Ilya soutient que si les réseaux de neurones généralisent — autrement dit, s’ils fonctionnent tout court — c’est parce qu’ils trouvent en pratique une manière simple de décrire les données d’entraînement et convergent vers la limite de la complexité de Kolmogorov [1].
[1] https://www.youtube.com/watch?v=AKMuA_TVz3A
- C’est vrai pour tous les modèles statistiques, ce n’est pas une propriété magique propre aux réseaux de neurones.
J’aime la façon dont la liste est présentée.
Avant de lire ces articles, ou pendant la lecture, regarder quelques conférences ou podcasts d’Ilya pourrait aider à comprendre la vue d’ensemble et la manière dont les différents travaux se relient entre eux.
https://www.dwarkesh.com/p/ilya-sutskever
https://simons.berkeley.edu/talks/ilya-sutskever-openai-2023...
https://www.dwarkesh.com/p/ilya-sutskever-2

jung5966 2 시간 전

Merci pour cette liste de ressources à étudier pour aborder les LLM/IA modernes.

-> Les CNN apprennent à lire l’espace, les RNN/LSTM à mémoriser le temps, l’attention à retrouver l’information nécessaire, les Transformers à paralléliser ce processus, les familles GNN/Relation/Memory à calculer les relations entre objets, les articles sur le scaling/l’infrastructure à entraîner tout cela à grande échelle, et les approches MDL/Kolmogorov/complexity à réfléchir aux raisons pour lesquelles l’apprentissage est une question de compression et de généralisation.

Autrement dit, ces 27 articles forment un ensemble de ressources qui montrent, sous plusieurs angles, l’idée que « les systèmes intelligents deviennent puissants lorsque se combinent de bons biais inductifs, des flux d’information stables, une mémoire sélective, le calcul des relations, l’apprentissage à grande échelle et la découverte de structures compressibles ».