Ilya Sutskever : « Si vous apprenez tout cela, vous connaîtrez 90 % de ce qui est important »

Liste de lectures recommandées par Ilya Sutskever sur le machine learning et l’IA

• The Annotated Transformer
• The First Law of Complexodynamics
• The Unreasonable Effectiveness of RNNs
• Understanding LSTM Networks
• Recurrent Neural Network Regularization
• Keeping Neural Networks Simple by Minimizing the Description Length of the Weights
• Pointer Networks
• ImageNet Classification with Deep CNNs
• Order Matters: Sequence to sequence for sets
• GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism
• Deep Residual Learning for Image Recognition
• Multi-Scale Context Aggregation by Dilated Convolutions
• Neural Quantum Chemistry
• Attention Is All You Need
• Neural Machine Translation by Jointly Learning to Align and Translate
• Identity Mappings in Deep Residual Networks
• A Simple NN Module for Relational Reasoning
• Variational Lossy Autoencoder
• Relational RNNs
• Quantifying the Rise and Fall of Complexity in Closed Systems: The Coffee Automaton
• Neural Turing Machines
• Deep Speech 2: End-to-End Speech Recognition in English and Mandarin
• Scaling Laws for Neural LMs
• A Tutorial Introduction to the Minimum Description Length Principle
• Machine Super Intelligence Dissertation
• PAGE 434 onwards: Komogrov Complexity
• CS231n Convolutional Neural Networks for Visual Recognition

Recueil de liens : https://arc.net/folder/D0472A20-9C20-4D3F-B145-D2865C0A9FEE

[lemonmint]

Il semble y avoir un problème de crawling du bot Neo.

[xguru]

On dirait que Reddit le bloque. Je l’ai ajouté manuellement ;)

[GN⁺]

Commentaire Hacker News

Résumé des commentaires Hacker News

• Le titre minimise l’ampleur de cette tâche. Si vous cliquez pour voir de quoi il s’agit :

  • l’un est un cours complet sur les réseaux neuronaux convolutionnels lien
  • l’un est un manuel de 500 pages lien
  • un autre est un manuel de 80 pages lien
  • cela pourrait être faisable en étudiant cette liste à temps plein pendant environ un an. Cela peut valoir le coup selon les priorités.

• Il y a quelque temps, j’ai aussi copié la liste sur lien pour qu’il soit plus facile d’utiliser wget (par ex. récupérer tous les PDF arXiv)

  • il est possible de télécharger tous les PDF arXiv avec la commande wget.
  • avec un ami, nous avons utilisé pdfunite pour tout fusionner en un seul PDF, puis l’avons fait imprimer en reliure spirale chez un imprimeur. Le résultat était excellent.

• Gardez à l’esprit qu’il n’y a aucune confirmation qu’il s’agisse de la vraie liste.

  • rien ne confirme qu’il s’agit bien de la liste réelle.
  • cette liste serait celle qu’Ilya a donnée à John Carmack il y a un an.

• Combien de temps faut-il pour apprendre les prérequis nécessaires à ces lectures si l’on n’a pas déjà un cursus en informatique ?

  • en lisant la liste, il était déjà difficile de comprendre même la moitié des titres.
  • je me demande si je pourrai comprendre en commençant par cette liste, ou s’il vaut mieux commencer ailleurs.

• Ce que les gens oublient, c’est que sans objectif clair et concret, peu importe le nombre d’articles fondamentaux ou intéressants que vous lisez, vous ne retiendrez rien.

  • sans objectif clair et concret, même en lisant beaucoup d’articles, rien ne reste en mémoire.

• Il existe quelques discussions plus anciennes, remontant à octobre 2022. Je me demande à quel point la liste est dépassée aujourd’hui.

  • on se demande à quel point cette liste a vieilli. Il y a eu plusieurs discussions depuis octobre 2022.

• Ce n’est qu’un dossier de favoris de quelqu’un. Où est la preuve que cela a été recommandé par Ilya ?

  • aucune preuve ne montre que cette liste a été recommandée par Ilya. Ce n’est peut-être que le dossier de bookmarks de quelqu’un.

• L’argument selon lequel cela représente 90 % de ce qui compte en ML semble un peu audacieux.

  • l’idée que cette liste couvre 90 % de ce qui importe en machine learning est audacieuse. Des sujets importants comme l’apprentissage par renforcement ou les graph neural networks n’y figurent pas.

• Il n’y a rien ici sur les LLM, alors que l’in-context learning, le retrieval augmentation, l’usage d’outils et la multimodalité sont en pleine effervescence.

  • la liste ne contient rien sur les grands modèles de langage (LLM). Des sujets importants comme l’apprentissage en contexte, l’augmentation par recherche, l’usage d’outils et la multimodalité manquent.

• Lire 30 études ne veut pas dire « appris et compris ». Surtout si l’on part de zéro.

  • lire 30 articles ne signifie pas qu’on les a « appris et compris », surtout lorsqu’on part de zéro.