Les livres d’introduction à l’IA recommandés par le cofondateur de Hugging Face

 (thomwolf.io)
52 points par xguru 2024-05-21 | 4 commentaires | Partager sur WhatsApp
  • Thomas Wolf, cofondateur et CSO, a étudié la physique et le droit
  • Voici la liste de lectures qu’il a suivie lorsqu’il est entré dans les domaines du NLP, de l’IA et du ML en 2016-2017
    • Il faut donc garder à l’esprit que cela date d’avant les révolutions de ChatGPT, des Transformers et de la diffusion
  • Le livre "Deep Learning" est une bonne ressource pour obtenir un aperçu rapide des outils actuels
  • "Artificial Intelligence: A Modern Approach" est une excellente ressource sur tous les outils et méthodes d’avant les réseaux de neurones
  • "Machine Learning: A Probabilistic Perspective" est une excellente ressource pour approfondir l’approche probabiliste et se familiariser avec les outils bayésiens
  • "Information Theory, Inference and Learning Algorithms" est un petit bijou qui explique les probabilités et la théorie de l’information avec une clarté presque incroyable
  • "The Book of Why: The New Science of Cause and Effect" est une bonne introduction à la causalité
  • "Reinforcement Learning: An Introduction(Renforcement learning solide)" est une excellente ressource pour découvrir les bases de l’apprentissage par renforcement
  • Trois excellentes ressources sur le traitement du langage naturel ont retenu son attention
  • Il a complété cela avec quelques cours en ligne
  • Si vous rejoignez ce domaine après la révolution des Transformers et de l’entraînement à grande échelle, vous aurez probablement intérêt à suivre un autre parcours
    • Quelques conseils pour 2024 :
      • Lire notre livre sur le NLP et les Transformers, Natural Language Processing with Transformers. Il date d’avant ChatGPT, mais reste très pertinent et aborde même l’entraînement des LLM à la fin
      • Suivre quelques cours en ligne sur le deep learning donnés par des figures reconnues du domaine
      • Vous pouvez toujours lire quelques livres de la liste ci-dessus pour votre culture générale, et en particulier "Information Theory, Inference and Learning Algorithms", qui reste selon lui un bijou
      • Rejoindre Hugging Face pour apprendre par la pratique :)

À lire aussi

4 commentaires

 
ninebow 2024-05-22

Le nom me disait vaguement quelque chose, alors j’ai cherché et je me suis rendu compte que c’était bien cette personne qui avait publié vers la fin mars une vidéo sur les tendances du développement des modèles LLM. (Je ne l’ai pas encore regardée jusqu’au bout, hélas)

Il s’agit d’une vidéo YouTube intitulée 'A Little guide to building Large Language Models in 2024', qui traite sous plusieurs angles de la préparation des données pour le développement de LLM, ainsi que des méthodes d’entraînement et d’évaluation, entre autres.
 
nuthatch 2024-05-21

<Deep Learning> - Ian Goodfellow, Yoshua Bengio, Aaron Courville http://aladin.kr/p/OLwph

<Artificial Intelligence 1~2 - 2 volumes> - Stuart Russell, Peter Norvig http://aladin.kr/p/g4yZY

<Machine Learning> - Kevin Murphy http://aladin.kr/p/RGGL8

<Information Theory, Inference and Learning Algorithms (Hardcover)> - David MacKay http://aladin.kr/p/LFEp0

<The Book of Why: The New Science of Cause and Effect (Paperback)> - Dana Mackenzie, Judea Pearl http://aladin.kr/p/cLywB

<Reinforcement Learning robuste> - Richard Sutton, Andrew Barto http://aladin.kr/p/3NQoU

Natural Language Processing with Representation Learning - Kyunghyun Cho
https://github.com/nyu-dl/NLP_DL_Lecture_Note/…

<Neural Network Methods in Natural Language Processing (Paperback)> - Yoav Goldberg http://aladin.kr/p/non6R

<Les fondamentaux du traitement automatique du langage naturel> - Jacob Eisenstein http://aladin.kr/p/rPoLB
 
ninebow 2024-05-22

Merci pour ce récapitulatif !!
J’ai également repris la liste que vous avez compilée en repartageant l’article ; si jamais vous préférez que ce ne soit pas le cas, je la supprimerai. 🙇‍♂️

https://discuss.pytorch.kr/t/gn-huggingface-ai-txt/4439/2
 
nottiger 2024-05-22

Merci pleurs