Neural Networks: Zero to Hero - apprendre à développer des réseaux de neurones en codant depuis les bases

• Un cours de développement de réseaux de neurones créé par Andrej Karpathy, ancien responsable IA chez Tesla
• Il part des bases de la rétropropagation (backpropagation) pour aller jusqu’au développement de réseaux de neurones profonds récents comme GPT
• Les modèles de langage sont un excellent support pour apprendre le deep learning. Même si l’on s’étend ensuite à des domaines comme la vision par ordinateur, la plupart des apprentissages sont immédiatement réutilisables

Syllabus

• (2h25m) Introduction détaillée aux réseaux de neurones et à la rétropropagation : création de micrograd
• (1h57m) Introduction détaillée à la modélisation du langage : création de makemore
• (1h15m) Création de makemore, partie 2 : MLP
• (1h55m) Création de makemore, partie 3 : activations, gradients, BatchNorm
• (1h55m) Création de makemore, partie 4 : devenir un ninja de la rétropropagation
• (56m) Création de makemore, partie 5 : création d’un WaveNet
• (1h56m) Construisons GPT : depuis zéro, en code, pas à pas.

[awew78787]

Yep

[xguru]

La semaine dernière, j’avais seulement partagé le lien vers Let's build GPT - Construisons GPT à partir de zéro [vidéo YouTube],
mais il s’avère que ce n’était qu’une partie de l’ensemble du cours.