32 points par baeba 6 시간 전 | 2 commentaires | Partager sur WhatsApp

1. Objectif et structure du document

  • Cet article est un recueil de ressources d’apprentissage qui rassemble de façon structurée des cours, blogs, dépôts GitHub, articles de recherche, jeux de données, etc., pour les personnes souhaitant apprendre seules le machine learning et le deep learning.
  • Il ne s’agit pas d’une simple liste de liens : il indique aussi dans quel ordre les débutants peuvent étudier, avec le niveau de difficulté et les objectifs d’utilisation.
  • Il couvre un large périmètre, de Python aux mathématiques et statistiques, en passant par le machine learning, le deep learning, les LLM et la pratique sur Kaggle.
  • Il est exploité comme un projet GitHub public auquel plusieurs contributeurs ajoutent des ressources.

2. Ordre d’apprentissage recommandé

  • Il est recommandé de commencer par apprendre la syntaxe Python, puis de traiter les données avec NumPy et Pandas, et de les visualiser avec des outils comme Matplotlib.
  • Ensuite, l’apprentissage de l’algèbre linéaire, du calcul différentiel, des probabilités et des statistiques permet de comprendre les principes des algorithmes de machine learning.
  • À l’étape suivante, on étudie le machine learning traditionnel avec Scikit-learn et le deep learning basé sur TensorFlow et PyTorch.
  • Enfin, la structure vise à renforcer les compétences pratiques à travers des projets Kaggle, l’implémentation d’articles de recherche et l’analyse de données réelles.

3. Bases de mathématiques et de statistiques

  • Des cours expliquant les notions mathématiques nécessaires à l’apprentissage de l’IA — vecteurs, matrices, dérivées, dérivées partielles, logarithme naturel, similarité, etc. — sont répertoriés.
  • Côté statistiques, les ressources couvrent les distributions de probabilité, la loi normale, les tests d’hypothèses, la p-value, les intervalles de confiance et la théorie bayésienne.
  • Elles incluent aussi des ressources sur AR, MA et ARIMA pour l’analyse de séries temporelles, ainsi que sur la transformée de Fourier et la décomposition modale empirique en traitement du signal.
  • Les ressources d’introduction qui facilitent la compréhension des formules complexes grâce à des schémas et à des cours manuscrits sont recommandées en priorité.

4. Machine learning traditionnel

  • Les principes de base de l’apprentissage des modèles, comme la descente de gradient, la rétropropagation de l’erreur et les fonctions de perte, sont d’abord expliqués.
  • Les principaux algorithmes sont abordés : régression linéaire, régression logistique, arbres de décision, KNN, SVM, PCA, analyse de clusters, etc.
  • Les méthodes pour réduire le surapprentissage, comme la régularisation L1/L2 et Lasso, Ridge ou ElasticNet, sont également incluses.
  • Pour chaque sujet, des cours conceptuels et des ressources d’implémentation en Python sont fournis afin de relier théorie et pratique.

5. Principaux domaines du deep learning

  • À partir de la structure des réseaux de neurones, les principaux modèles de deep learning sont présentés : CNN, RNN, LSTM, GAN, apprentissage par renforcement, etc.
  • En vision par ordinateur, des cas d’usage sont introduits autour de la détection d’objets, de la segmentation d’images, de la conduite autonome et d’OpenCV.
  • En traitement automatique du langage naturel, les ressources couvrent Word2Vec, BERT, GPT, Transformer, Attention, Seq2Seq, etc.
  • L’apprentissage ne se limite pas à l’utilisation de modèles : il permet aussi de comprendre des articles de recherche, d’implémenter du code et d’ajuster les hyperparamètres.

6. Technologies IA récentes et modes d’apprentissage

  • Les technologies permettant de trouver automatiquement des architectures de modèles et des paramètres sont présentées, notamment AutoML, l’optimisation bayésienne, Hyperband et NAS.
  • Le meta-learning consiste à apprendre rapidement de nouveaux problèmes, tandis que l’active learning consiste à sélectionner uniquement les données nécessaires pour l’entraînement.
  • L’apprentissage fédéré entraîne collectivement un modèle sur plusieurs appareils sans centraliser les données sur un serveur.
  • L’apprentissage incrémental et continu traite des méthodes permettant de continuer à apprendre de nouvelles données tout en conservant les connaissances existantes.

7. LLM, LangChain et ChatGPT

  • Des agents IA comme AutoGPT, qui décomposent automatiquement un objectif fourni par l’utilisateur en plusieurs étapes et les exécutent, sont présentés.
  • Des exemples comme KoChatGPT et KoAlpaca permettent d’étudier le fine-tuning de LLM en coréen ainsi que les techniques RLHF et LoRA.
  • Les ressources LangChain expliquent comment connecter des LLM à des PDF, des sites web, des fichiers CSV/Excel et des modèles Hugging Face.
  • La documentation de l’API OpenAI et le Cookbook permettent de développer des services de questions-réponses, de résumé de documents et d’analyse de données.

8. Apprentissage pratique avec Kaggle et Dacon

  • Des ressources étape par étape sont fournies, depuis les premiers pas sur Kaggle jusqu’à l’utilisation des jeux de données, l’API, les procédures de participation aux compétitions et les solutions gagnantes.
  • Il est possible de s’exercer à des problèmes de classification et de régression comme Titanic, les prix immobiliers, le risque de crédit ou la demande de vélos.
  • Les compétitions et tutoriels sont également classés par domaine : détection d’images, traitement du langage naturel, séries temporelles, audio, etc.
  • L’essentiel est d’acquérir de l’expérience en prétraitement des données, validation des modèles et amélioration des performances sur des problèmes proches de la pratique professionnelle.

9. Divers formats de ressources d’apprentissage

  • Les cours sont principalement constitués de contenus gratuits ou ouverts, provenant notamment de Coursera, Stanford, T Academy et YouTube.
  • Les blogs approfondissent des sujets comme les mathématiques, les statistiques, les articles de recherche et le traitement automatique du langage naturel.
  • Les dépôts GitHub incluent des Jupyter Notebooks exécutables, du code d’exemple, des modèles pré-entraînés et des jeux de données.
  • Wikidocs et les ebooks conviennent à un apprentissage séquentiel, comme dans un livre, de sujets tels que Python, le deep learning ou le trading algorithmique.

10. Open data et outils de développement

  • Diverses sources de données sont présentées, notamment AI Hub, le portail coréen des données publiques, la plateforme Seoul Open Data Plaza et Papers with Code.
  • Les bibliothèques sont organisées par objectif, principalement autour de TensorFlow, PyTorch et Scikit-learn.
  • Sont également inclus PublicDataReader, qui permet d’interroger des données publiques sous forme de DataFrame, ainsi que des jeux de données médicaux, de vision et en coréen.
  • Des ressources sur les environnements de développement basés sur Docker et la mise en place de serveurs GPU aident aussi à configurer un environnement de projet réel.

11. Communautés et informations de carrière

  • Des communautés par technologie comme TensorFlow Korea, PyTorch KR et Kaggle Korea permettent d’échanger des questions et des informations.
  • Des interviews de data scientists et d’ingénieurs machine learning en poste présentent le travail, l’emploi, les salaires et les expériences de poursuite d’études en master/doctorat.
  • Il est aussi possible d’examiner les possibilités d’entrée dans le domaine pour les personnes sans formation spécialisée, ainsi que les différences de rôle entre data scientist et ingénieur ML.
  • Au-delà de l’apprentissage technique, ces ressources montrent l’importance du portfolio, des compétitions et de l’activité communautaire dans la préparation d’une carrière.

Évaluation clé

Point de vue Contenu
Nature des ressources Ensemble complet de liens et de ressources pratiques pour apprendre seul le machine learning et l’IA
Principaux atouts Large couverture, des bases aux LLM récents, avec de nombreuses ressources gratuites
Public adapté Débutants en IA, développeurs, analystes de données, personnes préparant Kaggle
Mode d’utilisation Choisir un parcours d’apprentissage adapté au domaine visé plutôt que consulter toutes les ressources dans l’ordre
Points d’attention Certaines ressources étant anciennes, il faut vérifier les versions des bibliothèques et l’actualité des technologies

2 commentaires

 
ihope 4 시간 전

Oh~~ J’aime bien ce genre de choses~ !

 
blizard4479 4 시간 전

Waouh, merci pour cette énorme mine d'informations !