Le machine learning en production (cours de la CMU)

Cours de production du machine learning à l’université Carnegie Mellon

• Présentation du cours

  • Ce cours traite de la manière de construire, déployer et maintenir des modèles de machine learning sous forme de produits logiciels.
  • Il couvre l’ensemble du cycle de vie, y compris l’IA responsable, le MLOps, la sûreté, la sécurité, l’équité et l’explicabilité.
  • Il s’adresse aux étudiants ayant une expérience en data science et des bases en programmation.

• Objectifs du cours

  • Apprendre à transformer des modèles de machine learning en produits, à en garantir la qualité, et à les exploiter et les maintenir à grande échelle.
  • Favoriser la collaboration entre ingénieurs logiciels et data scientists afin de construire une compréhension mutuelle nécessaire à la création de systèmes de ML.
  • Convient aux étudiants qui envisagent une carrière d’ingénieur ML.

• Sujets principaux

  • Concevoir en tenant compte des mauvaises prédictions, et méthodes pour garantir la sûreté et la sécurité.
  • Conception d’interfaces utilisateur et de systèmes capables de fonctionner dans des environnements réels.
  • Méthodes de déploiement et de mise à jour fiables des modèles.
  • Méthodes de détection des problèmes de qualité des données, de la dérive de concept et des boucles de rétroaction.
  • Méthodes de conception et de test de systèmes de ML à grande échelle.
  • Identifier et mesurer des exigences de qualité importantes au-delà de la précision prédictive du modèle, comme l’équité, l’explicabilité, la confidentialité, la robustesse et la sûreté.

• Résultats d’apprentissage

  • Analyse des compromis lors de la conception de systèmes de production incluant des composants ML.
  • Planifier les erreurs des composants ML et mettre en œuvre des systèmes robustes.
  • Concevoir une infrastructure de données et des systèmes pour l’expérimentation.
  • Garantir la qualité de l’ensemble du pipeline ML.
  • Prendre en compte les exigences au niveau système lors de la construction de produits ML complexes.
  • Communiquer efficacement au sein d’équipes pluridisciplinaires.

• Travaux pratiques et projet

  • Les étudiants participent à un projet consistant à construire, déployer, évaluer et maintenir un service de recommandation de films destiné à 1 million d’utilisateurs.

• Cours et travaux pratiques

  • Les cours ont lieu le lundi et le mercredi, et les travaux pratiques se déroulent le vendredi à différents créneaux horaires.
  • Il est possible de participer aux activités en cours via Slack, et les enregistrements des cours sont disponibles sur Canvas.

• Évaluation et devoirs

  • L’évaluation repose sur des devoirs individuels, un projet de groupe, un examen de mi-semestre, la participation, les travaux pratiques et des quiz de lecture.
  • Chaque devoir fournit des spécifications claires et une répartition des points afin d’aider les étudiants à avoir des attentes précises.

• Travail en équipe et collaboration

  • Le projet d’équipe est mené par des groupes de 3 à 5 étudiants, et le travail d’équipe est indispensable.
  • Les équipes travaillent de manière autonome, et la collaboration au sein de l’équipe est encouragée.

• Autres informations

  • Les annonces importantes sont transmises via Slack, et les questions peuvent être posées par e-mail et sur Slack.
  • Les supports de cours sont publics sur GitHub et sont également proposés aux étudiants souhaitant apprendre en autonomie.

Ce cours fournit les compétences et les connaissances essentielles aux étudiants intéressés par le développement de produits logiciels exploitant le machine learning, et offre l’occasion d’acquérir une expérience pratique à travers divers cas réels et projets.

[GN⁺]

Commentaires sur Hacker News

• Kafka, Docker, Kubernetes et Jenkins sont des outils standard de l’industrie, et le fait de mettre l’accent sur le MLOps est rafraîchissant. J’apprécie qu’on ne s’arrête pas à la construction de modèles, mais qu’on traite aussi de leur intégration à de vrais systèmes de production. C’est également impressionnant de voir que l’explicabilité, l’équité et le monitoring sont abordés.

  • Est-ce un niveau débutant ? À voir les travaux pratiques, il y a beaucoup de contenu qu’un ingénieur logiciel intermédiaire ou un débutant motivé peut apprendre via les tutoriels. Git, Flask et l’orchestration de conteneurs sont utiles, mais pour quelqu’un qui a déjà travaillé en production, cela reste assez basique. Les défis plus poussés, comme l’optimisation réseau pour l’apprentissage distribué ou la gestion de l’inférence à grande échelle, semblent moins couverts. Je me demande si cela sera traité dans le projet de groupe.
  • Je me demande aussi quelle sera la pertinence à long terme des outils utilisés. Jenkins est partout, mais ne serait-il pas plus logique de présenter des options plus modernes comme GitHub Actions ou ArgoCD pour le CI/CD ? Kubernetes est évidemment incontournable, mais qu’en est-il des alternatives ou outils complémentaires pour les déploiements edge ou les systèmes serverless ? Il semble y avoir là une occasion d’aller un peu plus vers l’avenir.

• Il n’y a presque rien sur la qualité des données, et c’est au chapitre 16... Je me demande quelle expérience pratique les auteurs ont réellement dans l’industrie. La qualité et le nettoyage des données prennent 90 % du temps.

• Quelqu’un connaît-il de la documentation ou des cours sur la mise en place d’une infrastructure de cluster pour le machine learning ? Je m’intéresse surtout à la mise en place et à l’extension de l’infrastructure de stockage, ainsi qu’aux approches de mise en réseau et d’ordonnancement.

• Je me demande s’il existe un endroit où suivre cela avec d’autres personnes qui ne sont pas étudiantes.

• Je me demande si n’importe qui peut s’inscrire, ou s’il faut être admis dans un programme d’informatique de tout premier plan du pays.

• Ravi de voir ce cours ici. Christian est quelqu’un de formidable et fait un excellent travail. Je connais les débuts de ce cours et du livre, et je peux les recommander chaudement.

• J’ai travaillé pendant 9,5 ans sur des plateformes et systèmes ML, à toutes les échelles. Le contenu a l’air excellent.

• Intéressant ; j’ai parcouru les travaux pratiques et, en tant que développeur full stack ayant peu d’expérience avec les LLM, j’en connais déjà la moitié (git, flask, kafka, kubernetes), et le reste n’est que du code. Il n’y a pas de mathématiques complexes liées au ML.

  • Est-ce que cela signifie que le ML ops n’est pas un domaine si difficile d’accès pour un développeur généraliste, même sans doctorat ?

• J’aime bien l’idée d’apprendre un unique "Kubernetis".

• Je sous-estime peut-être la complexité du cours, mais cela ressemble à un cours d’introduction. Honnêtement, la plupart du contenu, jusqu’aux outils d’explication des modèles, paraît assez simple. Je pense néanmoins que c’est une bonne chose d’utiliser des outils standard de l’industrie pour la plupart des cas d’usage.