[NAVER] Retour d’expérience sur la migration d’un serveur de modèles ML de GPU vers un serveur CPU sans perte de performances (feat. torchserve)

 (medium.com)
3 points par ninebow 2023-07-26 | 3 commentaires | Partager sur WhatsApp
  • *Cet article est une explication générée automatiquement à l’aide de GPT-4 et peut contenir des erreurs. *
  • *Si vous repérez une erreur, merci de la signaler dans les commentaires ! *

Introduction

Cet article partage le processus par lequel l’équipe de développement de Naver Place a migré un serveur de modèles ML de GPU vers CPU. Cette transition visait à réduire les coûts serveur et à rendre l’exploitation plus efficace.

Résumé

1. Migration du serveur de modèles de GPU vers CPU

  • L’équipe de développement de Naver Place a mené une migration du serveur de modèles de GPU vers CPU. L’objectif était de réduire les coûts serveur et de rendre l’exploitation plus efficace. Ce travail comprenait le remplacement par CPU du GPU utilisé pour l’entraînement (training) du modèle.

2. Architecture du serveur de modèles

  • Le serveur de modèles se compose globalement de trois parties : l’entraînement du modèle, le serveur de modèles et le client. L’entraînement du modèle comprend le processus d’apprentissage du modèle à l’aide d’un dataset, le serveur de modèles héberge le modèle entraîné, et le client envoie des requêtes au serveur de modèles puis reçoit les réponses.

3. Transition de GPU vers CPU

  • La transition de GPU vers CPU comprend plusieurs étapes. D’abord, le code d’entraînement du modèle est modifié pour pouvoir s’exécuter sur CPU. Ensuite, le serveur de modèles est configuré pour s’exécuter sur CPU. Enfin, le code client est modifié afin de pouvoir envoyer des requêtes au serveur de modèles exécuté sur CPU.
  1. Résultats après la migration
  • Après la migration, les coûts serveur ont été fortement réduits et l’exploitation est devenue plus efficace. De plus, le serveur de modèles exécuté sur CPU a bien fonctionné sans baisse de performances par rapport au serveur exécuté sur GPU.

Références

  • Naver Place Dev Blog
    • Ce blog partage divers projets et retours d’expérience de l’équipe de développement de Naver Place. Vous pouvez y trouver plus d’informations sur la migration de GPU vers CPU mentionnée dans cet article.

À lire aussi

3 commentaires

 
xguru 2023-07-27

J’ai modifié le texte. Si un avertissement figure au début de l’article, sur Slack/Twitter seul cet avertissement sera visible. Dans la mesure du possible, merci de faire en sorte qu’un résumé apparaisse au début de l’article.
 
ninebow 2023-07-27

Je ferai plus attention à l’avenir. Merci ! :)