Cog : un outil de conteneurisation pour le machine learning

• Un outil open source qui permet de packager des modèles de machine learning à un niveau prêt pour la production
• Génère facilement des images Docker intégrant les bonnes pratiques, avec image de base NVidia + cache + Python + valeurs par défaut pour les variables d’environnement, etc.
  → afin de garantir la compatibilité des versions de CUDA/cuDNN/PyTorch/TensorFlow/Python, etc.
• Génère un schéma OpenAPI via Pydantic
• Génère dynamiquement une API HTTP RESTful avec FastAPI à partir des types du modèle
• Fournit un worker de file Redis pour les modèles de deep learning à longue exécution ou le traitement par lots (d’autres sont prévus)
• Conçu pour Replicate, un SaaS de ML, mais peut aussi être utilisé sur sa propre infrastructure