Ray - Un framework unifié pour faire évoluer les applications d’IA et Python

• Un framework unifié pour faire évoluer les applications d’IA et Python
• Composé d’un runtime distribué central et d’un ensemble de bibliothèques IA destinées à simplifier le calcul ML
• Fournit des fonctionnalités comme les datasets, l’entraînement distribué, le réglage d’hyperparamètres, l’apprentissage par renforcement et le serving
• Permet de surveiller et déboguer les applications et les clusters à l’aide d’un dashboard
• Peut s’exécuter sur n’importe quel ordinateur, cluster, fournisseur cloud et sur Kubernetes

Pourquoi utiliser Ray

• Les workloads ML actuels sont très intensifs en calcul
• Un environnement de développement sur un nœud unique, comme un laptop, ne peut pas répondre à ces exigences
• Ray
  • offre une méthode unifiée pour faire passer les applications Python et IA du notebook au cluster
  • permet de faire évoluer sans friction le même code du notebook au cluster
  • est conçu comme une solution généraliste, capable d’exécuter efficacement tous types de workloads
• Si l’application est écrite en Python, elle peut être mise à l’échelle avec Ray sans autre infrastructure

L’avis de GN⁺

• Ray semble être un outil puissant pour faciliter le traitement distribué des applications ML/IA basées sur Python. Il devrait être particulièrement utile pour la construction de pipelines ML, le traitement de données à grande échelle et l’apprentissage distribué
• Toutefois, pour une mise en œuvre en production, il faudra disposer d’un savoir-faire sur la mise en place et l’exploitation d’un environnement cluster. La collaboration avec des ingénieurs DevOps est donc importante
• La différenciation par rapport aux frameworks de traitement distribué existants comme Spark ou Dask n’est pas clairement établie. Il semble nécessaire de mieux mettre en avant ses avantages en matière de performances ou de facilité d’utilisation
• Le niveau de maturité des bibliothèques IA reste encore limité, ce qui représente un risque pour une adoption immédiate. Néanmoins, avec un développement continu et le soutien de la communauté, Ray pourrait devenir un outil utile à l’avenir