Sail - Un framework de traitement du big data pour l’ère de l’IA

• Un framework visant à unifier le traitement du stream processing, du batch processing et des charges de calcul haute performance (IA)
• Fournit actuellement une solution de remplacement drop-in pour Spark SQL et l’API Spark DataFrame (compatible)
• Peut fonctionner sur une machine unique ou dans une configuration distribuée
• Selon le benchmark TPC-H, il est 4 fois plus rapide que Spark, réduit les coûts matériels de 94 % et ne nécessite aucune modification de code
• Disponible sous forme de package Python : pip install "pysail==0.2.0.dev0"
• Stack technique
  • Moteur basé sur Rust, construit sur Apache Arrow et Apache DataFusion
  • La session Spark communique avec le serveur Sail via le protocole Spark Connect