YTsaurus - système open source de stockage et de traitement à l’échelle de l’exaoctet

• Plateforme open source de big data distribuée de stockage et de traitement publiée par Yandex
  • Cas d’usage : traitement par lots, analyse ad hoc, OLTP, machine learning, stockage de métadonnées, pipelines ETL
• Écosystème multi-tenant
• Fiabilité et sécurité : aucun SPOF. Réplication automatisée entre serveurs. Mises à jour sans perte de progression
• Scalabilité
  • Extensible jusqu’à 1 million de cœurs CPU et plusieurs milliers de GPU
  • Prend en charge plus de 100 nœuds. Scale up & down automatique des serveurs
  • Prise en charge de divers supports de stockage jusqu’aux données à l’échelle de l’exaoctet
• Fonctionnalités riches
  • Modèle MapReduce étendu
  • Transactions ACID distribuées
  • Fournit divers SDK (C++, Python, Java, Go) et API
  • Isolation sécurisée des ressources de calcul et du stockage
  • Interface utilisateur conviviale
• CHYT powered by ClickHouse
  • Dialecte SQL familier et fonctionnalités similaires
  • Requêtes analytiques rapides
  • Intégration avec des solutions BI populaires (JDBC/ODBC)
• SPYT powered by Apache Spark
  • Outils pour créer des processus ETL
  • Prise en charge de plusieurs clusters indépendants de tailles variées
  • Migration facile depuis les solutions existantes

[xguru]

Article de présentation sur l’histoire de l’open source lui-même et sur les technologies utilisées en interne : YTsaurus: Exabyte-Scale Storage and Processing System Is Now Open Source

• Le développement aurait duré près de 10 ans.
• Utilisation de MapReduce à partir de 2006, puis, face à ses limites en 2009, lancement du projet YT en 2010
• Cypress (storage) + MapReduce + tables K-V dynamiques + YQL + CHYT + SPYT
• Le code principal du serveur est en C++