Flat Data - Utiliser GitHub comme outil et dépôt ETL de données
(octo.github.com)- Un projet qui aide à développer facilement des applications légères basées sur les données grâce à la technique du Git Scraping
→ Construire et utiliser un ETL de données sans infrastructure dédiée
- 3 composants
→ Flat Action : une GitHub Action qui récupère et transforme les données
→ Flat Editor : une interface graphique pour éditer le workflow Flat Data (extension VS Code)
→ Flat Viewer : un site web permettant de visualiser, filtrer et partager les Flatfiles stockés dans un repo
Comment utiliser Flat Data
- Récupérer des données avec Flat Action via HTTP ou une requête SQL (MySQL, Postgres, SQLite, MongoDB, etc.)
→ Récupérer des cours d’actions/crypto, Excel to CSV, des dashboards COVID, etc., puis les stocker dans un repo GitHub, etc.
- Transformer les données
→ Post-traiter avec GitHub Action puis enregistrer dans un nouveau fichier
- Visualiser les données
→ Fournit un outil GUI qui affiche les données en ajoutant simplement flat à n’importe quelle adresse GitHub : https://flatgithub.com/the-pudding/data
Pourquoi Flat Data a été créé
-
L’utilisation des données nécessite généralement des systèmes distribués et une infrastructure importante
-
Pour aider les développeurs à accéder facilement à ces données en effectuant l’acquisition et le nettoyage via GitHub Actions
-
Stocker les données dans un repo sans avoir à connaître les dépendances complexes, bibliothèques, gestionnaires de paquets ou l’infrastructure
- Ce projet est une expérimentation menée par l’équipe Developer Experience de GitHub OCTO (Office of the CTO), et non un produit officiel de GitHub. Licence MIT
1 commentaires
La technique de Git Scraping créée par Simon Willison a été adoptée par GitHub, qui en a fait un excellent produit.
Simon est aussi connu pour son astuce consistant à stocker les TIL (Today I Learned) dans l’index GitHub.