Flat Data - Utiliser GitHub comme outil et dépôt ETL de données

<p>- Un projet qui aide à développer facilement des applications légères basées sur les données grâce à la technique du Git Scraping<br /> → Construire et utiliser un ETL de données sans infrastructure dédiée<br /> - 3 composants<br /> → Flat Action : une GitHub Action qui récupère et transforme les données<br /> → Flat Editor : une interface graphique pour éditer le workflow Flat Data (extension VS Code)<br /> → Flat Viewer : un site web permettant de visualiser, filtrer et partager les Flatfiles stockés dans un repo <br /> <br /> Comment utiliser Flat Data<br /> 1. Récupérer des données avec Flat Action via HTTP ou une requête SQL (MySQL, Postgres, SQLite, MongoDB, etc.) <br /> → Récupérer des cours d’actions/crypto, Excel to CSV, des dashboards COVID, etc., puis les stocker dans un repo GitHub, etc.<br /> 2. Transformer les données <br /> → Post-traiter avec GitHub Action puis enregistrer dans un nouveau fichier <br /> 3. Visualiser les données <br /> → Fournit un outil GUI qui affiche les données en ajoutant simplement `flat` à n’importe quelle adresse GitHub : https://flatgithub.com/the-pudding/data<br /> <br /> Pourquoi Flat Data a été créé<br /> - L’utilisation des données nécessite généralement des systèmes distribués et une infrastructure importante <br /> - Pour aider les développeurs à accéder facilement à ces données en effectuant l’acquisition et le nettoyage via GitHub Actions <br /> - Stocker les données dans un repo sans avoir à connaître les dépendances complexes, bibliothèques, gestionnaires de paquets ou l’infrastructure <br /> <br /> * Ce projet est une expérimentation menée par l’équipe Developer Experience de GitHub OCTO (Office of the CTO), et non un produit officiel de GitHub. Licence MIT </p>

[xguru]

<p>La technique de Git Scraping créée par Simon Willison a été adoptée par GitHub, qui en a fait un excellent produit.<br /> - Git Scraping - enregistrer les changements du web dans un dépôt Git https://fr.news.hada.io/topic?id=3008<br /> <br /> Simon est aussi connu pour son astuce consistant à stocker les TIL (Today I Learned) dans l’index GitHub.<br /> - Générer automatiquement l’index README des TIL avec GitHub Actions https://fr.news.hada.io/topic?id=1936</p&gt;