Datasette Cloud : plateforme d’hébergement SaaS pour Datasette

 (datasette.cloud)
2 points par GN⁺ 2023-08-22 | 1 commentaires | Partager sur WhatsApp
  • Datasette Cloud héberge l’open source Datasette sous forme de SaaS pour les équipes, afin de partager des données dans un espace privé et de ne publier à l’extérieur que les données nécessaires
  • La priorité initiale est donnée aux rédactions, pour permettre aux journalistes de diffuser des données en interne et auprès du public sans avoir à configurer ni exploiter eux-mêmes un serveur
  • Chaque équipe peut créer un space privé dans la région la plus proche, et reçoit un conteneur sécurisé basé sur Fly.io ainsi qu’un sous-domaine space-name.datasette.cloud
  • Il est possible d’importer des données depuis des fichiers CSV, des URL, des jeux de données publics gouvernementaux basés sur Socrata, des fichiers SQLite et l’API JSON de Datasette Write, avec édition directe via l’interface web
  • À l’avenir, des requêtes assistées par IA, la publication de tables et requêtes sélectionnées, les annotations de données et la tarification seront ajoutées ; pour l’instant, l’accès commence par la réservation d’une démo Zoom ou une demande d’accès en preview

Espace privé de collaboration sur les données pour les équipes

  • Datasette Cloud est une plateforme d’hébergement SaaS pour le projet open source Datasette
  • Les équipes peuvent créer un space privé pour gérer leurs données, les partager en toute sécurité entre membres, puis rendre publiques certaines données à l’extérieur
  • Les premiers utilisateurs visés sont les rédactions
    • Datasette est né dans le journalisme de données
    • L’objectif est de permettre aux journalistes de partager des données sans avoir à configurer ni exploiter eux-mêmes Datasette chez un hébergeur
  • Des entreprises et organisations hors du journalisme peuvent également utiliser Datasette Cloud
  • Les personnes qui découvrent Datasette peuvent consulter une démo vidéo et des tutoriels sur le site du projet open source

Importation des données et mode d’accès

  • Chaque space est hébergé dans une région proche de l’utilisateur et s’exécute dans un conteneur sécurisé isolé basé sur Fly.io
    • Chaque space dispose d’un sous-domaine space-name.datasette.cloud
    • Les administrateurs du space peuvent inviter des membres supplémentaires
  • Les membres de l’équipe peuvent importer des données de plusieurs façons
    • Création de tables par envoi de fichiers CSV
    • Chargement de fichiers CSV depuis une URL
    • Importation depuis des portails gouvernementaux d’open data basés sur Socrata
    • Création d’une nouvelle base de données par envoi d’un fichier de base SQLite
    • Importation de données via l’API JSON de Datasette Write
  • Les données importées peuvent être éditées en ligne dans l’interface web de Datasette Cloud
  • L’exploration des données et l’accès par API utilisent les outils existants de Datasette
    • Interface web Datasette avec filtrage, facettes, exécution de requêtes SQL et prise en charge des signets de résultats
    • Exploring a database with Datasette propose un tutoriel et une démo en direct
    • Learn SQL with Datasette explique comment interroger des données en SQL
    • Accès aux tables et exécution de requêtes SQL via une API JSON protégée par des jetons API granulaires
    • Accès aux données tabulaires via une API GraphQL basée sur le plugin datasette-graphql
  • Toutes les données sont stockées de manière sécurisée sur des volumes Fly et également sauvegardées sur S3 à l’aide de Litestream

Fonctionnalités à venir et comment commencer

  • Les fonctionnalités prévues prochainement sont les suivantes
    • Requêtes assistées par IA : l’équipe étudie comment appliquer de façon responsable aux travaux d’exploration de données des journalistes les grands modèles de langage qui sous-tendent OpenAI ChatGPT, Anthropic Claude et Google Bard ; plus d’informations sur llm.datasette.io
    • Fonction de publication externe de tables et requêtes sélectionnées
    • Annotations de données permettant aux équipes d’ajouter des commentaires sur les colonnes et les lignes afin de faciliter l’analyse collaborative et la découverte des histoires cachées dans les données
    • Une tarification permettant de payer l’utilisation du produit
  • Les utilisateurs peuvent réserver une session de démo Zoom pour faire partie des premiers utilisateurs, ou demander un accès en preview sans passer par une démo

À lire aussi

1 commentaires

 
GN⁺ 2023-08-22
Avis sur Hacker News

  • Nous avons réussi à héberger en interne beaucoup de données de recherche trop volumineuses (100 Mo à 20 Go) pour être partagées avec des utilisateurs ordinaires, ou leur être proposées à la consultation, en déployant Datasette
    Avant, il fallait soit ne partager qu’un résumé très général et quelques points de données, soit créer une application Django minimale, soit utiliser des solutions beaucoup plus lourdes comme Metabase
    Dès qu’on arrive à des données de taille moyenne, on ne peut plus envoyer les résultats par e-mail, les méthodes auxquelles les clients sont habitués comme les partages réseau ou SharePoint atteignent leurs limites, et comme les utilisateurs ordinaires ne savent généralement utiliser qu’Excel, ils se retrouvent vite bloqués dès que les données sont volumineuses
    Désormais, on peut fournir presque toutes les données, une fois un minimum traitées, ajouter quelques vues et un tutoriel de moins de 5 minutes (« c’est Super Excel, et voilà comment filtrer »), et les utilisateurs explorent par eux-mêmes
    Après le premier déploiement, les logs ont montré que, même pour une étude tout à fait ordinaire, les utilisateurs sollicitaient énormément le système, ce qui m’a fait penser au nombre de questions détaillées qu’ils n’osaient pas poser auparavant pour ne pas déranger. Depuis Datasette, les questions sont beaucoup plus fines, car ils ont déjà résolu eux-mêmes les points de base

    • C’est vraiment un excellent cas de réussite, et ça me donne envie de rassembler ce genre d’études de cas
      J’aime particulièrement la formule « c’est Super Excel, et voilà comment filtrer »

  • J’avais entendu le nom Datasette plusieurs fois, mais je ne m’étais jamais vraiment renseigné sur son usage
    La vidéo de la landing page l’explique très bien, ce qui est assez rare
    Simon et l’ensemble du projet méritent des félicitations, et j’espère que le service cloud marchera bien

    • Je ne vois pas où se trouve la vidéo. J’ai cliqué sur l’article de blog et sur la page d’accueil, mais je ne la vois pas

  • Datasette est un projet open source de Simon Willison, assez connu sur HN, et cette initiative ressemble à un projet de monétisation. Je lui souhaite de réussir, et j’espère que SoftBank le rachètera bientôt :-)
    C’est plutôt un outil qui encapsule des fichiers SQLite pour les publier facilement, un peu comme un Tableau pour SQLite

    • SoftBank n’est pas l’objectif
      Datasette est le premier projet de toute ma carrière sur lequel je pense pouvoir continuer à travailler dans 15 ans sans m’ennuyer. Le champ d’applications intéressantes qu’on peut construire à partir de l’idée centrale est vraiment très vaste
      J’aimerais donc y travailler pendant des décennies, mais travailler seul est isolant, et même si la communauté grandit et que c’est réjouissant, ce n’est pas la même chose qu’une équipe à plein temps
      Le problème que j’essaie de résoudre maintenant, c’est comment rendre le projet financièrement durable sur le long terme. Il faut que je puisse payer non seulement mon propre salaire, mais aussi celui d’une équipe avec laquelle travailler
      Il existe déjà de nombreux exemples de projets open source, comme WordPress ou GitLab, qui ont construit un modèle économique durable grâce à l’hébergement SaaS, et cela ressemble à une voie relativement bien balisée
      Je veux aussi que les gens puissent réellement utiliser mon logiciel. Aujourd’hui, pour utiliser Datasette en tant que particulier, il faut l’installer avec pip ou brew, ou utiliser l’application macOS Electron https://datasette.io/desktop ; moi, j’aimerais que les rédactions puissent s’en servir pour collaborer autour des données. La plupart des rédactions ne sont pas à l’aise avec la configuration de serveurs Linux
      La version SaaS hébergée aide les utilisateurs qui comptent pour moi à en tirer une vraie valeur, tout en offrant une voie réaliste vers la viabilité financière de l’ensemble du projet
      Bien sûr, j’aimerais aussi gagner beaucoup d’argent avec ça
    • Ce serait bien qu’il y ait des investissements pour rendre Datasette plus accessible et plus facile à utiliser par le grand public
      Aujourd’hui, l’UX et la configuration semblent davantage pensées pour des hackers de données intéressés par le journalisme, et ça ne ressemble pas vraiment à un outil standard de data journalism ou de journalisme de données
      Si les utilisateurs visés sont des journalistes qui n’ont pas forcément de compétences en data hacking, il faut encore abaisser la barrière à l’entrée
      Datasette n’est ni un outil de BI ni un outil d’OSINT, et pour l’instant il occupe une niche très étroite entre les passionnés de données et les journalistes d’investigation, ce qui limite fortement son potentiel
      Simon devrait envisager la monétisation, en particulier recruter quelqu’un pour rendre Datasette Cloud plus accessible. La création de l’application GUI semble être un pas dans la bonne direction
    • Ce n’est pas une formulation un peu cynique ?

  • Je ne veux pas casser l’ambiance, mais même après avoir regardé toute la vidéo de présentation de Datasette, j’ai l’impression d’avoir raté quelque chose.
    En gros, ce n’est pas une interface graphique SQL ? Ça ressemble beaucoup aux autres panneaux d’administration SQL, avec simplement les fonctions d’écriture en moins.
    Je me demande ce qui le différencie, et si c’est l’extensibilité.

    • C’est plus proche de MS Access, mais avec SQLite et Python côté backend, donc à mon avis sous une forme plus raisonnable.
      Il existe d’innombrables processus métier importants bricolés tant bien que mal avec Excel et Access, et Datasette peut être une bien meilleure option pour ce type d’usage. C’est un outil utilisable à la fois par les développeurs et par les personnes métier.
    • C’est une question tout à fait légitime, et j’y réfléchis depuis cinq ans, mais je n’ai toujours pas de réponse parfaitement formulée en une seule phrase.
      Le problème que Datasette résout le mieux, c’est publier en ligne des données structurées.
      Par exemple, si vous voulez partager en ligne une liste mondiale de centrales électriques ou l’historique complet du Congrès américain, vous pouvez mettre un CSV sur un site web/GitHub/S3, créer une application sur mesure avec Django/Rails, ou utiliser Google Sheets. La manière dont le Guardian avait autrefois résolu cela avec Google Sheets est ici : https://simonwillison.net/2018/Aug/19/instantly-publish-data...
      Datasette a été conçu à l’origine pour résoudre ce problème, et je trouvais que SQLite s’y prêtait parfaitement. C’est rapide et robuste, et si vous publiez des données en lecture seule, vous pouvez le déployer partout où il est possible d’héberger une application web dynamique, sans vous soucier des sauvegardes ou de la réplication.
      L’exemple des centrales électriques mondiales est ici : https://global-power-plants.datasettes.com/global-power-plan..., et les données des membres du Congrès américain sont ici : https://congress-legislators.datasettes.com/legislators. Ce dernier jeu de données est aussi utilisé dans le tutoriel Datasette : https://datasette.io/tutorials/explore
      Si vous êtes à l’aise avec la ligne de commande, il est difficile de trouver une méthode plus rapide que d’importer et de nettoyer un CSV dans SQLite avec sqlite-utils, puis de le publier avec datasette publish vercel et le plugin datasette-cluster-map.
      Voici un exemple utilisant le plugin datasette-publish-vercel, mais Datasette peut aussi publier vers Fly, Google Cloud Run, Heroku, etc. avec des plugins supplémentaires : https://docs.datasette.io/en/stable/publish.html
      La partie sur le nettoyage des données avec sqlite-utils est expliquée plus en détail ici : https://datasette.io/tutorials/clean-data
      Au cours des cinq dernières années, Datasette est devenu, au-delà de la publication, l’outil que j’utilise chaque fois que je veux regarder des données et les explorer. Du point de vue du data journalisme, cela revient à « trouver des histoires dans les données ».
      Et pour les usages commerciaux, j’ai la forte intuition que si l’on peut aider un journaliste à trouver des histoires dans les données, on peut aussi aider n’importe qui d’autre à trouver des histoires dans ses propres données.
      Un autre point clé, ce sont les plugins. Tout comme WordPress est un bon CMS tout en traitant presque tous les problèmes de publication de contenu grâce à plus de 10 000 plugins, au point de représenter un pourcentage à deux chiffres du Web, la vision la plus ambitieuse de Datasette ressemble à cela.
      Je veux créer un outil open source d’analyse exploratoire des données (EDA) et de publication, et permettre de résoudre les problèmes d’exploration, d’analyse, de visualisation et de publication de données grâce à des milliers de plugins.
      Pour l’instant, il y a 127 plugins, donc il reste beaucoup de chemin à parcourir, mais c’est un bon départ : https://datasette.io/plugins
      Si je devais le résumer en une phrase, ce serait : « Datasette est le moyen le plus rapide de publier des données en ligne sous forme de base de données interactive et consultable », ou encore « WordPress pour les données : une plateforme open source extensible pour l’exploration, l’analyse, la visualisation et la publication ».

  • Simon, ça a vraiment l’air excellent, et j’espère que ça marchera bien.
    Ces dernières années, j’ai fait beaucoup de choses intéressantes avec Datasette et je le recommande vivement. Je compte aussi absolument essayer datasette.cloud.

  • Datasette est formidable.
    À mon précédent poste, j’avais bricolé une manière de déployer Datasette sur le cloud Azure interne pour partager rapidement les résultats de requêtes SQL complexes ; je suis donc content de voir Simon lancer directement .cloud.

  • Depuis que j’ai découvert Simon dans le podcast Latent Space, je regarde son blog et plusieurs de ses vidéos YouTube depuis quelques semaines.
    En tant qu’ancien journaliste, j’avais envie d’apprendre le data journalisme, et quand ce sera public, j’essaierai peut-être.

  • Il est intéressant de voir le journalisme de données évoluer aujourd’hui vers une forme où l’on met des CSV dans le cloud
    Lors des anciennes conventions de l’I.R.E., le sujet le plus brûlant était d’apprendre à extraire et décoder des données depuis des bandes 9 pistes
    Aux débuts du FOIA, les administrations déversaient souvent d’immenses volumes d’informations sur de gigantesques bobines de données 9 pistes, puis affirmaient avoir « satisfait à la demande », ce qui entravait le travail journalistique
    Très peu de rédactions avaient ce matériel ou ces compétences techniques, il fallait donc trouver soi-même une solution ou chercher des entreprises ou institutions capables d’aider
    I.R.E. : https://www.ire.org/

    • Je rappelle souvent que le NICAR (National Institute for Computer-Assisted Reporting, rattaché à l’IRE) a été créé dans les années 1980 et travaillait avec des mainframes
      Le journalisme de données n’a rien de nouveau

  • Simon est un excellent technicien
    J’ai beaucoup appris de ses vidéos et de ses écrits, et j’espère que ce projet marchera bien

  • Je pensais que cela faisait référence au lecteur de cassettes C2N Datasette du C64, et j’ai été déçu de voir que ce n’était pas le cas
    https://en.m.wikipedia.org/wiki/Commodore_Datasette

    • J’ai écrit mon premier programme de « base de données » avec un C64 et un Datasette
      Je devais avoir environ 7 ans et il ne faisait pas grand-chose en réalité, mais le nom est clairement un hommage à cela
    • Je m’attendais à quelque chose dans l’esprit de « Floppy RAID » [1], quelque chose d’encore plus absurde avec une technologie encore plus ancienne
      1 : https://youtu.be/1hc52_PWeU8
    • Moi aussi, je m’attendais à la même chose
      J’ai encore un 1531 dans le grenier, posé à côté d’un C16