- Yahoo Pipes était un service de programmation visuelle basé sur le navigateur, créé en 2007 par une petite équipe de Yahoo, qui permettait de récupérer des données RSS, JSON, CSV et de pages web, puis de les filtrer, combiner et transformer avant de les diffuser sous forme de nouveaux flux ou sorties de données
- Grâce à un système de nœuds et de connexions sans écrire de code, et à une structure de Pipe publique, duplicable et modifiable, même les non-développeurs pouvaient créer eux-mêmes des flux de données
- La bêta publique prévoyait environ 1 000 utilisateurs, mais a attiré plusieurs centaines de milliers de personnes, provoquant une surcharge massive dès le lancement à cause d’un code Perl non optimisé et de ressources serveur limitées
- Pipes combinait des courants comme Automator, RSS, AJAX, la culture du mashup, Yahoo Maps et YQL, mais sans modèle vendant un volume d’appels garanti ni mission produit clairement définie, il est resté surtout en maintenance dans un Yahoo en pleine réorganisation
- Même après son arrêt en 2015, il a laissé son empreinte sur des outils comme Workflow/Shortcuts, Huginn, Node-RED et sur les débats autour de la programmation visuelle, mais aujourd’hui les API payantes, les restrictions sur le scraping et les incertitudes liées au droit d’auteur rendent plus difficile l’existence de services ouverts comparables d’assemblage de données
Ce que Yahoo Pipes rendait possible
- Yahoo Pipes était un service hébergé dans le cloud qui permettait d’importer plusieurs sources de données du web pour que les utilisateurs puissent eux-mêmes les filtrer, les combiner et les transformer
- Les usages couvraient un large éventail, des informations pratiques au filtrage d’actualités
- Vérifier si les derniers séismes recensés se trouvent près de l’utilisateur
- Agréger 100 sites d’actualité et n’afficher que les éléments mentionnant des chats
- Extraire des scores sportifs depuis des sites sans flux RSS
- Trouver des appartements sur Craigslist et d’autres listes locatives selon un prix donné et la proximité d’un parc
- Exclure des articles sur des sujets sans intérêt provenant de médias déjà suivis
- Chaque Pipe était personnel tout en restant public, et d’autres utilisateurs pouvaient le copier puis le modifier
- Les sorties pouvaient être produites en RSS, objets JSON, HTML, KML, XML, puis intégrées dans une page web ou reliées au flux de traitement de données d’un autre site
Une programmation visuelle cloud créée par une petite équipe
- Après son retour chez Yahoo en 2006, Pasha Sadri voulait créer un outil de manipulation des données tirant parti des nouvelles possibilités d’interaction offertes par le navigateur
- Pipes était un projet de type skunkworks approuvé en interne chez Yahoo, avec une équipe centrale de 5 personnes incluant Sadri
- Jonathan Trevor et Ed Ho s’occupaient de la programmation
- Daniel Raffel assurait la gestion produit
- Kevin Cheng a rejoint le design quelques mois plus tard
- Les utilisateurs construisaient des flux d’information en glissant-déposant des éléments dans le navigateur puis en les reliant par des lignes
- Les sources de données se sont étendues aux actualités, aux sorties de bases de données, aux billets de blog, à Atom, RDF, CSV et aux pages web
- Les résultats dotés de balises de localisation pouvaient être filtrés via Yahoo Maps afin de les limiter à une zone précise ou à la proximité d’éléments géographiques comme des parcs
L’ouverture et la duplication comme principes de conception
- L’équipe a fait du caractère public de tous les Pipes, ainsi que de la possibilité pour chacun de les copier et modifier, un principe central de conception
- Pour Sadri, cette ouverture jouait un rôle clé dans l’accessibilité du service aux non-développeurs
- Les utilisateurs pouvaient observer les Pipes créés par d’autres pour apprendre, et le partage des connaissances faisait partie intégrante de l’usage du service
- Le nom Pipes venait du concept de pipeline Unix, où la sortie d’un programme est transmise au suivant
Une demande explosive et des problèmes de montée en charge dès le lancement
- Pipes a été développé pendant environ six mois, de la mi-2006 au début 2007, avant une bêta publique discrète prévue en février 2007
- L’équipe tablait sur environ 1 000 premiers utilisateurs, mais plusieurs centaines de milliers de personnes ont afflué dès le lancement, et beaucoup d’autres n’ont même pas pu se connecter
- Des serveurs limités et du code non optimisé n’ont pas permis d’absorber l’exécution des workflows de flux d’actualités ni l’affichage des pages, ce qui a complètement surchargé le système
- À l’époque, un Pipe isolé pouvait fonctionner sur un ordinateur personnel ou professionnel, mais faire tourner l’ensemble du service à grande échelle dans le cloud demandait des ressources de datacenter importantes
- À chaque exécution non mise en cache, un seul Pipe pouvait télécharger de quelques dizaines à plusieurs centaines de Mo, alors que la bande passante était souvent insuffisante et coûteuse à l’époque
- Sadri se souvenait avoir passé les six mois suivants à faire évoluer le système déjà construit pour suivre la demande
L’environnement interne de Yahoo et Brickhouse
- Sadri a travaillé chez Yahoo pendant la majeure partie de la période 2000-2007, avant de partir chez Google en 2005 pour contribuer à Google Maps, puis de revenir chez Yahoo en 2006
- Le Technology Development Group de Yahoo, ou TechDev, avait été créé comme une structure pour Caterina Fake, cofondatrice de Flickr, sous la division Yahoo Advanced Development
- TechDev avait pour rôle d’expérimenter de nouvelles orientations non liées au cœur de métier de la recherche et d’attirer des employés au profil entrepreneurial
- Fake avait reçu de Jerry Yang le mandat de rendre Yahoo « comme Flickr », et elle cherchait à former de petites équipes efficaces en réduisant les barrières organisationnelles
- Pipes a été l’un des premiers projets issus de cette dynamique, avant d’être rattaché à Brickhouse, créé ensuite à San Francisco
- Brickhouse était perçu comme une « dernière étape » pour des talents créatifs et instables sur le point de quitter Yahoo
Les attentes suscitées par l’échelle de Yahoo
- Yahoo tirait l’essentiel de ses revenus de la publicité liée à la recherche et de sites partenaires sous licence de recherche
- Selon Kent Brewster, au moment du lancement de Pipes, la page d’accueil de Yahoo enregistrait 1,2 milliard de visites par mois, et l’ensemble des sites Yahoo dépassait 1 milliard de pages vues par jour
- Après que Brewster eut proposé un lien vers An Inconvenient Truth d’Al Gore sur la page d’accueil de Yahoo, Al Gore est même venu le remercier en personne lors d’une projection près du siège de Yahoo, ce qui montrait l’influence de cette mise en avant
- Le retour de Sadri chez Yahoo reposait aussi sur l’idée que, même si l’entreprise ne lançait pas des projets à succès aussi vite que Google, elle pouvait encore faire émerger « la prochaine grande chose »
D’Automator à un outil basé sur le navigateur
- Le concept graphique de Pipes a été fortement influencé par Automator d’Apple
- Automator était un outil macOS permettant aux utilisateurs de créer des automatisations en glissant-déposant des actions liées à des apps ou au système dans des workflows linéaires
- Apple l’a présenté en 2004 avec l’objectif de rendre accessibles au grand public des tâches qui demandaient normalement des compétences en programmation
- Pipes prolongeait cette idée, mais fonctionnait dans le navigateur plutôt que comme application native
- Automator pouvait être étendu via divers langages et scripts disponibles sur Mac, tandis que Pipes, en tant que service hébergé dans le cloud, n’autorisait pas l’exécution de code arbitraire et proposait un ensemble limité de fonctions
- À l’époque, autoriser du code arbitraire dans un service cloud risquait de consommer excessivement les ressources CPU et de mettre d’autres ressources sous pression
La difficulté d’implémenter l’interface dans le navigateur
- Le cœur de Pipes était une interface de programmation visuelle qui permettait de manipuler dans le navigateur des nœuds et des lignes de connexion sans écrire de code
- Après que Google Maps eut démontré en 2005 le glisser-déposer, le zoom et les mises à jour cartographiques en temps réel, les interactions navigateur basées sur CSS, JavaScript et AJAX sont devenues plus crédibles
- Les membres de l’équipe se souvenaient qu’avant la sortie, l’essentiel du temps et des efforts avait été consacré à construire cette structure de nœuds et de lignes et à en faire un environnement de codage visuel
- À l’époque, Firefox, Opera, Safari et Internet Explorer différaient dans leurs niveaux de support et leurs comportements, et Internet Explorer en particulier imposait ses propres exigences de code et de HTML
- Pour Sadri, faire fonctionner les boîtes et les courbes animées sur plusieurs navigateurs a été l’un des grands accomplissements techniques du projet
Mario Kart et les couleurs de la Wii ont marqué le design produit
- Après le déjeuner, l’équipe jouait chaque jour à Mario Kart sur Nintendo DS, puis poursuivait les échanges et la réflexion en notant les idées sur un tableau blanc
- Raffel estimait que ces retours échangés dans une ambiance ludique avaient été importants pour le développement du produit
- Les parties répétées de Mario Kart ont maintenu dans l’esprit de l’équipe l’usage de combinaisons de couleurs vives et très contrastées dans le design de Pipes
- Après la sortie de la Nintendo Wii en novembre 2006, l’équipe s’est aussi inspirée de son système de couleurs et de ses teintes douces et lumineuses
- L’interface Aqua d’Apple et les iMac multicolores ont également servi de références visuelles
Un modèle d’exécution qui rendait visible le flux de données
- Pipes a d’abord suivi un flux linéaire, avant d’évoluer vers une structure plus dynamique dans laquelle chaque nœud pouvait exécuter des scripts et du code dans l’ordre du programme
- Il proposait des structures de contrôle comme les conditions, les boucles, les branches et fusions, ainsi que la transmission de sorties vers des services web externes, permettant des usages limités mais proches d’un langage de programmation généraliste
- Il utilisait aussi une syntaxe colorée des liens, avec les structures de contrôle en gris et les flux de données en bleu
- L’équipe considérait les tableurs comme une référence importante pour un modèle de programmation destiné aux non-développeurs
- Dans un tableur, les données sont visibles et les résultats se mettent à jour immédiatement quand une entrée change
- On peut repérer tout de suite ce qui ne va pas, sans compilation ni débogage fondé sur des logs
- Pipes proposait ainsi un pipeline de données réactif, exécuté et affiché immédiatement dès que des éléments étaient connectés
- Un débogueur textuel optionnel en bas de l’écran affichait les résultats courants élément par élément
- Selon Sadri, il était très difficile d’écrire un programme erroné dans Pipes : dès qu’on glissait quelque chose à l’écran, cela fonctionnait tout de suite et produisait une sortie
Implémentation interne et dette technique
- Pipes a été développé de manière itérative et rapide, avec des fonctionnalités, du code et du design créés en continu en vue d’une date de lancement encore incertaine
- L’équipe a parfois choisi des implémentations de raccourci, en partant du principe qu’un futur produit abouti pourrait être nettoyé plus tard par eux-mêmes ou par d’autres
- Selon Ed Ho, le code sous-jacent était en grande partie écrit en Perl
- Perl était alors largement utilisé côté serveur et pour le traitement de texte, mais ne convenait pas à l’échelle de production que Pipes a fini par exiger
- Trevor jugeait ce code Perl très inefficace, peu scalable, et conçu avant tout pour une preuve de concept v1 rapide
L’éloge d’O’Reilly et une bêta explosive
- Début 2007, après plusieurs mois de développement sans date de fin définie, l’équipe a reçu de la direction l’ordre de terminer Pipes sous deux semaines
- L’équipe ne pensait pas être à deux semaines de la finition, mais a malgré tout lancé le service
- Quelques jours avant la sortie, Caterina Fake a emmené Sadri présenter une démo à Tim O’Reilly
- O’Reilly a qualifié Pipes de jalon dans l’histoire d’Internet, écrivant qu’il démocratisait la programmation web et permettait aux utilisateurs de mieux contrôler les services d’information qu’ils consomment sur Internet
- Cet éloge a fait exploser l’intérêt, et Sadri se souvenait que cela avait littéralement fait fondre tous les serveurs
- Tout au long du jour du lancement, l’usage n’a pas baissé, et l’équipe des datacenters Yahoo a redirigé vers Pipes des serveurs initialement destinés à d’autres groupes
- L’équipe n’avait même pas préparé de page d’erreur, et a d’abord créé après la bêta une page avec un message du type « our pipes are clogged »
Des Pipes sans fin et une lourde charge d’exploitation
- Après le lancement, l’équipe a commencé à identifier les problèmes restés en suspens à cause du rythme rapide de la sortie
- Une fois créé par un utilisateur, un Pipe continuait à s’exécuter sans point d’arrêt défini
- Il n’y avait pas besoin de connexion ni de demande manuelle d’actualisation, et les lecteurs RSS interrogeaient automatiquement les mises à jour
- Pour Raffel, une grande quantité de tâches générées comme des « zombies » a rapidement produit un volume d’usage dont on ne savait pas toujours s’il correspondait à de vrais utilisateurs
- Yahoo a ajouté davantage de serveurs, les programmeurs ont optimisé le code le plus inefficace, et la stabilité s’est améliorée quelques mois plus tard
La puissance d’un outil d’assemblage de données
- Pipes s’est développé dans le contexte de la culture du mashup du milieu des années 2000 et de l’âge d’or du RSS
- Le RSS servait de standard simple et lisible par machine pour distribuer des mises à jour de blogs, des épisodes de podcasts, des résultats de recherche et d’autres unités d’information
- Jon Udell estimait que Pipes avait moins de mal à dialoguer avec une multitude de sources parce que RSS standardisait déjà la manière d’y accéder
- Pipes ne gérait pas seulement RSS, mais aussi Atom, RDF et CSV, et avec un peu de travail il pouvait récupérer une page web pour en extraire certaines données
- Il se connectait aussi à des services internes Yahoo, notamment Flickr, puis a ensuite pris en charge Yahoo Query Language, ou YQL
- YQL était un projet transverse visant à permettre aux produits internes Yahoo et aux développeurs externes d’interroger un point d’accès commun
- Les sorties de Pipes pouvaient être intégrées dans des pages ou générées en HTML, JSON, KML, RSS et XML
- Des sites externes pouvaient aussi interroger un workflow Pipe en JavaScript et récupérer les résultats
Le cas du blocage par Craigslist
- Pipes était utile, mais pouvait aussi peser sur d’autres sites
- En 2009, Craigslist a bloqué Pipes après qu’un développeur extérieur à Yahoo l’a utilisé pour créer une carte des annonces locatives Craigslist
- Le CEO de Craigslist affirmait que Pipes consommait trop de ressources
- Ce blocage a privé de données plusieurs mashups sur Internet, et certains développeurs ont continué à utiliser leur Pipe sans s’appuyer sur Craigslist comme source de données
- Le blocage a été levé environ deux semaines plus tard
L’absence de modèle économique et de soutien organisationnel
- Le déclin de Pipes a commencé dès son lancement, et le passage du concept au produit abouti aurait exigé une équipe plus importante et une mission claire
- Kent Brewster racontait que dans les conférences, les gens trouvaient Pipes impressionnant, mais que lorsqu’ils demandaient combien ils pourraient payer pour le service, Yahoo devait répondre qu’il n’en était pas encore là
- Il n’existait pas d’offre permettant d’acheter un volume mensuel garanti d’appels Pipe, ce qui compliquait l’investissement pour les professionnels et les grandes entreprises
- Yahoo a licencié environ 1 000 personnes en janvier 2008, puis a refusé l’offre de rachat de Microsoft de 44,6 milliards de dollars en numéraire et en actions
- Plus tard la même année, l’entreprise a licencié 10 % supplémentaires de ses effectifs, soit environ 1 500 personnes
- De 2008 à la vente de Yahoo en 2017 et à son démantèlement de fait, l’événement financier le plus marquant a été l’accord conclu en 2012 par Marissa Mayer sur la vente d’une part de la participation dans Alibaba
- Yahoo avait acheté cette participation dans Alibaba pour 1 milliard de dollars en 2005, et sa valeur était montée à 7,6 milliards de dollars au moment de la vente
Brickhouse et la dispersion de l’équipe
- Brickhouse a produit en 2007 plusieurs projets remarqués par la presse tech
- BravoNation : un système en ligne pour s’envoyer des encouragements
- FireEagle : un service fournissant des informations de localisation tout en arbitrant les questions de confidentialité
- KickStart : un site de mise en relation pour l’emploi des étudiants
- Yahoo Live : un service précoce de streaming webcam en direct
- Aucun de ces projets n’a débouché sur un véritable succès
- Fake a commencé son congé maternité en avril 2007 et a quitté Yahoo en juin 2008
- Bradley Horowitz est parti chez Google en février 2008, et Salim Ismail a quitté l’entreprise en mars 2008
- Chad Dickerson est lui aussi parti vers le milieu de l’année 2008, à peu près au même moment que Fake
- Brickhouse a fermé fin 2008
- L’équipe Pipes s’est également dispersée, quittant Yahoo ou rejoignant d’autres équipes, tandis que le support du service était transféré à des responsables internes
Pourquoi Pipes a duré aussi longtemps, puis sa fin
- Sadri a fondé Polyvore quelques mois après le lancement de Pipes
- Polyvore était une plateforme de partage de collages d’images, souvent utilisée dans la mode et la décoration intérieure
- Polyvore a été racheté par Yahoo en 2015, et Sadri travaille ensuite chez Sutter Hill Ventures
- Ho est lui aussi parti à peu près au même moment que Sadri, et Cheng comme Raffel sont partis dans l’année suivant le lancement de Pipes
- Trevor est resté chez Yahoo jusqu’en 2010, passant d’une équipe à l’autre tout en emportant Pipes avec lui, ce qui, selon lui, a permis au service de survivre plus longtemps
- Trevor a réécrit Pipes de Perl vers Java afin de le rendre compatible avec le langage interne YQL
- Ensuite, il estimait qu’il ne restait plus qu’à attendre le moment où le service serait coupé
- Yahoo a finalement fermé Pipes en 2015
- Dans le fil Hacker News consacré à l’annonce de fermeture, des utilisateurs continuaient encore à chercher des alternatives et à regretter le potentiel non réalisé du service
- Sadri a écrit à l’époque qu’il aurait aimé voir Pipes sortir « à l’ère des conteneurs, comme Docker », ajoutant qu’il existait déjà une idée de déploiement en un clic de ce qu’on appellerait aujourd’hui des conteneurs
Son influence sur les outils suivants et la programmation visuelle
- Pipes a inspiré toute une génération de programmeurs, de designers d’interface et de responsables produit
- Workflow, l’app d’automatisation pour iPhone/iPad rachetée par Apple en 2017, a ensuite été arrêtée et intégrée avant d’être redistribuée sous forme de Shortcuts sur iOS, iPadOS et macOS, et elle est souvent citée comme l’un des outils les plus proches de Pipes
- Le créateur de Huginn, Andrew Cantino, a écrit sur Hacker News en 2021 que Yahoo Pipes avait inspiré la création de Huginn
- Node-RED a été lancé en 2013 et est souvent cité comme un outil ayant une atmosphère similaire à celle de Pipes
- La liste des outils publics ou privés présentés comme alternatives à Pipes a continué de s’allonger
- Dans le fil Hacker News consacré à la fermeture, un utilisateur a expliqué que Pipes servait de base à un cours sur les mashups de données, et que des étudiants non développeurs pouvaient créer en quelques heures de petites apps de données personnalisées
- Cet exemple incluait le géocodage d’un blog de street art par extraction d’entités de lieu, puis la sortie du flux enrichi dans une vue cartographique
Pourquoi il est plus difficile de créer un tel service aujourd’hui
- Greg Wilson expliquait que les outils de programmation visuelle existent largement sous forme d’outils spécialisés selon les métiers et les industries, et que même l’animation haut de gamme à Hollywood est produite avec des outils reliant des blocs de flux de données à la manière de Yahoo Pipes
- MATLAB est également cité comme plateforme de modélisation mathématique comptant environ 4 millions d’utilisateurs dans le monde, dont beaucoup utilisent une interface de programmation visuelle
- Parmi les raisons pour lesquelles les outils graphiques généralistes ne se sont pas imposés plus largement figure l’incertitude liée au droit d’auteur
- Dans un commentaire publié en 2007 sous l’article d’O’Reilly sur Pipes, Anil Dash écrivait qu’il n’existait pas de réponse claire à la question de savoir si la simple existence d’un flux impliquait l’autorisation de s’y abonner, de l’interroger fréquemment ou de le republier
- Seize ans plus tard, ces questions n’ont toujours pas reçu de réponse nette, et le risque de contentieux peut avoir un effet dissuasif sur les entreprises qui voudraient créer des services gratuits ou payants
- L’Internet actuel a davantage verrouillé les flux d’information librement exploitables, et le scraping de pages web ordinaires pour en analyser les données fait lui aussi l’objet de restrictions plus fortes
- Sadri expliquait que beaucoup d’API légitimes sont devenues des API commerciales derrière des offres payantes
- Malgré cela, l’attachement à Pipes demeure, et Sadri disait réfléchir à la possibilité de créer une version nouvelle génération comme un « Pipes 2 » avec l’infrastructure d’aujourd’hui
1 commentaires
Avis sur Hacker News
En tant qu’employé de Retool, j’ai travaillé sur cet article ; c’est le deuxième volet d’une série régulière consacrée aux nouveaux environnements de programmation qui ont eu un fort impact sur les développeurs.
Ce genre d’article est un travail fait avec passion, et c’est agréable de pouvoir échanger directement avec les équipes d’origine qui ont créé des produits ayant eu une influence formatrice sur nous.
L’un des aspects les plus intéressants dans la création de produits comme Retool, c’est l’évolution des idées passées ; les vieux articles et produits informatiques regorgent d’excellentes idées, parfois en avance sur leur temps ou disparues au fil des évolutions du secteur.
Pipes a servi de référence lors de la création d’un nouveau produit, Retool Workflows, et il y a encore beaucoup d’idées d’environnements de programmation que nous pourrions traiter ; si vous avez chacun un environnement auquel vous êtes attachés, dites-le-nous.
Le premier article approfondi portait sur Visual Basic : https://retool.com/visual-basic
Retool Workflows : https://retool.com/workflows
Globalement, c’est très saccadé, l’interception du défilement est terrible ; Chromium est beaucoup plus fluide, mais l’interception du scroll reste mauvaise.
En général, Linux n’est sans doute pas considéré comme une plateforme cible très importante, mais pour du contenu lié à la programmation, cela peut être différent.
Aux autres lecteurs, je conseille de cliquer sur tout ce qui se trouve sur le bureau du premier écran.
Pipes était ma technique préférée de conscience projet au travail, et je n’ai toujours pas retrouvé de méthode aussi rapide depuis.
Avec Yahoo Pipe, je fusionnais 10 à 15 projets Jira et 30 à 50 flux de commits GitHub, je supprimais les doublons et j’en faisais un seul flux RSS, que je lisais dans Google Reader.
Je pouvais rapidement savoir qui avait changé quoi, quand et où ; comme c’était du RSS, c’était excellent, car je n’avais pas besoin de fouiller dans les e-mails ni de consulter plusieurs pages de notifications.
Yahoo Pipes et YQL me manquent énormément.
En 2009, j’avais créé au-dessus de jQuery ce qui était en pratique un plugin XHR (AJAX) cross-domain, permettant de récupérer côté client n’importe quelle page web et de l’interroger avec du XPath converti depuis des sélecteurs CSS.
YQL renvoyait du JSONP, et tout cela donnait vraiment l’impression d’être magique.
En plus, le fait qu’il utilise jQuery dans l’UI est un avantage.
Il est présenté pour l’IoT, mais il est très flexible et permet de faire à peu près n’importe quoi.
https://nodered.org
À l’époque, j’avais créé une appli cliente façon Spotify uniquement avec jQuery, qui cherchait et streamait des MP3 depuis radioblogclub et VK.com, et récupérait les métadonnées ainsi que des recommandations similaires depuis last.fm.
C’est l’animation la plus saccadée que j’aie jamais vue. Sur Chrome Android, Pixel 7, c’est complètement inutilisable ; existe-t-il une version texte ?
Dès que l’onglet de cette page est affiché, toutes les fenêtres Chrome deviennent inutilisables.
Chromium est bien meilleur, mais l’interception du défilement reste vraiment problématique.
Si cela fonctionnait correctement, l’animation serait probablement très sympa, mais c’est dommage : on a l’impression que beaucoup de travail a été fait pour faire fuir les lecteurs.
Je voudrais recommander Pipedream, un outil récent d’automatisation de workflows que j’aime bien et dont le nom ressemble aussi : https://pipedream.com/
Si vous cherchez une automatisation dans le style de Yahoo Pipes, cela vaut vraiment le coup d’essayer.
Je n’ai aucun lien avec eux, je suis simplement un utilisateur satisfait.
Pour voir ce que cela signifie, cherchez todsacerdoti sur https://gerikson.com/hnlo/.
À en juger par la quantité de karma HN accumulée, cela semble plutôt bien marcher.
À noter : j’en suis le fondateur.
Flowpipe, un moteur de scripting cloud open source lancé cette semaine, pourrait aussi vous intéresser.
Il permet de créer des pipelines en HCL pour chaîner des requêtes HTTP, exécuter des conteneurs, exécuter des fonctions compatibles Lambda, interroger des bases de données, etc., depuis votre propre machine et le CLI.
Il peut aussi être combiné avec Steampipe, un projet open source qui permet d’interroger des ressources cloud en SQL, avec plus de 139 plugins.
Nous sommes davantage concentrés sur le DevOps, mais Yahoo Pipes nous a aussi inspirés dans l’idée d’appeler ces choses des « pipes ».
https://github.com/turbot/flowpipe
https://github.com/turbot/steampipe
select * from cloudest un bon résumé, et je vais aussi regarder Flowpipe.À l’université, j’ai utilisé Pipes pour déterminer aléatoirement l’ordre de choix des chambres en résidence.
On récupérait les gros titres du site du NY Times, on les hachait, puis on en tirait de façon déterministe un nombre entre 1 et 6.
Comme tout se faisait à distance pendant l’été, c’était la meilleure manière de convaincre tout le monde que le procédé était équitable sans avoir à exécuter moi-même du code ; c’était à la fois utile et amusant.
Pipes était clairement excellent.
Il s’inscrivait très bien dans l’âge d’or du Web 2.0, quand il restait encore une interopérabilité souple et ouverte grâce à des technologies largement utilisées comme RSS et apparentées.
C’était efficace pour assembler des choses simples afin d’en faire quelque chose de simple mais utile.
Mais ce qui m’étonne, c’est le design incroyable et la quantité de travail de cet article approfondi. Retool y a vraiment mis beaucoup d’efforts, au point qu’on se demande pourquoi ils ne l’ont pas fait plus tôt.
Je trouve intéressant de voir comment ce genre d’article est réalisé.
Il est évident qu’il y a beaucoup de soin, et que le résultat final a dû prendre pas mal de temps à peaufiner, car du contenu de haute qualité et bien poli coûte cher.
Cela dit, je ne comprends pas encore très bien l’objectif. Cela ne ressemble pas à un article marketing, mais le message entre les lignes se lit clairement comme : si vous aimiez Pipes, vous aimerez aussi Retool.
La qualité de production est élevée, et l’URL est simplement
retool.com/pipes, donc cela ne ressemble pas à un simple billet de blog.Il m’a fallu un moment pour réaliser que AWS Step Functions ressemblait à Yahoo Pipes.
Ce n’est pas aussi simple, et il n’y a pas autant de composants cliquables, mais j’ai trouvé étrange de ne m’en rendre compte que si tard.
Quelqu’un de plus perspicace pourra sans doute expliquer en quoi je me trompe.