Pipes - l’héritier spirituel de Yahoo Pipes

• Un éditeur/shell/outil intégré de programmation visuelle spécialisé dans les flux
• Fournit des blocs (fonctions) permettant d’importer, de générer et de manipuler de multiples façons des flux RSS, Atom et JSON
• Permet des opérations comme le filtrage, l’extraction, la fusion et le tri
• Peut scraper des documents HTML et traiter aussi des fichiers texte simples
• En connectant les blocs, les données sont traitées comme si elles circulaient dans des tuyaux
• Le résultat est un nouveau flux pouvant être utilisé par d’autres programmes
• Il est possible de définir un Pipe comme public, d’y ajouter une description et des tags, de le rendre recherchable et de le partager à l’extérieur
  • Apparaît dans les Public Pipes
  • Les autres utilisateurs peuvent le liker et le fork
• Le format de sortie par défaut est le RSS
  • Chaque pipe possède une URL de sortie unique
  • Avec l’extension .txt, il est possible de récupérer uniquement le contenu sans les éléments XML
• Une version open source sous licence AGPL, appelée Pipes CE, est proposée
• Des blocs sont fournis pour récupérer facilement des données depuis plusieurs sites
  • Sites actuellement pris en charge : Twitter, Vimeo, Dailymotion, Periscope, UStream, Mixcloud, SVT Play, Speedrun.com, Youtube

L’avis de GN⁺

• Pipes rend la manipulation des flux visuellement simple, ce qui le rend accessible même aux non-développeurs
• Il propose divers blocs permettant aussi des manipulations de flux complexes
• En tant qu’héritier de Yahoo! Pipes, il peut constituer une bonne alternative pour les utilisateurs nostalgiques
• Grâce à la version open source Pipes CE, les contributions et améliorations de la communauté sont possibles
• Certaines fonctionnalités peuvent être limitées en raison des problèmes liés à l’API de Twitter

[savvykang]

Le principal problème de la programmation visuelle est qu’elle n’offre qu’une version dégradée des langages de programmation, tout en étant difficile à déployer et sans véritable gestion des modifications. La prudence est donc de mise pour celles et ceux qui envisagent de l’adopter.

[xguru]

J’aimais beaucoup Yahoo Pipes, je l’ai beaucoup utilisé à l’époque, donc ça fait plaisir de le retrouver comme ça.
J’avais aussi développé il y a 20 ans, sous forme d’application desktop pour Windows, un outil de développement CTI utilisant cette méthode de connexion par flow, donc je devais déjà apprécier cette approche à l’époque, haha.

n8n.io - moteur open source d’automatisation de workflows ( alternative à Zapier )
Node-RED - outil de programmation low-code

[GN⁺]

Avis sur Hacker News

• Présentation du projet et récentes mises à jour internes

  • Une restructuration interne a été tentée pour résoudre l’instabilité de Pipes
  • Le mode de transmission des données entre les blocs a été modifié : au lieu de texte, elles sont désormais transmises directement sous forme d’objets RSS
  • Les problèmes ont été résolus grâce à une mise à niveau du serveur ainsi qu’à une reconfiguration des threads et des workers Puma
  • Une séparation entre le frontend web et le traitement des pipes a été tentée, mais a échoué en environnement de production

• Entretien avec l’équipe d’origine de Yahoo Pipes et création d’un mini-site

  • L’histoire de Yahoo Pipes a été rédigée à partir d’entretiens avec l’équipe d’origine
  • Le mini-site contient des easter eggs et une photo de l’équipe de 2007

• Retour d’expérience sur l’utilisation de Palantir Foundry et PipelineBuilder

  • Au départ, le scepticisme était de mise vis-à-vis des outils low-code/no-code, mais après avoir porté du code Python, 99 % des besoins de transformation ont été couverts
  • La sémantique reste plus facile à comprendre et à maintenir que du code

• Liens connexes fournis

  • Lien vers un article sur l’architecture et le logiciel de Pipes
  • Lien vers un article sur un successeur précoce de Yahoo Pipes

• Présentation de n8n et NodeRED

  • n8n est un outil similaire pouvant être auto-hébergé
  • NodeRED est très populaire dans le domaine de la domotique

• Le caractère innovant et la nostalgie autour de Yahoo Pipes

  • Yahoo Pipes était extrêmement innovant à l’époque, et son approche exploitant les microdonnées et RSS était remarquable
  • L’arrêt du service est regretté

• Expérience avec Azure Logic Apps et des frameworks similaires

  • Les solutions conçues, créées et déployées par des non-programmeurs atteignent souvent leurs limites en production
  • Ces frameworks évoluent souvent en dette technique
  • Malgré cela, ce type de solution peut aussi avoir ses propres avantages

• Question sur Zapier et les outils similaires

  • Question de savoir si des outils comme Zapier peuvent être considérés comme les héritiers spirituels de Yahoo Pipes

• Évolution des outils de programmation visuelle

  • Développement en cours d’outils de création d’API, de tâches backend et de workflows IA pour les développeurs low-code/no-code

• Forme générale de la programmation visuelle

  • La programmation visuelle repose généralement sur un style unique composé de boîtes de traitement et de lignes reliant ces boîtes