Pipet - outil CLI pour scraper/extraire des données en ligne

• Prend en charge 3 modes de fonctionnement : analyse HTML, analyse JSON, exécution de JavaScript côté client
• S'appuie sur des outils existants comme curl et fonctionne via les pipes Unix
• Configure les commandes avec un fichier .pipet, composé de plusieurs blocs
  • Un bloc comporte 3 sections
    • La première ligne est l'URL de la ressource
    • Les lignes suivantes sont des requêtes qui indiquent les données à lire
    • Si une ligne commence par >, il s'agit du sélecteur pour lire la page suivante (optionnel)
• Exemple de fichier

curl https://news.ycombinator.com/  
.title .titleline  
  span > a  
  .sitebit a  

• --interval 60 permet de relancer l'exécution à l'intervalle souhaité (60 secondes)
• --on-change CMD exécute une commande lorsque le contenu change