Paged Out n°6 [pdf]

 (pagedout.institute)
4 points par GN⁺ 2025-03-31 | 1 commentaires | Partager sur WhatsApp
  • Montre des cas d’usage où des modèles de base sont reliés par des pipelines à des utilitaires UNIX existants ou nouveaux afin d’automatiser le traitement de musique, de vidéo, de listes de tâches et de fichiers image
  • Une collection musicale est placée dans un espace d’embedding à 512 dimensions avec CLAP, puis llm-clap et llm-interpolate trouvent un chemin entre un morceau de départ et un morceau d’arrivée pour créer une playlist .m3u
  • Les notes vidéo peuvent être générées avec un pipeline de deux lignes qui télécharge les sous-titres via yt-dlp, les résume avec llm, puis les transmet à zk new -i
  • Les rapports d’activité exportent en JSON les tâches terminées au cours des 7 derniers jours depuis taskwarrior, extraient uniquement .description avec jq, puis confient la rédaction du rapport à un LLM
  • Le renommage des fichiers image combine find, xargs, ollama, moondream, tr et sed pour produire des noms de fichiers plausibles à partir du contenu des images

Combiner des pipelines UNIX et des modèles de base

  • Les modèles de base sont des modèles entraînés sur des jeux de données très vastes et variés, qui peuvent être utilisés directement pour diverses tâches en aval ou faire l’objet d’un fine-tuning
  • Le sujet se concentre sur des flux de travail exploitant des modèles capables de générer et de comprendre du texte et des images
  • L’approche se divise en deux étapes
    • Utiliser ensemble des utilitaires UNIX classiques et de nouveaux utilitaires pour relier différentes parties d’un pipeline
    • Appliquer des modèles de base à des tâches difficiles à traiter uniquement avec des solutions bien définies, puis corriger la sortie du modèle avec des utilitaires pour la rendre utile

Exemples de pipelines

  • Génération de playlists

    • Un modèle de compréhension musicale convertit chaque chanson en un point dans un espace, puis interpole entre ces points pour générer automatiquement une playlist à l’enchaînement naturel
    • Des modèles comme CLAP intègrent la collection musicale $MC dans un espace à 512 dimensions, où les chansons similaires sont plus proches les unes des autres
    • Utilise llm et les plugins llm-clap, llm-interpolate
    • La commande d’exemple crée des embeddings avec llm embed-multi -m clap songs --files $MC '*', puis génère une playlist .m3u de 3 morceaux avec llm interpolate songs "PacifyHer.wav" "redrum.wav" -n 3 | jq .[] > playlist.m3u

  • Rédaction de notes vidéo

    • Les vidéos de conférences et de tutoriels sont utiles, mais il est fastidieux de prendre des notes pendant le visionnage
    • Télécharge les sous-titres de la vidéo avec yt-dlp, les résume avec llm -s "Create notes", puis crée un nouvel objet de note avec zk new -i de zk
    • Le pipeline d’exemple exécute yt-dlp --no-download --write-subs --output "$OUT" "$URL", puis cat "$OUT" | llm -s "Create notes" | zk new -i

  • Génération de rapports d’activité

    • Les comptes rendus mensuels, hebdomadaires et quotidiens de réunion doivent trouver un équilibre entre un niveau d’abstraction compréhensible pour l’équipe et un degré de précision permettant d’obtenir des retours utiles
    • Il est possible d’interroger un outil numérique de gestion des tâches comme taskwarrior et de transmettre le résultat à un LLM pour produire un rapport
    • Le pipeline d’exemple exporte en JSON les tâches terminées au cours des 7 derniers jours, extrait .description avec jq, puis transmet le tout à llm -s 'Generate a report based on these tasks.'

  • Renommage de fichiers photo

    • Les fichiers image téléchargés depuis Internet ou pris soi-même peuvent avoir des noms ambigus ou inutiles comme 1672714705640839.png, 1689964585834142.png, 2.jpg
    • ollama est un outil d’importation de modèles et d’inférence qui, avec le modèle de vision moondream, permet une inférence rapide sur un ordinateur portable récent
    • Le pipeline d’exemple cherche les fichiers .jpg dans le répertoire courant, obtient un titre basé sur l’image avec ollama run moondream "Title for this: {}", puis construit un nom de fichier avec tr et sed
    • Les exemples de sortie prennent la forme A green dragon with wings and a tail.jpg, A painting of a serene landscape.jpg, urns of stone red car in foreground.jpg

À lire aussi

1 commentaires

 
GN⁺ 2025-03-31
Avis sur Hacker News

  • Pour aller directement à la table des matières, voir https://pagedout.institute/download/PagedOut_006.pdf#page=3

  • L’exemple « How to use a Python variable in an external Javascript (Django) » semble très probablement vulnérable aux attaques XSS lorsque la variable contient une saisie utilisateur
    Il est important d’encoder la sortie en fonction du bon contexte. Par défaut, Django encode les variables de template pour le contexte HTML ; les afficher dans une balise script ou dans un fichier JavaScript peut donc rendre une XSS possible

    • En regardant la documentation de Django, cela semble exact, et le problème central paraît être surtout les chaînes de caractères
      L’auto-échappement par défaut remplace ' et " par des entités HTML, mais n’encode pas la barre oblique inverse ; un \ en fin de chaîne peut donc échapper le guillemet fermant. Si un attaquant peut contrôler deux chaînes du même « type » à la suite, cela devient exploitable
      Pour faire les choses correctement, cette méthode semble être la bonne : https://docs.djangoproject.com/en/5.1/ref/templates/builtins...
    • J’ai un peu honte de déjà pouvoir imaginer comment l’attaque est possible, mais heureusement l’ajout du filtre de template escapejs permet de corriger la vulnérabilité

  • J’aime vraiment beaucoup. Ça a un côté ancien ezine/webzine
    Je me demande toutefois comment un utilisateur d’ordinateur ayant une très mauvaise vue pourrait le lire confortablement. Il faut constamment faire défiler vers le haut et le bas pour suivre le contenu, et si l’on affiche une page entière, il faut plisser les yeux pour lire le texte

    • C’est juste, et l’une des limites regrettables de ce format est qu’il faut faire défiler le PDF en permanence. Au fond, les décisions prises au départ nous ont enfermés dans ce format, et j’en porte aussi la responsabilité
      Le PDF permet de donner aux auteurs une liberté totale de mise en page, ce qui aboutit à des résultats très créatifs comme dans ce numéro. Mais un PDF A4 n’est pas agréable à lire sur téléphone, écran d’ordinateur ou tablette, et c’est encore plus difficile pour les utilisateurs de lecteurs d’écran. Rendre compatibles avec les lecteurs d’écran les PDF tels que nous les recevons est au minimum complexe, et nous ne le prenons pas encore en charge
      À l’inverse, tout le monde a aujourd’hui un lecteur PDF, les articles s’affichent de la même manière partout, et on peut quasiment les imprimer directement. C’est donc une question d’avantages et d’inconvénients. Il ne semble pas y avoir de moyen simple de résoudre ce problème sans casser ce qui fait que Paged Out! est apprécié
      Ce que j’aimerais améliorer, c’est accroître l’accessibilité de la version imprimée et ajouter un jour une vraie prise en charge des lecteurs d’écran. Pour le reste, le problème du défilement restera probablement une partie du zine
      J’aimerais aussi que la « lecture à voix haute » des articles devienne possible. Dès le départ, la plupart des licences d’auteurs prévoyaient une clause permettant de consentir à l’enregistrement audio des articles. Ce serait bien pour les personnes qui aiment consommer ce type de contenu comme des livres audio ou des podcasts, et, au prix d’entendre des descriptions à la place de voir les illustrations, cela permettrait aussi d’éviter le défilement
    • En passant entièrement à LaTeX, il serait peut-être possible de le rendre bidirectionnel, comme arxiv l’a fait récemment en rendant LaTeX en HTML5
    • Il suffit d’utiliser un écran vertical

  • L’apparence est vraiment excellente, avec une ambiance Crash magazine des années 1980

  • C’est un excellent magazine, mais il a aussi ses limites. À cause de la limite d’une page, chaque article devient surtout une ancre minimale vers le sujet, parfois presque une publicité pour l’auteur, et ne transmet pas énormément de contenu
    Sur le fond, je trouve PoC || GTFO et Phrack meilleurs. La variabilité de la mise en page est aussi, personnellement, un défaut et fatigue à la lecture. Chaque page constitue visuellement un univers totalement séparé, ce qui est pesant
    Je comprends que LaTeX soit moins accessible et puisse exclure certains auteurs, mais n’y aurait-il pas un moyen de combiner les avantages des deux approches ? Je me demande si vous avez déjà envisagé un Overleaf hébergé localement

    • La limite d’une page et la mise en page personnalisée de Paged Out! sont des choix délibérés. Bien sûr, comme vous le soulignez, ils ont des inconvénients
      Mais les publications sans limite de pages et avec une mise en page stricte ont aussi leurs défauts. C’est mon avis après avoir travaillé ces 15 dernières années comme relecteur/éditeur et auteur pour plusieurs magazines techniques
      Dans un magazine classique, les auteurs se sentent obligés d’écrire un long article couvrant tout, et ne se sentent pas à l’aise pour proposer une petite note courte et sympa sur une astuce. Paged Out! est justement destiné à ce créneau d’une page où ce type de notes courtes peut exister
      Ce format est-il limité ? Oui. Peut-on tout écrire dans ce format ? Non. Et ce n’est pas grave
      Nous n’essayons pas de devenir PoC || GTFO ou Phrack. Les deux sont excellents et je les apprécie beaucoup personnellement, mais nous avons trouvé notre propre place : les articles courts. La communauté zine a aussi beaucoup d’affection mutuelle. Par exemple, regardez les enregistrements DNS TXT de pagedout.phrack.org et phrack.pagedout.institute
      Je comprends aussi ce que vous voulez dire sur le chaos de la mise en page. En même temps, c’est également une autre niche dans laquelle j’ai volontairement placé PO!. Je plaisante parfois en disant que c’est une thérapie après avoir dû faire entrer mes idées au chausse-pied dans la mise en page exacte voulue par un éditeur, ou après avoir relu trop d’articles interminables dans d’autres magazines
      Je reconnais que vos remarques sont justes, mais en même temps je suis assez satisfait de cette petite niche imparfaite
      Deux liens à ce sujet : https://pagedout.institute/?page=faq.php#why-one-page
      & https://pagedout.institute/?page=faq.php#layout

  • J’ai été invité à contribuer, mais je n’avais pas le temps de préparer quoi que ce soit à l’époque. Le résultat a pourtant l’air vraiment superbe, donc il faudra que je trouve un bon sujet pour la prochaine fois

  • J’aime vraiment beaucoup. En particulier « Spotting Quacks with Puzzles »
    L’approche de la littératie médiatique est très originale, et elle tombe à point nommé avec la nouvelle mise à jour de génération d’images de 4o

    • C’est moi qui ai écrit cet article. J’espère qu’il donnera aux personnes créatives de PO!/HN qui aiment résoudre des problèmes l’occasion de réfléchir aux difficultés de l’enseignement de la littératie médiatique

  • Je me demande s’il est possible de commander ce magazine avec livraison en version imprimée. Ou bien faut-il simplement le télécharger et l’imprimer chez soi ? J’aimerais recevoir ce genre de magazine par courrier

    • Ce n’est pas encore possible, mais nous travaillons à le proposer via un service d’impression numérique comme lulu.com
      Il n’y a pas de calendrier ferme, mais nous essayons de rendre cela possible avant le prochain numéro, prévu grosso modo vers juin-juillet

  • Quand je suis arrivé à la partie sur le pédalier USB, j’avais déjà passé tellement de temps dessus que j’ai dû m’arrêter. C’est un chouette petit zine, et je regarderai plus tard ce numéro ainsi que les précédents plus en détail

  • J’aime le format magazine, et les illustrations me plaisent particulièrement. Le fait que ce soient des illustrations faites par des humains, pas par l’IA, crée vraiment une bonne ambiance
    Cela dit, avec un choix aussi vaste d’artistes possibles, je ne suis pas vraiment d’accord avec l’idée d’utiliser des illustrations d’un artiste russe qui vit actuellement en Russie, y paie des impôts et contribue donc aux conséquences qui en découlent

    • Les petits impôts qu’un Russe paie à cause de ce travail sont insignifiants comparés à l’argent que la Russie gagne en vendant du pétrole à l’Europe. Faut-il alors boycotter toute l’Europe ?
    • J’aimerais qu’on ne discrimine pas les gens à cause de ce que fait leur gouvernement
      Les personnes réfléchies et intelligentes méritent d’être incluses, quel que soit le régime sous lequel elles vivent