HN présente : Feels Like Paper, une technologie au toucher du papier

 (lukasmoro.com)
1 points par GN⁺ 2024-11-29 | 1 commentaires | Partager sur WhatsApp

  • Concept

    • « Feels Like Paper! » est une série de prototypes qui augmentent le papier physique grâce à l’IA.
    • L’objectif est d’injecter dans le papier et l’encre physiques les caractéristiques du monde numérique tout en préservant leurs propriétés matérielles.
    • Les trois prototypes cherchent à donner au papier le dynamisme, l’agentivité et la persistance de l’informatique, tout en conservant la flexibilité, la durabilité et le caractère tactile qu’offre le papier.

  • Inspiration

    • Le projet s’inspire d’un manifeste intitulé « GODS » de Keichii Matsuda.
    • Il propose de déployer dans le monde, via la réalité augmentée, divers agents ou « dieux » afin de fournir une interface d’IA plus humaine.
    • Avec une approche polythéiste inspirée du shintoïsme japonais, il suggère la possibilité d’interagir avec l’IA via de nombreux petits assistants, plutôt qu’à travers une source unique de vérité.

  • Design

    • Le projet ressemble à « Math Notes » d’Apple, à « Dynamicland » de Bret Victor et à « Inkbase: Programmable Ink » d’Ink & Switch.
    • Le fait d’augmenter le papier tout en conservant sa nature statique renforce davantage le rôle de gardien de l’IA.
    • Les interactions implicites sont privilégiées afin de garder l’expérience simple et directe.

  • Prototype « Maths & Questions »

    • Il explore les interactions contextuelles à travers le papier, en intégrant les sorties de l’IA dans la perception de l’utilisateur de manière significative et apaisée.
    • Lorsque l’utilisateur écrit un point d’interrogation ou un signe égal, la position est détectée et une image est envoyée au LLM pour obtenir une réponse.
    • La réponse est augmentée sur le papier avec l’écriture manuscrite de l’utilisateur.

  • Prototype « Mark & Comment »

    • Il explore des interactions incarnées avec un jumeau numérique à travers le ML et le papier.
    • Lorsque l’utilisateur surligne du texte, le surlignage est enregistré dans la version numérique.
    • Un commentaire vocal sur la partie surlignée est automatiquement enregistré.

  • Prototype « Draw & Dream »

    • Il explore la co-création avec l’IA via la diffusion d’images.
    • Les dessins de l’utilisateur sont envoyés à StreamDiffusion afin d’appliquer une « lentille » stylistique.
    • Le flux vidéo résultant est diffusé en streaming vers une application Unity.

  • Résultats et enseignements

    • Les prototypes montrent comment l’IA peut être amenée dans le monde physique.
    • Ils explorent la possibilité d’interfacer directement l’informatique avec des objets physiques.
    • Ils recadrent différemment la relation humaine à l’IA à travers trois approches distinctes.

À lire aussi

1 commentaires

 
GN⁺ 2024-11-29
Avis Hacker News

  • Selon le billet, Keichii Matsuda décrit dans le manifeste GODS une vision de la réalité augmentée enracinée dans un animisme païen
    Contrairement à l’approche occidentale monothéiste qui consiste à interfacer l’IA comme avec ChatGPT ou Siri, il propose d’étendre les lieux et les objets par la réalité augmentée afin de peupler le monde de multiples agents, des « dieux »
    L’auteur recommande aussi de lire Daemon de Daniel Suarez, paru en 2006. Le livre traite d’entités de réalité augmentée persistantes et puissantes interagissant avec les humains, et aborde aussi, de façon assez libre, l’idée que les gestes corporels en réalité augmentée fonctionnent comme un canal mystique de « sorts primitifs » produisant des effets physiques dans le monde réel

    • Si ce concept vous intéresse, d’autres ont aussi recommandé Ra. Presque toute l’œuvre de Karl Schroeder vaut également le détour, car elle traite de l’intelligence machine de multiples façons
      La série Virga, au ton steampunk, met en scène des IA qui agissent à la place de la nature, Lady of Mazes présente des « votes », incarnations physiques de mouvements politiques, et Ventus montre des robots terraformeurs conscients qui ne pensent plus comme des humains
    • Ce thème est aussi abordé dans https://qntm.org/ra, souvent recommandé sur HN
    • Cela rappelle aussi les IA échappées de la trilogie Sprawl de William Gibson, en particulier dans Count Zero (1987). Mais elles n’apparaissent que dans le cyberespace, c’est-à-dire la réalité virtuelle, pas dans la réalité augmentée
      Dans l’extrait cité, Bobby rencontre des entités appelées « Vyéj Mirak », « Ezili Freda », « Legba », où des êtres de nature IA sont interprétés à travers un cadre mythologique, celui des loas de la communication et des chemins
    • « Lords of Kobol, hear my prayer. » À mesure que la technologie progresse, on a l’impression qu’on continuera à osciller entre polythéisme et monothéisme. On pourrait même dire que tout cela s’est déjà produit auparavant

  • Désolé. L’hébergement n’était pas prêt à encaisser ce trafic, et pendant la migration, les expérimentations sont aussi visibles sur Twitter
    https://x.com/lukas_moro/status/1829487148078412019
    https://x.com/lukas_moro/status/1838207092471050645
    https://x.com/lukas_moro/status/1847299759603699906

    • De mon point de vue, en tant que personne travaillant chez Vercel, il semble qu’un plafond de dépenses était activé et que le site s’est automatiquement arrêté une fois un certain montant atteint. Dans ce cas, Vercel a fonctionné comme prévu
      Si vous hébergez beaucoup de fichiers vidéo, je recommande plutôt d’utiliser un stockage objet comme Vercel Blob. C’est mieux adapté aux gros assets comme les images ou les vidéos qu’au « Fast Data Transfer » pour les ressources essentielles comme les feuilles de style ou les scripts, mentionné dans un autre commentaire
      En cas de question, vous pouvez écrire à lee at vercel dot com
    • Pour information, j’héberge quelques sites HTML statiques sur un VPS OVH bon marché, et cette configuration est déjà passée plusieurs fois en une de HN sans aucun problème
      Ce n’est pas pour attaquer un choix technique, juste un petit rappel que des solutions simples existent encore, qu’elles sont peu coûteuses et qu’elles fonctionnent bien

  • L’effet de flou en bas de page me donne constamment l’impression qu’un paywall va apparaître d’un moment à l’autre

    • Même impression avec les images de travail qui deviennent lentement nettes

  • Je suis totalement d’accord avec l’idée que « l’expérience utilisateur raffinée du papier physique est impossible à reproduire… ». Les mains concentrent disproportionnellement plus de terminaisons nerveuses que d’autres parties du corps, et c’est frustrant que la technologie actuelle se concentre presque uniquement sur les interactions visuelles et auditives, avec seulement un retour haptique très faible
    Le papier et les livres ont une texture, un poids, une température, une rigidité, et nos mains interprètent tout cela si naturellement qu’on n’en a même plus conscience la plupart du temps. J’aimerais voir ces canaux d’information intégrés à l’expérience utilisateur
    Feuilleter du papier ou un livre a énormément de qualités. La répartition du poids permet de savoir où l’on en est dans la lecture, les doigts peuvent naviguer entre pages ou chapitres avec une précision et un retour suffisants pour suivre les changements de contexte, et les coins pliés ou les post-it portent des métadonnées qui apparaissent immédiatement quand on en a besoin et restent discrètes le reste du temps. L’action physique d’étaler plusieurs pages sur un bureau est bien plus simple que de manipuler des fenêtres sur un desktop, et même l’irrégularité d’une disposition physique aide à les distinguer de façon inconsciente. Autrement dit, le bruit devient aussi de l’information
    L’interactivité des écrans est formidable, et l’encre électronique a bien repris un des petits avantages du papier, mais on a l’impression que les possibilités des interfaces utilisateur informatiques n’ont encore presque pas commencé à être explorées
    En aparté, des langages très concis comme APL ont aussi l’avantage de rendre la programmation au stylo et au papier réellement naturelle, et ce genre de scène apparaît spontanément lorsque des programmeurs orientés tableaux discutent entre eux. Le paradigme actuel de la programmation est peut-être plus limité qu’on ne le pense par les contraintes de l’interaction humain-machine

  • Super. https://dynamicland.org/ est ce qui m’est venu en premier à l’esprit, et j’étais ravi de voir que la page y faisait référence

    • Ce site provoque une double nostalgie. D’un côté, il rappelle fortement l’époque du skeuomorphisme sur iOS avec l’app iBooks, et de l’autre, il évoque les premiers sites créés avec la fonction de « slicing » d’Adobe Dreamweaver
      On dessinait des boîtes sur une image pour transformer ces zones en liens vers une nouvelle page

  • Ça avait l’air intéressant à lire, mais les animations de papillons, le flou et la police gris clair très fine sur fond blanc m’ont tellement submergé que j’ai immédiatement cliqué sur retour

    • D’accord. La bonne couleur pour le corps du texte devrait être plus proche de celle du titre. Les paragraphes sont trop gris et manquent de contraste
      Si vous posez une feuille de papier issue d’un livre ou d’un magazine à côté de cette page, dans 99,99 % des cas, le texte sur papier sera bien plus facile à lire. Vu le sujet de l’article, c’est peut-être ironique, ou peut-être pas. On dirait une démonstration du fait que des siècles de typographie sur papier ont produit une ergonomie meilleure que 30 ans de web
    • J’ai appuyé sur le bouton du mode lecture, mais malheureusement la vidéo a disparu
      Ne pas mettre d’animations en boucle ou procédurales dans un texte est une fonction d’accessibilité. Les personnes avec un TDAH peuvent avoir du mal à lire un bloc de texte quand du bruit visuel virevolte partout
    • Les animations étaient sympathiques, mais je suis d’accord pour dire que le texte devrait être plus sombre pour la lisibilité et l’accessibilité
    • Ce genre de choix de design finit même par donner une mauvaise impression de ce qu’on essaie de lire. C’est dommage, parce que la démo qui suit était un rare exemple d’usage de la réalité augmentée et de l’IA qui ne me faisait pas lever les yeux au ciel

  • Le service utilisé pour héberger le site web ne semble pas faire son travail correctement. Il faut parfois plusieurs minutes pour charger de tout petits assets de moins de 1 Ko

    • Désolé. J’utilise Vercel

  • Sujet intéressant, mais la présentation lui fait perdre un peu de valeur. Parfois, en faire moins, c’est mieux

  • Le trafic est élevé aujourd’hui, donc si on dépasse le budget Vercel pour le « Fast Data Transfer », le site risque bientôt de ralentir. Désolé pour la gêne occasionnée

    • Je place souvent Cloudflare en proxy devant Vercel pour bénéficier d’une couche de cache gratuite
    • Désolé. Le site s’est maintenant arrêté, et je suis en train de migrer vers Cloudflare

  • J’aime beaucoup l’effet de lentille en bas du viewport et le design général du site. C’est vraiment très beau. Je me demande s’il existe un billet séparé sur cet effet, ou si le mieux est de l’inspecter dans les outils de développement

    • Pour moi, c’est exactement l’inverse. J’ai vraiment détesté l’effet verre dépoli visible pendant le chargement des images, c’était agaçant au point que j’ai quitté la page avant d’avoir fini de lire
    • Malheureusement, sur téléphone, l’ensemble saccadait tellement que je n’ai même pas dépassé les premiers paragraphes, et il n’y avait aucun moyen évident de le désactiver
    • Il faut regarder du côté du progressive blur
    • Comme l’a dit un autre commentaire principal, cet effet donne l’impression d’un dark pattern suggérant du contenu derrière un paywall. Dans ce cas, il vaudrait probablement mieux s’en passer