Sujet HN : Diffusion Mirror mural qui transforme les reflets en peintures

• PabloNet

• Je pense que le débat sur la capacité d’une IA connectée à Internet à être créative passe à côté de la question essentielle. L’art révèle le monde intérieur, et la technologie n’en est qu’une partie. Il est regrettable que l’art exige autant de technique. Il semble possible de séparer ces deux éléments. Une créativité interpolative bon marché, utilisée par 8 milliards de non-artistes, pourrait révéler une nouvelle vision du monde.

• Pour cette raison, moi qui ne suis pas doué pour l’art, je m’intéresse énormément aux différentes formes d’art basées sur l’IA. Il y a quelques mois, j’ai commencé à utiliser StreamDiffusion pour diffuser en temps réel un flux de webcam. Mon but est de produire de beaux effets visuels et de susciter de nouvelles émotions. Mais le format ordinateur portable brise l’illusion. J’ai donc récemment fabriqué un cadre LCD pouvant être accroché au mur, afin de réduire au minimum les éléments qui cassent cette illusion. Le principal avantage de cette configuration est qu’elle ouvre un nouveau canal d’interaction en tant qu’objet permanent, et non comme un simple écran.

• Le principal problème de la configuration actuelle est le faible nombre d’images par seconde. J’ai accéléré le système avec TensorRT et la compression d’image, mais il reste encore beaucoup de marge d’amélioration.

• Pour les personnes intéressées, je partage comment le fabriquer et y contribuer :

  • code client et serveur fournis
  • hébergement du serveur sur RunPod
  • client exécuté sur Raspberry Pi 5
  • utilisation d’un écran Pi de 10,1 pouces
  • utilisation d’un éclairage infrarouge
  • utilisation d’un cadre standard
  • utilisation d’une caméra Pi infrarouge
  • utilisation d’un emporte-pièce pour percer le trou de la caméra (une perceuse ne fonctionne pas)
  • expérimentations avec différents filtres de prétraitement, car un simple prompt ne suffit pas. img2img paraît trop réaliste sans prétraitement. Pour obtenir le style Picasso bleu visible dans ce billet, j’ai combiné détection de contours Canny, teinte bleue et flou.

Résumé de GN⁺

• L’art basé sur l’IA montre qu’il est possible d’offrir une nouvelle perspective en séparant technologie et créativité.
• La diffusion en temps réel d’un flux de webcam avec StreamDiffusion apporte de nouvelles émotions et expériences visuelles.
• L’installation utilisant un cadre LCD ouvre la possibilité d’une œuvre d’art permanente, au-delà d’un simple écran.
• Des problèmes techniques comme le faible nombre d’images par seconde laissent encore une marge d’amélioration.
• Parmi les projets aux fonctionnalités similaires, DeepArt.io et RunwayML sont recommandés.

[GN⁺]

Avis Hacker News

• Encoder des octets JPEG en Base64 augmente la taille du payload d’environ 30 % et consomme des cycles CPU côté client et serveur. Le protocole WebSocket peut transmettre des payloads binaires, donc il n’est pas nécessaire de les convertir en texte

  • Il pourrait être pertinent d’envisager de supprimer la compression JPG avec perte et de transmettre à la place les octets RGB bruts sur le réseau
  • StreamDiffusion peut atteindre des fréquences d’images élevées grâce à un batching important dans le pipeline. Ici, cet avantage n’est pas exploité, car le client n’envoie qu’une image à la fois puis attend la réponse
  • Les modèles SDXL Turbo et Lightning sont très rapides en img2img, mais leur résolution est limitée à 512² ou 1024² pixels. Ils peuvent fonctionner en temps réel sur des GPU grand public haut de gamme

• L’art consiste à révéler le monde intérieur, et la technique n’en est qu’une partie. L’idée que le manque de maîtrise technique ne soit qu’un simple désagrément est remise en question

  • Apprendre à dessiner ou à faire de la musique apporte selon eux une transformation personnelle et enseigne des leçons de vie plus profondes
  • Les grandes œuvres d’art ne sont pas créées par des génies ; le génie survient de façon inattendue. Supprimer l’écart technique, c’est supprimer ces occasions

• Sans même parler de valeur artistique, il y a un aspect intéressant pour les collectionneurs d’outils

  • Un emporte-pièce a été utilisé pour percer un trou dans le carton du cadre pour la caméra. Une perceuse n’a pas fonctionné
  • Quelqu’un aimerait davantage de détails ou d’explications sur la raison pour laquelle la perceuse ne fonctionnait pas sur le carton

• Ce serait plus cool si la caméra se trouvait ailleurs que dans le cadre. Regarder un miroir artistique est un peu monotone

  • On pourrait fabriquer un deuxième miroir chez quelqu’un d’autre, puis envoyer le flux de la caméra d’un miroir vers l’autre pour que chacun puisse voir le « reflet » de l’autre

• L’art a toujours été perçu comme quelque chose qui conserve et crée des émotions. Une banane sur un mur est aussi de l’art, et la pop reste de l’art

  • Cette invention est certainement une œuvre d’art, mais pas, à leur avis, ce qu’elle produit. Comme les nuages, cela peut prendre diverses formes, mais cela reste une forme de hasard moyen

• Quelqu’un demande si un effet de transformation à haute fréquence d’images entre les images a déjà été envisagé. Cela augmenterait la fréquence d’images effective et aurait un rendu sympa

• Le principal problème de la configuration actuelle est la faible fréquence d’images. C’est vu comme une fonctionnalité, et avoir le temps de traiter l’image n’est pas forcément une mauvaise chose

  • L’idée serait de porter l’intervalle de mise à jour à 5-15 minutes, puis de capturer et générer une nouvelle image à chaque détection de changement ou de mouvement

• Prix du miroir le plus énergivore. Il a été constaté que la peinture n’est pas stable face à de petites variations de l’entrée

• Quelqu’un demande s’il existe un moyen de figer certaines images. Certaines vaudraient la peine d’être conservées (par exemple comme photo de profil ou écran de verrouillage)