Créer des QR codes de style anime avec Stable Diffusion

• Un utilisateur de Reddit nommé nhciao a généré des QR codes de style anime qui fonctionnent réellement en utilisant ControlNet + LoRA
• Cela est possible grâce à la fonction de correction d’erreurs inhérente aux QR codes
• Utilisable dans des styles très variés : motifs traditionnels chinois, ukiyo-e, animation 2D, peinture à l’encre, aquarelle, relief, abstrait, PCB, etc.
• Les détails sont disponibles dans l’article original rédigé en chinois

[yinn27]

C’est impressionnant, l’idée…

[qkreoaksn]

Mon Dieu.....

[popup]

Le QR est bien reconnu après essai. C’est étonnant.

[kuroneko]

Je comprends bien qu’en théorie, c’est possible, mais j’arrive quand même difficilement à admettre que ça puisse vraiment être scanné. C’est vraiment fascinant.

[xguru]

Article de blog en chinois : https://mp.weixin.qq.com/s/i4WR5ULH1ZZYl8Watf3EPw

[kuroneko]

Quand je mets l’article original dans un outil de résumé, j’obtiens ceci.

• Cet article traite d’un nouveau modèle ControlNet capable de générer des images de QR codes scannables. ControlNet peut encoder des informations cachées dans des images qui paraissent ordinaires à l’œil humain.
• L’auteur et ses camarades avaient déjà créé auparavant un générateur de QR codes paramétré, mais ils n’ont pas continué à le mettre à jour. L’idée actuelle leur est venue après la sortie de Stable Diffusion.
• Les premiers essais avec ControlNet consistaient à entraîner des motifs traditionnels chinois. L’auteur mentionne avoir utilisé la documentation AIGC All in One ainsi que HuggingFace JAX/Diffusers pour l’entraînement.
• L’entraînement de ControlNet nécessite une grande quantité de données et de puissance de calcul. Dans cette recherche, jusqu’à 300 000 images et 600 heures de GPU A100 ont été utilisées. L’auteur a entraîné une version sur 100 000 images avec un taux d’apprentissage élevé.
• Après l’entraînement, l’auteur a testé diverses combinaisons de Checkpoint + LoRA + QR Code ControlNet afin de générer des QR codes scannables dans différents styles, comme les motifs traditionnels chinois, l’ukiyo-e, le style 2D, l’encre, la perspective, l’abstrait et le style PCB.
• Les QR codes générés incluent des styles de motifs traditionnels chinois, ukiyo-e, animation, illustration, encre, aquarelle, 3D et abstrait.
• Ce projet s’est appuyé sur la collaboration de plusieurs camarades ainsi que sur les ressources GPU du laboratoire. Les serveurs Google TPU ont également contribué à accélérer l’entraînement.
• L’auteur prévoit à l’avenir de publier le modèle et la documentation technique sur le compte officiel WeChat et sur un site web.
• L’article souligne la rapidité des progrès des modèles de génération par IA et exprime l’envie de refaire des études universitaires.
• L’auteur remercie Google et HuggingFace pour avoir fourni les serveurs TPU, en disant qu’ils ont pu « passer un bon moment ».

[lunamoth]

Pourriez-vous me dire quel service vous avez utilisé pour le résumé ?

[kuroneko]

J’utilise le Universal Summarizer de Kagi.

[lunamoth]

Merci de l’avoir signalé.