Easy Stable Diffusion XL utilisable hors ligne sur l’appareil
(noiselith.com)Présentation de l’application Noiselith
- Outil de génération d’images hors ligne : Noiselith permet de générer librement des images sur l’appareil, sans cloud.
- Protection de la vie privée : toutes les générations sont effectuées en local et aucune information n’est envoyée vers le cloud.
- Génération illimitée : offre une génération illimitée, permettant de créer 100, 200, voire 1000 images par jour.
- Vitesse : génération d’images immédiate sur l’appareil, sans avoir à attendre des ressources serveur.
Configuration requise
- Windows : Windows 10 ou 11, GPU NVIDIA RTX série 20 ou supérieure (8 Go de VRAM ou plus), 16 Go de RAM ou plus, 20 Go d’espace de stockage ou plus.
- macOS : macOS 12.3 ou version ultérieure, Apple Silicon, 32 Go de RAM ou plus, 20 Go d’espace de stockage ou plus.
Expérience utilisateur
- Installation simple : Noiselith est prêt à l’emploi en quelques clics.
- Utilisation intuitive : propose une interface intuitive qui permet de transformer visuellement ses idées sans se soucier des détails techniques.
- Gestion des modèles : permet de télécharger, supprimer et mettre à jour facilement les modèles, avec une galerie qui organise élégamment les images générées.
Feuille de route de développement
- Prise en charge de diverses fonctionnalités : prise en charge prévue des modèles SDXL, de SDXL LoRA, de l’historique, de la gestion de projets et de la gestion des modèles.
- Communauté et extensibilité : inclut des fonctionnalités comme une communauté d’utilisateurs, la prise en charge des modèles SD 1.5 et 2.1, une base de données de modèles, des upscalers et des smart prompts.
- Noiselith App Store : développement prévu d’un App Store intégrant des GPU cloud et des fonctions de collaboration à distance.
L’avis de GN⁺
- Le point le plus important de cet article est que l’application Noiselith est un nouvel outil permettant de générer des images de manière illimitée sur l’appareil de l’utilisateur, sans l’aide du cloud et en protégeant la vie privée.
- Cette application est intéressante en ce qu’elle réduit la complexité de l’installation et de l’utilisation du logiciel, et permet à chacun de se lancer facilement dans la génération d’images grâce à une interface intuitive, afin de se concentrer davantage sur le travail créatif.
1 commentaires
Commentaires sur Hacker News
Je viens de l’installer et c’est plutôt chouette. L’IA locale est le futur que je veux, et c’est aussi la direction sur laquelle je travaille
Les points forts : ça fonctionne de manière assez autonome, l’installateur de modèles intégré est bien fait et permet de télécharger facilement n’importe quoi depuis CivitAI (j’ai essayé d’installer https://civitai.com/models/183354/sdxl-ms-paint-portraits), la qualité de génération d’image est élevée et stable, et l’app montre les étapes intermédiaires pendant la génération
Le point faible, c’est qu’il télécharge quelque part un fichier de modèle SDXL de 6,94 Go sans demander, sans indiquer l’emplacement ni la taille ; j’ai découvert ensuite qu’on peut retrouver et modifier cet emplacement dans les réglages. La première génération est très lente à cause du chargement du modèle, et même si le temps de génération n’est pas enregistré, sur un MacBook M1 Max 64GB ça semble prendre quelques minutes
Il y a plusieurs modules de feedback, donc le chat en bas à gauche est très agaçant et je ne pense jamais l’utiliser, et il y a aussi une demande de feedback bêta en haut à droite. Contrairement aux produits concurrents, ce n’est pas open source, 7 processus tournent, et l’appli utilise environ 1 Go de RAM au repos. L’UX n’est pas native macOS, il manque les raccourcis et le menu d’aide attendus, donc ça ressemble à une app Electron. Au total, je lui mettrais 4/5 et je suis prêt à la rouvrir
Donc oui. C’est une app Electron, avec Svelte, headless-ui, tailwindcss, etc.
Il existe déjà pas mal d’options d’inférence locale, et le plus important, c’est qu’elles sont open source et plus solides côté fonctionnalités
Même si on répond ici : « oui mais Auto1111 ou Comfy n’ont pas une UI très user-friendly », ça aussi a déjà été résolu : https://github.com/invoke-ai/InvokeAI
On peut aussi tout organiser en boards, et les boards, images et métadonnées sont stockés dans une base SQLite bien conçue, accessible avec DataGrip
À ceux qui ne l’ont pas encore essayé, je recommande vivement Fooocus : https://github.com/lllyasviel/Fooocus
Il existe énormément de pipelines Stable Diffusion en local, mais celui-ci produit une qualité de sortie par défaut écrasante, même avec des prompts courts. C’est vraiment impressionnant
La raison, c’est qu’il intègre de nombreuses améliorations SDXL que les autres UI n’implémentent pas ou n’activent pas par défaut. Je l’utilise depuis l’époque de Stable Diffusion 1.5 et je suis ce domaine d’assez près, mais configurer un pipeline équivalent dans ComfyUI, sans parler de diffusers, me semblerait pénible. Ça donne l’impression d’un « best-of des hits et des meilleurs réglages par défaut » pour SDXL
Cela dit, comme l’a mentionné un autre commentaire, intégrer GTM n’est pas joli à voir
Exemples :
https://imgz.org/i9oicVqo/
https://imgz.org/i8Ur3WjW/
https://imgz.org/i5j6r6TZ/
J’aimerais que tout notre secteur réalise enfin que faire tourner ce genre de surveillance est un mauvais choix, et qu’on arrête tout simplement
Intéressant. Je vais essayer de comparer ça avec https://diffusionbee.com, que j’utilise pour m’amuser depuis quelques mois
C’est peut-être bon pour le marketing, mais mettre en avant l’exécution sur l’appareil et hors ligne comme principal facteur de différenciation est étrange. La plupart des gens utilisent probablement déjà Stable Diffusion de cette façon
Mieux vaudrait sans doute insister davantage sur la facilité d’installation et d’usage. C’est un point qui reste encore mal résolu. Pour moi, s’il n’y a pas ControlNet, l’upscaling, des outils de type face detailer, et si possible le prompting par région, je ne l’utilise pas
Je me dis aussi qu’il serait bien que les personnes qui veulent créer leur propre générateur SD contribuent à l’un des projets open source déjà existants
Un app store peut être une bonne idée, mais dans un monde où Auto1111 et ses innombrables extensions existent, je doute que la communauté Stable Diffusion réagisse bien à ça
Même si ce n’est pas séduisant pour les utilisateurs existants, un produit plus simple peut tout à fait plaire aux nouveaux utilisateurs
Quand j’ai commencé à toucher à SD, j’ai trouvé bizarre qu’au lieu d’un simple paquet à télécharger et exécuter, beaucoup de solutions reposent sur des trucs du genre gros retour de données vers la maison ou des VM
Le prompt mis en avant pour la vente, c’est « une jeune femme blonde aux cheveux bouclés, avec un regard séducteur, assise jambes écartées devant un décor de monde fantastique, portant une chemise blanche et un short en jean »
Franchement, je me demande si c’est vraiment approprié
Après l’installation, pour le lancer sur une machine Windows, il fallait autoriser l’accès aux réseaux publics et privés. Comme ils parlent d’« hors ligne », ça m’a un peu interpellé
Au premier lancement, il a téléchargé environ 30 Go de données. Je ne sais pas s’il fonctionnait hors ligne ensuite, parce que dans mon cas il plantait ensuite à chaque fois et ne se relançait plus
Lors de la désinstallation aussi, il a tout laissé derrière lui. Pas seulement les données utilisateur, mais aussi l’exécutable lui-même, l’environnement virtuel Python, l’updater, tous les modèles. La désinstallation revenait en gros à supprimer uniquement le raccourci du menu Démarrer
S’il faut une connexion Internet active pour l’exécuter, alors le vendre comme « hors ligne » est totalement trompeur
Je suis clairement content de voir plus de clients locaux arriver. Comme d’autres commentaires l’ont mentionné, il y en a déjà d’excellents. J’ai essayé automatic1111 : c’est rapide et ça ne demande pas énormément de réglages, mais il y a encore tellement de boutons et d’options que ça paraît difficile au début. Fooocus est très rapide, mais forcément moins personnalisable
Et puis il y a ComfyUI. Le saint graal de la complexité, mais justement grâce à cette complexité on peut faire énormément de choses. C’est une application basée sur des nœuds, donc on peut créer des workflows personnalisés, puis après la génération d’une image envoyer ce « nœud » ailleurs pour des post-traitements comme l’upscaling
J’aimerais voir si Noiselith ou d’autres outils prendront en charge SDXLTurbo. Ça ne fait que quelques jours qu’il est sorti, mais à mon avis c’est complètement game-changing. Sur un GPU grand public, il peut générer une image 512x512 en environ 0,5 seconde. La qualité n’est pas incroyable, mais la possibilité de taper « un renard dans une forêt », de voir le résultat immédiatement, puis d’ajouter « avec un chapeau » et de régénérer aussitôt a énormément de valeur. Avant, j’attendais 12 secondes pour chaque image. Dit comme ça, ça peut sembler anodin, mais le fait de pouvoir itérer aussi vite rend la génération d’images locale beaucoup plus amusante
Je n’ai pas encore pu le tester, mais comme Comfy utilise CoreML, je me demande si l’arrivée de frontends plus utiles poussera aussi davantage l’optimisation backend et le travail sur les performances pour ce genre de plateformes
À 1~4 it/s sur des images 512, c’est vraiment décevant, et à 2~3 s/it en 1024, c’est aussi beaucoup trop lent pour les standards actuels. C’est même dommage que l’ANE ne puisse pas faire tourner des images SD 1024x1024 sur un MacBook Pro M3