Krita AI Diffusion - IA générative pour Krita, l’outil de peinture open source

• Prise en charge de l’inpainting et de l’outpainting dans le workflow de Krita
  • Sélectionnez une zone et appuyez sur un bouton pour générer un nouveau contenu cohérent avec l’image
  • Étendez le canevas et remplissez les nouvelles zones avec du contenu généré pour prolonger l’image de façon naturelle par rapport à l’existant
  • Le prompt est facultatif et n’est pas indispensable
• L’objectif est d’offrir davantage de fonctionnalités que le « Generative Fill/Expand » de Photoshop
• Il est possible d’ajuster l’intensité pour affiner le contenu existant (img2img) ou générer une image entièrement depuis zéro
• Tout se fait en local, c’est open source et gratuit

Résumé des fonctionnalités

• Inpaint : utilisez les outils de sélection de Krita pour marquer une zone et supprimer ou remplacer le contenu existant dans l’image
• Outpaint : étendez le canevas, sélectionnez une zone vide et remplissez-la automatiquement avec un contenu qui se fond naturellement dans l’image existante
• Generate : créez une nouvelle image à partir de mots ou d’une image existante
• Refine : utilisez un curseur d’intensité pour ajuster les détails au lieu de remplacer entièrement le contenu d’une image existante
• Control : guidez directement la génération d’image avec un croquis ou un line art, ou utilisez une carte de profondeur ou de normales à partir d’une image existante ou d’une scène 3D
• Resolutions : travaillez efficacement à toutes les résolutions, avec sélection automatique d’une résolution adaptée au modèle d’IA et ajustement à la zone de l’image
• Upscaling : agrandissez et enrichissez les images en 4K, 8K ou plus sans manquer de mémoire
• Job Queue : comme la génération d’images peut prendre du temps selon le matériel, les tâches peuvent être mises en file d’attente et annulées
• History : toutes les images ne sont pas des chefs-d’œuvre, donc vous pouvez prévisualiser les résultats et parcourir à tout moment les générations précédentes et les prompts
• Strong Defaults : propose des presets de style par défaut polyvalents pour une interface simple couvrant divers scénarios
• Customization : créez vos propres presets — choix d’un checkpoint Stable Diffusion, ajout de LoRA, ajustement du sampler, etc.

Pour commencer

• Le plugin inclut un programme d’installation intégré pour un backend Stable Diffusion
• Configuration requise : Windows ou Linux (MacOS n’a pas été testé) ; sous Linux, l’installation de Python + venv est nécessaire
• Prise en charge matérielle : pour une exécution en local, une carte graphique puissante avec au moins 6 Go de VRAM est recommandée, sinon la génération d’image sera très lente
• Installation : installez Krita, téléchargez le plugin et décompressez-le dans le dossier pykrita, activez le plugin dans les paramètres de Krita puis redémarrez, affichez le dock du plugin, puis cliquez sur « Configure » pour installer le serveur
• Cloud GPU : au lieu d’une exécution en local, vous pouvez louer un GPU ; dans ce cas, l’étape 5 n’est pas nécessaire et le plugin sert à se connecter à un serveur distant
• Optionnel : personnalisation du serveur ComfyUI ; au lieu de l’installation automatique, vous pouvez effectuer une installation manuelle ou utiliser une installation existante ; si le serveur tourne déjà en local avant le démarrage de Krita, le plugin tentera de s’y connecter automatiquement ; un serveur distant peut également être utilisé

L’avis de GN⁺

L’élément le plus important de cet article est la sortie d’un nouveau plugin qui permet aux utilisateurs de Krita d’exploiter les technologies d’IA pour simplifier et améliorer leur processus de création. Ce plugin offre diverses fonctionnalités, comme la génération d’images, leur extension et l’ajustement des détails, et peut transformer le workflow des artistes numériques. Son caractère open source et personnalisable sera particulièrement intéressant pour les ingénieurs logiciel débutants curieux de technologie.

[GN⁺]

Avis sur Hacker News

• La communauté Krita et l’équipe principale ont une position clairement opposée à l’intelligence artificielle.

  • Faisant partie d’un groupe qui développe l’interface utilisateur de Krita, une personne explique avoir arrêté de travailler sur sa version de Krita pour cette raison.

• Partage d’expérience sur l’utilisation d’un système permettant le dessin interactif avec l’IA.

  • Le système utilise un GPU 4090 capable d’effectuer 20 à 30 itérations par seconde.
  • En comptant 8 itérations par image, il est possible de générer 4 images par seconde.
  • Une fois l’image souhaitée obtenue, 30 à 50 itérations sont exécutées pour finaliser l’image.

• Les GPU AMD sont pris en charge via DirectML, mais uniquement sous Windows.

  • Expression d’un mécontentement face à cette tendance.
  • Comme alternative, il est possible d’utiliser comme backend un projet basé sur Torch appelé ComfyUI.

• L’un des atouts de Krita et de l’art était que n’importe qui pouvait gagner de l’argent grâce à l’art avec des outils peu coûteux et un simple accès à Internet.

  • Inquiétude que le caractère démocratique de l’art soit fortement réduit si une carte graphique coûteuse devient indispensable.

• Si l’on pense que l’IA générera toutes les œuvres d’art possibles d’ici quelques années, essayer de créer semble en soi dénué de sens.

  • Même en devenant compétent dans l’usage de l’IA, des doutes subsistent sur la durée pendant laquelle il sera possible de conserver un moyen de subsistance en tant que créateur.
  • La création peut rester agréable comme loisir, mais comme métier, il devient difficile d’en tirer un revenu si tout le monde peut produire de l’art.

• Partage de l’expérience d’une personne qui crée en utilisant des ressources de calcul puissantes actuellement disponibles gratuitement.

  • Malgré des difficultés économiques, cette personne trouve des aspects positifs à la création assistée par IA.

• Partage d’une expérience d’installation sur Ubuntu.

  • Il faut d’abord installer et lancer Krita, puis copier le plugin dans le dossier souhaité.

• Admiration devant le fait qu’un logiciel open source ait réussi à reproduire des fonctionnalités comparables à celles d’Adobe Photoshop.

  • Cela signifie que Photoshop pourrait perdre la position dominante qu’il s’était construite autour des outils de génération par IA.

• Une carte graphique puissante est recommandée, avec au minimum 6 Go de VRAM.

  • Question sur le temps supplémentaire que prendrait la génération d’images sur une carte disposant de 4 Go de VRAM.

• Un utilisateur exprime sa déception de ne pas disposer du matériel nécessaire.

  • Demande si quelqu’un a réussi à faire fonctionner stable diffusion sur Steam Deck de manière satisfaisante, ainsi que des informations sur d’autres alternatives.

• Question sur le fonctionnement avec plusieurs GPU.