- L’IA de génération d’images produit des résultats plausibles grâce à l’espace latent, au débruitage et à la mise en relation texte-image, mais elle présente des limites structurelles lorsqu’il s’agit d’obtenir précisément l’image spécifique que l’on souhaite
- Stable Diffusion apprend en ajoutant du bruit à des millions d’images puis en s’entraînant à les restaurer progressivement, ce qui lui permet de produire des images plausibles à partir d’un bruit pur
- Les prompts textuels doivent être convertis plusieurs fois, de l’espace des mots vers l’espace des images, et ne peuvent généralement traiter qu’environ 75 mots à la fois, ce qui rend le contrôle fin difficile
- Les tâches où le résultat compte peu, comme de simples images d’en-tête de blog ou des articles destinés au SEO, peuvent être rapidement remplacées par l’IA générative, mais les contraintes précises de composition, de pose, de style ou de couleur nécessitent l’intervention d’un illustrateur
- Dans l’illustration commerciale, un workflow collaboratif où l’humain définit le trait, la composition et l’idée centrale, puis où l’IA remplit des détails moins importants comme la couleur, l’éclairage ou l’arrière-plan avant une nouvelle correction humaine, est plus réaliste
L’espace latent pour comprendre Stable Diffusion
- Les couleurs, les mots et les images peuvent tous être représentés sous forme de listes de nombres, et une bonne représentation est organisée de façon à ce que des objets similaires aient des nombres proches
- Il existe plusieurs façons de représenter l’espace des couleurs, comme RGB, Lch ou CMYK, chacune définissant différemment ce qui est « similaire »
- Les nombres ressemblent davantage à une étiquette et une instruction désignant la couleur qu’à un fichier contenant la couleur elle-même
- Les mots peuvent aussi être représentés par des centaines de nombres, et « mom » et « dad » peuvent être placés proches l’un de l’autre, tandis que « mom » et « prestidigitation » seront plus éloignés
- Les images sont plus complexes que les mots et les couleurs, mais on peut créer un espace des images avec des milliers de nombres
- Lister les valeurs RGB de tous les pixels nécessiterait des millions de nombres
- Deux images sémantiquement proches, comme un chat noir et un chat blanc, peuvent être très éloignées si l’on ne regarde que les valeurs des pixels
L’espace latent des images est emprunté aux légendes
- De nombreuses images possèdent des légendes, des labels ou du texte environnant, ce qui permet de construire un espace des images à partir de la relation entre image et texte
- Les photos étiquetées « cat » peuvent être placées proches les unes des autres, et les photos étiquetées « car » proches les unes des autres
- Un label comme « Miyizaki cat-bus » peut se situer quelque part entre un chat et une voiture
- Dans la recherche sur l’IA générative, ce type d’espace est appelé image latent space
- L’espace latent peut approximer sous forme de listes de nombres presque toutes les images que l’on souhaite voir, mais aussi des images aléatoires impossibles à interpréter
- Cet espace est comparé à la Bibliothèque de Babel pour les images
Fonctionnement de Stable Diffusion
- Stable Diffusion n’est pas la seule méthode de génération d’images, mais c’est une approche largement utilisée
- L’entraînement consiste à ajouter un peu de bruit à des millions d’images, puis à entraîner l’ordinateur à les restaurer proprement
- Ensuite, on ajoute davantage de bruit et on l’entraîne à revenir à une image moins bruitée
- En répétant ce processus jusqu’à ce que l’image ait presque disparu, l’ordinateur apprend progressivement à revenir vers n’importe quelle image
- L’apprentissage qui relie texte et images se fait en parallèle
- Une photo de chat a plus de chances d’avoir une légende comme « my cute kitty mister french fry »
- Elle a moins de chances d’avoir une légende comme « the engine from a 1959 Austin Healey »
- Le cross attention relie plusieurs systèmes d’IA afin de pousser l’image, pendant la réduction du bruit, vers une légende textuelle donnée
- L’IA générative combine d’autres objectifs au processus de débruitage afin d’orienter l’image dans une direction précise
Pourquoi les doigts et les visages se déforment
- L’espace latent n’est pas un espace qui contient tels quels les images d’entraînement, mais un espace représentant toutes les images possibles
- La force qui éloigne l’image du bruit privilégie la netteté, tandis que celle qui la rapproche du label textuel vise surtout à produire une image susceptible d’être associée à ce texte
- Les légendes d’images traitent rarement de l’exactitude des mains humaines ou du nombre de doigts
- Un label négatif comme « no deformed hands » a un effet limité s’il existe peu d’images étiquetées « deformed hands »
- « polydactyly » peut mieux fonctionner, car ce label est fortement associé aux doigts surnuméraires
- Les visages posent le même problème, et de nombreux systèmes génératifs ajoutent des composants séparés pour corriger les visages
- Le système central peut juger qu’une image suffit si elle ressemble à un visage
- L’œil humain est très sensible à l’exactitude d’un visage, comme l’orientation des deux yeux
- Ajouter un nom d’artiste comme James Gurney dans le prompt peut améliorer la cohérence globale de l’image
- Les légendes ordinaires se concentrent surtout sur les noms et les sujets principaux
- Le style d’un artiste est une gestalt qui s’étend à tous les pixels, et non à une partie de l’image, ce qui peut conduire à des résultats plus cohérents
Les tâches que l’IA générative remplace facilement
- Le désir humain pour les supports physiques comme la peinture réelle, la sculpture, la gravure sur bois ou la broderie ne disparaîtra probablement pas
- Les œuvres sur supports physiques peuvent continuer à servir à l’entraînement de l’IA générative
- Le fait que des œuvres soient utilisées pour l’entraînement sans autorisation puis servent à remplacer des moyens de subsistance peut être ressenti comme une atteinte
- Mais les images ne sont pas présentes d’une manière spécifique dans l’espace latent ; il est seulement possible d’en récupérer des images similaires avec un prompt particulier et de la chance
- Il n’existe pas de méthode évidente pour autoriser légalement le fair use par les artistes humains tout en limitant uniquement les usages ML
- L’IA générative peut remplacer une partie des illustrations et des textes dont le contenu n’a pas vraiment d’importance
- Une image d’en-tête de blog vaguement pertinente pour équilibrer une mise en page
- Des articles de blog hebdomadaires de type spam destinés au SEO
- Ces productions ressemblent à du contenu d’ameublement, auquel personne ne prête vraiment attention, pas même le consommateur final
- Ces tâches étaient déjà peu rémunérées et disparaissent rapidement ; même avec une forte régulation juridique, il n’est pas évident de voir comment elles pourraient être préservées
Pourquoi il est difficile d’obtenir une image précise
- Il est relativement facile de créer des images impressionnantes avec l’IA générative, mais il est parfois presque impossible de créer une image précise
- Environ une image sur dix peut sembler « cool », mais cela ne signifie pas qu’elle corresponde réellement à l’image demandée
- Sur des vitrines d’images générées comme civitai, on peut comparer de très longs prompts aux images obtenues
- Ce site peut contenir du contenu NSFW
- De nombreux éléments du prompt peuvent ne pas apparaître du tout dans l’image
- Un concept global comme « a mystical dragon » peut être très présent dans le prompt sans apparaître dans l’image
- Cette façon d’utiliser l’outil ressemble à un jeu de gacha pour créer des images, ou à une machine à sous
- On saisit un prompt rempli d’idées intéressantes, puis on recommence jusqu’à obtenir quelque chose de satisfaisant
- Le résultat peut être séduisant, sans pour autant être l’image demandée elle-même
- Le texte doit passer du prompt réel à l’espace latent du texte, puis être transformé en fonction de l’espace latent de l’image, ce qui en fait un moyen de contrôle difficile pour les images
- Le texte pouvant être traité à la fois est généralement limité à environ 75 mots
- Au-delà, il faut le diviser dans des systèmes de guidage séparés pour le cross attention
L’image en entrée est un moyen de contrôle plus puissant
- Les images se traduisent bien vers l’espace latent des images, ce qui peut en faire des contraintes plus directes que le texte
- Les prompts basés sur des images permettent de contrôler finement le contenu et la composition du résultat généré
- Créer une image qui se réduit au même dessin au trait qu’une autre image
- Créer une image correspondant à la même carte de profondeur extraite d’une autre image
- Créer une image correspondant à la pose tirée d’une autre image
- Créer une image au contenu différent, mais correspondant au style d’une autre image
- S’aligner sur les lignes de perspective d’une autre image
- S’aligner sur la palette de couleurs d’une autre image
- Le problème est de savoir d’où viennent ces images guides
- Le rôle consistant à comprendre le concept d’illustration souhaité et à le transformer en dessin au trait, croquis de pose ou style recoupe celui de l’illustrateur traditionnel
- Les travaux de génération d’images avec des exigences sophistiquées sont difficiles à rendre utiles sans illustrateur
Workflow IA possible pour l’illustration commerciale
- Les illustrateurs commerciaux conserveront probablement leur travail, mais devront apprendre à intégrer l’IA dans une partie de leur workflow pour suivre un rythme de production plus rapide
- Cela ne signifie pas arrêter de dessiner pour devenir prompt engineer
- Ce serait gaspiller une formation considérable pour un gain limité
- Un processus possible de peinture numérique serait le suivant
- Produire un dessin au trait de manière traditionnelle, en se concentrant sur la composition et l’idée centrale
- Demander à l’IA générative de proposer une douzaine d’approches de couleurs et d’éclairage
- En choisir une ou deux
- Repeindre presque entièrement par-dessus les pixels produits par l’IA, en ajustant et corrigeant les couleurs selon l’intention
- Pour les artistes qui investissent beaucoup de soin et d’émotion dans le choix des couleurs, cette méthode peut ne pas convenir
- Il n’existe pas de méthode unique adaptée à tous les artistes, et ceux qui travaillent avec des deadlines peuvent confier à l’IA les étapes les moins importantes et les plus ennuyeuses
- Scènes de foule
- Paysages urbains
- Végétation
- De nombreuses images comportent aussi du mobilier nécessaire mais peu important, comme les images d’en-tête de page, et c’est ce territoire qui devient celui de l’IA générative
L’écart entre produits et directions de recherche
- La recherche en IA générative évolue de plus en plus vers des méthodes permettant de guider la génération d’images à partir d’images en entrée
- Les produits mis sur le marché sont difficiles à intégrer simplement dans le workflow des illustrateurs
- Les expérimentations permettant d’obtenir un niveau de contrôle utile ont été menées en exécutant des modèles à données ouvertes sur un ordinateur personnel
- L’avenir de l’illustration commerciale ressemble davantage à un modèle où l’illustrateur définit l’essentiel, l’IA générative remplit les parties moins importantes, puis l’humain corrige à nouveau
- Les produits d’IA générative doivent eux aussi évoluer pour prendre en charge ce type de workflow
1 commentaires
Avis sur Hacker News
Un autre point de vue qui ne plaira à personne, mais il me semble que l’impact de l’IA sur les artistes sera comparable à celui de Spotify sur l’industrie musicale. Autrement dit, cela risque de tuer les flux de revenus de tout le monde, sauf des éditeurs et des grands artistes/acteurs
Spotify a pratiquement supprimé l’argent qui venait de la distribution physique, et c’était pire que le piratage, pourtant inévitable à l’époque. Au moins, avec le piratage, on ne touchait rien, mais on ne payait pas en plus des frais d’avocat pour renégocier avec les labels
Des acteurs comme Adobe ou OpenAI semblent vouloir verser des miettes aux artistes pour leur faire produire des images destinées à entraîner des modèles, leur faire signer une renonciation disant en gros « ça ne me dérange pas de ne pas être payé pour cet art IA », puis revendre le résultat très cher sur des plateformes comme Splice : https://splice.com/features/sounds
Au final, le modèle lui-même aura assez peu d’importance ; le vrai facteur de différenciation sera les œuvres de qui ont servi à l’entraîner. Mais on en arrivera à : « cette image a été faite par l’IA, donc on n’a pas besoin de te payer »
Les anciennes machines remplaçaient un ou deux postes ; si l’humain rend l’entraînement de l’IA vraiment efficace, elle remplacera des centaines de métiers d’un coup. L’IA a aussi pour effet d’accroître l’isolement, en réduisant le besoin d’autres humains
Pour ces raisons, je pense que le monde se porterait beaucoup mieux sans IA, et que les entreprises tech sont en train de l’abîmer avec leurs produits monstrueux
Spotify a repris l’économie du piratage et l’a recouverte d’une fine couche d’apparence légale
D’abord, les images générées par IA sont aléatoires et presque consommables. On obtient une belle image utilisable une fois, mais ensuite ? Difficile de bâtir une campagne là-dessus
Ensuite, l’art généré par IA n’est pas protégé par le droit d’auteur, donc un concurrent imitateur peut utiliser librement des images marketing créées par IA
Au minimum, on peut utiliser le travail d’un graphiste rémunéré comme graine pour l’IA, et les images IA basées sur cette graine peuvent être protégées par le droit d’auteur. Mais cet artiste fera mieux qu’un stagiaire non payé
Quand j’étais enfant, le dimanche après-midi, mon père mettait un album et l’écoutait, tout simplement. Il ne faisait vraiment qu’écouter. Aujourd’hui, très peu de gens font encore cela
Désormais, il y a une forte demande pour de la musique d’accompagnement pendant qu’on conduit, lit, navigue sur Internet, code ou fait le ménage. Depuis que la musique est devenue portable, la façon de la consommer a fondamentalement changé, et Spotify a simplement gagné cette compétition
Par rapport aux débuts de la musique numérique, j’ai plutôt l’impression que la distribution sur supports physiques est en hausse. Cela tient davantage à la numérisation de la musique qu’à Spotify
Autour de moi, beaucoup de gens semblent acheter du merch ou des supports pour soutenir leurs artistes préférés, plutôt que pour écouter réellement la musique au format physique
Ce genre d’article part généralement du principe qu’il s’agit de génération texte-image et de prompt engineering, souvent parce que les auteurs ont peu d’expérience directe avec ces modèles. Sauf si l’on fait ça pour s’amuser, cette approche n’est fondamentalement pas la bonne
Les tâches qui exigent prévisibilité et contrôle ressemblent plutôt à : « dessine les autres chouettes dans le même style que celles que j’ai dessinées à la main », avec du photobashing et des retouches/compositions manuelles. Pour produire quelque chose qui ne soit pas ennuyeux, c’est un domaine hybride qui demande à la fois des compétences artistiques et techniques, un peu comme la CGI 3D
Ce problème ne vient pas d’une compréhension insuffisante du langage naturel par les modèles ; même avec quelque chose qu’on pourrait raisonnablement appeler AGI, cela pourrait ne pas beaucoup changer. Un prompt textuel n’a pas assez de capacité pour porter tout ce sens
Un prompt détaillé et plusieurs exemples du style souhaité semblent suffisants. Cela ne veut pas dire que ce n’est pas très difficile, bien sûr, mais je ne vois pas pourquoi cela nécessiterait une percée fondamentale. Les briques nécessaires existent déjà
C’est un peu comme emmener l’IA à l’école, ou lui téléverser des données façon Matrix pour qu’elle assimile rapidement de nouveaux concepts. Les professionnels apprendront cette méthode, et un marché se formera autour des personnes capables de faire ce travail
J’ai récemment essayé « un robot assis face à un humain en train de jouer à Magic: The Gathering » ; rien que faire apparaître l’humain dans l’image était difficile, et le modèle ne connaît pas assez MTG, donc il se contente de faire du pattern matching sur « jeu de plateau » ou « jeu de cartes »
Certaines images générées sont bien meilleures que d’autres, et j’aimerais pouvoir prendre la disposition de la table dans l’une et le robot dans une autre, mais pour l’instant c’est pratiquement impossible. « blend » ne convient pas non plus à cet usage
Je ne doute pas que cela s’améliorera, mais je me demande s’il existe une limite plus générale en dessous. Peut-être est-ce simplement un manque de données. Même une recherche Magic: The Gathering sur Google Images est assez décevante
Autre exemple : si je demande un logo bleu lumineux gravé sur un monolithe de pierre, il arrive parfois que le logo soit gravé, mais c’est rare, et il n’est jamais bleu lumineux. En général, c’est tout le monolithe, ou une partie, qui devient bleu
J’ai particulièrement apprécié le passage selon lequel « les illustrateurs commerciaux conserveront leur emploi, mais devront généralement apprendre à utiliser l’IA dans une partie de leur flux de travail s’ils veulent maintenir une cadence plus rapide ».
Il m’arrive de faire des illustrations, mais mon style est assez différent de ce que produit l’IA générative. J’ai récemment sorti la version 1.1 d’un manuel de jeu utilisant des images Midjourney, et j’investis maintenant dans un vrai illustrateur. Les images Midjourney manquent de personnalité.
Cela dit, les choses pourraient être différentes dans quelques mois. Je continuerai à travailler avec un illustrateur pour la cohérence des images, mais il est possible que l’IA produise des résultats plus spectaculaires.
L’argument du « dans 2 mois, ça aura changé » se tient aussi, mais on l’entend depuis un an et demi, et qualitativement ça n’a pas encore changé. La qualité des images générées s’est améliorée, mais pas au point de parler de saut qualitatif.
Au passage, le lien vers civitai pointe vers https://sambleckley.com/writing/civitai.com/images, qui est un lien mort.
Lien : https://youtu.be/FQ6z90MuURM?t=329
Avec mon partenaire, nous gérons quelques petites activités annexes sur Internet. L’une d’elles, une activité D2C fondée sur le contenu, dépendait beaucoup d’illustrations personnalisées pour ses visuels publicitaires display ; le CTR était correct, dans la moyenne, mais le CPC était beaucoup trop élevé et le ROAS vraiment mauvais.
Il y a quelques mois, nous avons fait un test A/B entre notre illustrateur habituel et Stable Diffusion, et les résultats ont été assez spectaculaires. Le CTR a bondi de près de 20 % et le CVR s’est lui aussi amélioré de façon régulière.
Je ne suis pas d’accord avec l’idée de l’article selon laquelle les images générées par IA fonctionnent surtout dans les activités où le contenu n’a pas vraiment d’importance. Cette activité a été un excellent contre-exemple. Dans notre cas, les images générées par IA ont mieux parlé à notre clientèle cible, et nous ont permis une personnalisation bien plus fine à moindre coût qu’auparavant.
Le CPA a aussi nettement baissé, et le contrôle serré des variantes créatives nous a permis une optimisation en temps réel selon les segments d’audience. Le temps de lancement des nouvelles campagnes a également été réduit de moitié, et les discussions sur les nuances de design, les retards de deadline et les blocages créatifs ont disparu.
J’ai des sentiments ambivalents face à la diminution de la touche humaine dans le processus créatif, mais du pur point de vue du growth hacking, cela a changé la donne, et nous avons les chiffres pour le prouver.
Dans l’ensemble, j’y vois un gain net. Cela ne doit pas forcément marquer la fin des illustrateurs humains, mais cela les obligera à s’adapter plus finement aux besoins des clients. Il n’est pas normal que même une activité de contenu rencontre autant de friction pour se procurer des visuels.
Quoi qu’il en soit, il y a l’efficacité et il y a l’âme. Les robots se sont plutôt bien chargés de la première, et surprennent parfois aussi sur la seconde.
Je me demande si la réduction des allers-retours vient de la réponse immédiate et interactive, donc du fait d’avoir moins affaire à des humains, ou bien de la confiance et de la délégation accordées à la machine.
Si le raisonnement est du type « la machine a créé cette icône à partir de ma description, donc je n’ai pas besoin de remettre en cause le choix de la couleur », on retombe sur le problème classique qui consiste à considérer la machine comme infaillible et plus experte que l’humain. C’est probablement un mélange des deux.
L’importance du mobilier dans un lieu se situe sur un spectre allant d’une salle d’attente où l’on reste peu de temps jusqu’à un cabinet d’architecte, et il en va de même pour l’art commercial. Si cette image était vraiment dénuée de sens, elle n’aurait même pas besoin d’être là.
Les graphiques non informatifs présents dans la plupart des decks PowerPoint conçus de façon non professionnelle peuvent être encore moins importants. À l’inverse, pour l’image d’ouverture en double page d’un dossier de magazine, je dirais qu’il y a presque 0 % de chances qu’elle soit faite avec de l’IA, sauf s’il s’agit d’un article sur les images générées par IA. Et même dans ce cas, il est probable que des professionnels aient passé plus de temps à en peaufiner la forme que pour le reste.
Dans un flux de travail graphique professionnel, la spécificité et le contrôle au pixel près sont cruciaux. Quoi qu’en disent les non-designers, les outils actuels ne sont fondamentalement pas adaptés à ce travail. L’interface elle-même est mauvaise.
Adobe, ou un autre acteur du secteur qui comprend ce qui est nécessaire, pourra peut-être résoudre cela, mais cela ne ressemblera pas à Midjourney.
« Être plus sensible aux besoins des clients » n’est pas la même chose que devoir lire dans les pensées du client. Si vous pensez que ce n’est pas un signe de fin pour les illustrateurs humains sur ce marché précis, vous vous racontez des histoires.
J’ai essayé de faire écrire mes textes par l’IA, et c’était atroce. À l’inverse, quand j’ai ignoré des outils d’IA comme les correcteurs grammaticaux, les résumeurs, les outils de reformulation ou les applis de transcription voix-texte, mon processus d’écriture m’a paru poussif.
Pour moi, le juste milieu fonctionne le mieux. J’utilise l’IA générative uniquement aux étapes intermédiaires du travail, pas pour l’entrée que sont les idées ni pour la sortie qu’est le vrai brouillon.
Ma façon d’écrire est la suivante. Les idées viennent de la réflexion ou de conversations sur les réseaux sociaux. Les sujets qui y sont discutés ont au moins une certaine pertinence déjà validée.
Ensuite, je m’assois une dizaine de minutes pour dicter mes pensées dans un outil comme AudioPen, qui résume ces 10 minutes en 5 ou 6 paragraphes. C’est cette partie qui relève de l’IA. L’outil propose quelques structures de paragraphes, et je les modifie jusqu’à en trouver une bonne.
Après cela, j’écris moi-même le brouillon en suivant ce plan. À part une correction grammaticale à la fin, je n’utilise plus d’outil d’IA. L’IA est un excellent partenaire d’écriture, mais un auteur catastrophique.
L’affirmation selon laquelle « les illustrateurs commerciaux conserveront leur emploi, mais devront généralement apprendre à utiliser l’IA dans leur workflow pour maintenir une cadence de travail plus rapide » correspond exactement à ce que j’ai observé
En dehors des communautés de génération de médias par IA, on pense encore qu’il suffit de saisir du texte et de récupérer un résultat. En réalité, on construit tout un workflow pour obtenir le type exact d’image souhaité
Par exemple : https://old.reddit.com/r/StableDiffusion/comments/14ye2eg/co...
La deuxième image est le résultat, mais la première est plus intéressante. C’est une interface à base de nœuds, similaire à ce qu’on voit souvent dans des outils de développement de jeux comme Unreal Engine : https://docs.unrealengine.com/5.2/en-US/nodes-in-unreal-engi...
C’est un peu comme connecter des API entre elles pour obtenir l’image finale. J’ai l’impression que la génération d’images à venir ressemblera en réalité davantage à de la programmation backend qu’au fait de dessiner. La partie dessin proprement dite sera automatisée, et la créativité se situera dans le workflow lui-même
Bien sûr, un jour, la partie workflow sera elle aussi automatisée, mais comme les ordinateurs ne lisent pas encore dans les pensées au point de connaître l’intention de l’utilisateur, on en est encore loin
L’article me semble trop centré sur le présent. Les approches de type Stable Diffusion ont connu un grand succès avec une technique particulière, mais il serait naïf de penser que cette méthode s’améliorera indéfiniment
L’« IA » générative prendra de nombreuses formes. À terme, elle risque de retirer à la création une grande partie de l’élément de technique, et donc de priver les artistes et les détenteurs de contenus de revenus et de pertinence
Cela n’arrivera pas du jour au lendemain, mais pendant encore une dizaine d’années environ, l’IA me semble plutôt devoir rester un outil utile qu’une menace
À un moment donné, je m’attends à ce que l’IA générative devienne un système multisensoriel incluant la vue, le son et le toucher. Ce type de système produira des représentations nouvelles et précises à partir de modèles physiques des objets et de leur environnement, en s’appuyant sur des descriptions riches et une profonde conscience du contexte culturel
Il raisonnera en objets et en relations, pas en pixels, puis les simulera, les rendra et les filtrera pour les faire correspondre aux désirs de l’utilisateur
Je soutiens les efforts des auteurs et des acteurs pour se protéger de la concurrence, mais je pense qu’ils seront finalement vains. L’évolution juridique dans ce domaine sera intéressante
Les futurs systèmes génératifs auront peut-être besoin d’une piste d’audit montrant comment ils ont acquis leur compréhension du monde, afin de prouver qu’il n’y a pas eu d’entraînement non autorisé. Mais cela ne fera que relever un peu la barre, et n’empêchera pas de déduire des relations importantes par d’autres moyens, comme des descriptions de haut niveau élaborées en clean room
Par exemple, entraîner une IA sur des œuvres sous droit d’auteur de Harrison Ford ou sur des images prises dans des lieux publics pourrait être illégal, mais si l’on réduit Harrison Ford à un ensemble de caractéristiques et qu’on les transmet à un système génératif, on peut créer quelque chose d’indiscernable du vrai Harrison Ford. Si cette procédure peut être documentée, il ne semble pas y avoir beaucoup de moyens pour le système juridique de l’empêcher. Bien sûr, je ne suis pas spécialiste du sujet
Pour mémoire, je n’aime pas l’« IA » actuelle. Les LLM, en particulier, m’ont paru peu fiables et globalement inutiles. L’art généré par IA est aussi le plus souvent ennuyeux, inexact ou manque de crédibilité d’une manière ou d’une autre. Malgré tout, la trajectoire me semble de plus en plus claire
Je ne vois pas pourquoi l’idée selon laquelle « les illustrateurs commerciaux conserveront leur emploi, mais devront généralement apprendre à utiliser l’IA dans leur workflow pour maintenir une cadence de travail plus rapide » serait impopulaire. Cela ressemble au chemin logique pour la suite
CoPilot ne me remplace pas, mais il rend certains bouts de code standard beaucoup moins pénibles et m’aide à éviter la page blanche, ou le blocage d’écriture, quand je veux écrire une fonction
Il vaut mieux partir de quelque chose que de rien, puis le modifier jusqu’à obtenir la forme voulue. Même si, au final, on en remplace 80 à 99 %
Pour un artiste aussi, voir quelques exemples de ce à quoi son line art pourrait ressembler peut stimuler la créativité, puis il peut travailler dessus comme il l’entend
Les illustrateurs avec lesquels j’ai le plus envie de travailler sont ceux qui utilisent tous les outils à leur disposition pour produire les meilleures images possibles
Je suis d’accord avec l’essentiel, mais pas avec la partie sur la production d’une image précise. C’est clairement une technique qui peut se développer.
J’ai beaucoup appris aux gens à simplifier leurs prompts pour les IA de génération d’images et à choisir le bon langage. Curieusement, les gens y mettent beaucoup de bric-à-brac inutile, probablement par superstition du genre « ce bout de phrase a bien marché quelques fois la dernière fois ».
Comme le dit l’article, l’avenir est dans une approche hybride, où l’on utilise cela comme un outil au sein d’une chaîne de plusieurs outils.
Il y a aussi des concepts que l’IA ne comprend tout simplement pas. Par exemple, Midjourney a actuellement énormément de mal avec des choses comme « bulldozer », « centaure » ou « archer fantasy ». Ces problèmes seront inévitablement corrigés dans de nouvelles versions de modèles disposant de meilleures données d’entraînement, et ils l’ont déjà été par le passé.
La vraie difficulté vient des petits détails ou des informations sémantiques. Par exemple, il est difficile de demander une scène réaliste/de type photo où même l’arrière-plan est entièrement net, et même des mots-clés comme « focus stacking » ne marchent pas très bien. « selfie » était le meilleur terme que nous ayons trouvé, mais malheureusement il a de gros effets secondaires.
Il se peut qu’il n’y ait pas assez d’exemples décrivant précisément cette propriété dans les données d’entraînement, mais honnêtement, apprendre le mot anglais qui exprime ce concept est déjà difficile en soi.
Pour les petits détails, l’approche actuelle ne passera pas à l’échelle pour traiter des demandes du type « six cubes bleus, chacun avec un triangle rouge attaché, disposés en pyramide, avec une balle jaune en équilibre dessus ». Mais comme le dit l’auteur, ce genre de chose sera probablement traité avec des assets créés séparément et un minimum de compétences Photoshop.
En parlant des problèmes techniques des prompts, cette partie a été complètement laissée de côté.
Le problème des prompts, ce ne sont pas les cubes empilés. Demandez à 10 ingénieurs logiciel, 10 commerciaux et 3 cadres dirigeants de proposer des idées visuelles pour une publicité : vous obtiendrez des images nulles sur fond noir, des robots, de l’animation, de mauvaises copies de choses qu’ils ont vues quelque part et mémorisées inconsciemment, et 0 idée visuelle qui fonctionne réellement.
Les designers et les illustrateurs doivent constamment combattre et retourner ces clichés et ces mauvaises idées pour produire quelque chose de correct.
Je vois à peu près la même chose avec GPT et le code. J’ai vu des personnes intelligentes qui ne codent pas demander des choses à GPT et obtenir quelque chose qui fonctionne, mais passer de « écris-moi un truc qui appuie automatiquement sur une touche avec un minuteur » à « mets à jour le dépôt pour que le client gère cette logique métier et cette fonctionnalité », c’est un saut énorme.
De mon point de vue, il faut toujours quelqu’un avec une pensée de développeur pour faire le travail, et l’IA ne fait que rendre la vie un peu plus facile dans ce processus.
Je pense que c’est pareil dans le domaine artistique. Il est facile d’obtenir une image convaincante, mais obtenir une image précise et porteuse de sens nécessite généralement beaucoup de post-traitement qu’une personne ordinaire n’est pas capable de faire.
Nous avons déjà vu des progrès spectaculaires. Les outils de codage basés sur les LLM s’améliorent, les LLM eux-mêmes s’améliorent, et la taille du contexte augmente. L’intérêt pour les LLM stimule aussi le développement de nouvelles approches plus efficaces.
Dans quelques années, que ce soit une approche de type JEPA de Lecun, un quelconque super-codeur hybride que DeepMind est en train de construire, ou des LLM open source, quelque chose écrasera GPT-4 en programmation.