DALL·E 3
(openai.com)- DALL·E 3 d’OpenAI est un modèle de génération texte-vers-image destiné aux utilisateurs de ChatGPT et aux développeurs via l’API, avec pour objectif de produire des images qui reflètent plus fidèlement les phrases saisies
- Les systèmes précédents omettaient souvent des mots ou des descriptions, obligeant les utilisateurs à recourir au prompt engineering, mais DALL·E 3 a été conçu pour offrir de meilleurs résultats que DALL·E 2 à prompt identique
- Grâce à l’intégration avec ChatGPT, l’utilisateur peut saisir aussi bien une phrase simple qu’un paragraphe détaillé, et ChatGPT crée automatiquement un prompt détaillé pour DALL·E 3
- Si l’image générée plaît mais que certains détails ne correspondent pas, il est possible de demander une modification en quelques mots, et les images générées peuvent être réimprimées, vendues ou commercialisées sans autorisation supplémentaire
- Comme dispositif de sécurité, le modèle refuse les demandes mentionnant le nom de personnalités réelles ainsi que les demandes dans le style d’artistes vivants, et les créateurs pourront à l’avenir se retirer de l’entraînement des modèles de génération d’images
Génération d’images qui suit le texte avec plus de précision
- DALL·E 3 est proposé aux utilisateurs de ChatGPT et aux développeurs via l’API
- Les systèmes texte-vers-image ont tendance à ignorer certains mots ou descriptions, si bien qu’il faut souvent apprendre le prompt engineering pour obtenir le résultat souhaité
- DALL·E 3 vise à générer des images qui suivent plus précisément le texte fourni par l’utilisateur
- Il a été conçu pour offrir une amélioration notable par rapport à DALL·E 2, même avec le même prompt
Avec ChatGPT, de la création du prompt à sa modification
- DALL·E 3 est nativement intégré à ChatGPT, ce qui permet de gérer l’idéation et l’affinage des prompts directement dans ChatGPT
- L’utilisateur peut demander la scène qu’il souhaite voir en langage naturel, d’une simple phrase à un paragraphe détaillé
- ChatGPT génère automatiquement un prompt détaillé et personnalisé pour DALL·E 3 à partir de l’idée de l’utilisateur
- Si une image plaît mais ne correspond pas exactement au résultat voulu, il est possible de demander des modifications en quelques mots seulement
Droits d’utilisation des images générées
- Les images créées avec DALL·E 3 peuvent être utilisées par l’utilisateur
- Comme avec DALL·E 2, il n’est pas nécessaire d’obtenir une autorisation supplémentaire d’OpenAI pour réimprimer, vendre ou commercialiser les images générées
Dispositifs de sécurité pour réduire la génération de personnalités et les biais nuisibles
- DALL·E 3 intègre des mesures d’atténuation qui refusent la génération d’images demandant directement le nom d’une personnalité publique
- OpenAI a collaboré avec des équipes de red teaming afin d’améliorer les performances de sécurité dans des zones à risque comme la génération de personnalités publiques et les biais nuisibles liés à la surreprésentation ou à la sous-représentation visuelle
- Les équipes de red teaming sont des experts métier chargés de soumettre le modèle à des tests intensifs
- Ce travail sert aux efforts d’évaluation et d’atténuation des risques dans des domaines comme la propagande et la désinformation
- OpenAI étudie également de meilleures méthodes pour identifier si une image a été générée par une IA
- L’entreprise expérimente un outil interne appelé provenance classifier, qui pourrait aider à déterminer si une image a été générée par DALL·E 3
- OpenAI prévoit d’utiliser cet outil pour mieux comprendre comment les images générées peuvent être utilisées et de partager davantage d’informations par la suite
Contrôle des créateurs et ressources associées
- DALL·E 3 est conçu pour refuser les demandes d’images dans le style d’artistes vivants
- Les créateurs peuvent se retirer afin que leurs images soient exclues de l’entraînement futur des modèles de génération d’images
- Des ressources associées sont proposées, dont un article de recherche et un formulaire de retrait des images
1 commentaires
Avis sur Hacker News
Si ce n’est pas encore public, ça relève de la catégorie annonce d’une annonce (https://hn.algolia.com/?dateRange=all&page=0&prefix=true&sor...)
Quand il y aura effectivement quelque chose à discuter, on pourra ouvrir un fil à ce moment-là, et il n’y a aucun mal à attendre (https://hn.algolia.com/?dateRange=all&page=0&prefix=false&so...)
Pour ceux que ça intéresse : l’an dernier, j’ai généré environ 7 000 images avec DALL·E 2 et les ai mises sur https://generrated.com/
Je voulais expérimenter ce que DALL·E 2 pouvait créer, et partager cela avec d’autres comme source d’inspiration ou point de départ
C’était avant la sortie de l’API, donc il fallait tout générer et enregistrer manuellement, et ça a aussi coûté pas mal d’argent, mais c’était amusant
Si j’obtiens l’accès à DALL·E 3, il faudra sans doute tout mettre à jour
Édit : en réalité, il semble que seuls les artistes vivants soient exclus des prompts, en tout cas c’est ce que dit l’article
On voit des motifs qui permettent d’échafauder quantité d’hypothèses raisonnables, mais par curiosité, j’aimerais connaître la vraie cause
En regardant les images, ce qui est particulièrement intéressant, c’est qu’il ne reproduit jamais le texte exactement : il est toujours légèrement à côté. Parfois il se trompe lourdement, mais la plupart du temps il est assez proche
J’ai créé un bot Discord pour Midjourney qui, avec une configuration simple, permet de télécharger les images et de les annoter avec autant d’informations récupérables que possible, comme la version : https://github.com/ernop/social-ai/tree/main/SocialAI
Cela dit, ce n’est pas parfait. Il récupère les infos depuis la commande envoyée, mais comme on pouvait à l’époque s’appuyer sur les valeurs par défaut, il est difficile aujourd’hui de reconstituer d’anciennes versions, seeds, etc., sauf si elles étaient incluses dans le prompt
Mais au moins, c’est appréciable de pouvoir conserver durablement un dossier de 30 000 images avec leurs prompts, puis de les relancer plus tard pour faire des comparaisons dans le temps
Quelques réflexions : l’intégration à ChatGPT est énorme. Si l’intégration à ChatGPT Plus et à l’offre entreprise arrive en octobre, cela pourrait mettre une forte pression sur Midjourney et sur plusieurs entreprises SaaS de texte-vers-image, et les pousser à se concentrer sur les usages NSFW
La qualité semble comparable à celle de Midjourney, mais Midjourney propose aussi des fonctions utiles comme l’upscaling ou la génération de multiples variantes. Je me demande si DALL·E 3 pourra suivre côté expérience utilisateur
En matière d’interface, je préfère largement ChatGPT à Discord, donc cette option me convient mieux
Aujourd’hui, avec Midjourney ou Stable Diffusion, on obtient parfois une image incroyable et parfois non ; ça ressemble à un casino. Avec Stable Diffusion, on peut appliquer un masque et réessayer, mais c’est laborieux et chronophage
Si on peut dire « cette image est bien, mais je voudrais qu’il n’y ait qu’un seul singe, et change le ciel en vert », et qu’il prend l’image d’origine pour la modifier, ce serait un changement complet de paradigme
En réalité, il y a de fortes chances que ça ne fonctionne pas comme ça, mais j’espère que si
Cela dit, ce sera vraiment intéressant de voir qui, et quoi, gagnera dans cette compétition
Bing Chat utilise déjà GPT-4 en interne, Bing Image Creator est aussi intégré, et il utilise en interne quelque chose comme DALL·E 2.5, mais ce n’est pas bon
Il se contente d’écrire le prompt d’image à ta place, ce qui revient presque à un jeu du téléphone inutile, en ajoutant une étape pour quelque chose qu’on peut faire directement
On pourrait peut-être même avoir quelque chose comme un grand modèle de langage entraîné sur Literotica
Je ne vois pas de différence énorme, surtout que Midjourney est bien meilleur que DALL·E
« DALL·E 3 a été conçu pour refuser les demandes d’images dans le style d’artistes vivants », « les créateurs peuvent désormais exclure leurs images de l’entraînement des futurs modèles de génération d’images »
Dans ce cas, cette version aussi a donc utilisé des œuvres protégées par le droit d’auteur pour l’entraînement sans autorisation
En plus, on fait porter aux artistes la charge de demander manuellement leur exclusion
Ils n’ont pas peur qu’un jour un tribunal les oblige à payer chaque artiste pour chaque image générée ?
Autrement dit, il faudrait que les tribunaux obligent des milliers d’entreprises très grandes et très puissantes à payer des millions de personnes, ce qui deviendrait dans les faits un effort juridique difficilement soutenable
Ils n’ont publié ni les sources ni la méthodologie, et à part « entraînement » et « droit d’auteur », le reste est incertain. Sinon, ils paieraient déjà des royalties
Ils ont peut-être utilisé les sorties de la version 2 précédente avec des prompts générés par GPT, puis les ont fait corriger par des humains pour les adapter aux images générées
Ils ont aussi pu analyser de nouvelles images et des images existantes par vision par ordinateur, ajouter au prompt les nouvelles caractéristiques présentes dans l’image, puis réentraîner le modèle
Vu l’état des tribunaux, je n’ai aucun espoir que cela soit annulé
Ils sont probablement en train de conclure des accords en coulisse avec les gros détenteurs de propriété intellectuelle comme Disney pour éviter de réveiller l’ours, tout en laissant les petits acteurs incapables de se défendre — plus précisément, déjà pauvres et avec encore moins d’argent
Cela pourrait bien représenter une menace réelle pour Midjourney, mais je ne pense pas que cela délogera Stable Diffusion
Le respect du prompt semble excellent, mais le manque de personnalisation et les restrictions sur les styles artistiques réduiront fortement son utilité
Les gens créeront probablement des images de base pour la composition avec DALL·E 3, puis passeront par Stable Diffusion pour le style, l’upscaling et les détails
J’ai vu beaucoup plus d’images de très haute qualité, difficiles à distinguer d’une production non générée, avec Midjourney qu’avec Stable Diffusion
Le filtrage de Midjourney était déjà assez agaçant, et le fait que ChatGPT refuse sans raison utile des demandes simples au motif qu’elles pourraient être mal interprétées est interminablement irritant
Si on combine les deux et qu’on ajoute explicitement un filtrage des styles d’artistes, je passerai mon tour
Au passage, je ne suis pas en train de faire du NSFW avec Midjourney. Je parle de situations où je veux « une photo de banque d’images d’une personne coupant du fromage sur un comptoir », mais où des mots comme « cutting » ou « slicing » sont inutilisables parce qu’ils pourraient servir à produire des images gore
Dire que « les créateurs peuvent désormais exclure leurs images de l’entraînement des futurs modèles de génération d’images », alors que le lien mène à un formulaire où il faut soumettre les images une par une, c’est risible
Ils disent qu’on peut bloquer GPTBot sur son site, mais que se passe-t-il si le bot a déjà aspiré les images ? C’est aussi un problème
Et de toute façon, quelqu’un d’autre peut publier mes photos sur un autre site qui ne bloque pas GPTBot
Je produis beaucoup d’images Midjourney pour un projet récent, et cela m’a rappelé quelque chose que les prophètes de l’apocalypse de l’art IA ne semblent pas comprendre : l’importance de la curation
Il suffit de parcourir /r/Midjourney ou les images mises en avant dans le lien DALL·E ci-dessus pour voir à quel point les « résultats par défaut » des générateurs sont ennuyeux
Créer des images peut devenir plus facile, mais il faut toujours un sens artistique et de la technique pour sélectionner celles qui sont séduisantes
À grande échelle, j’ai l’impression que l’art de type illustration va se rapprocher davantage d’une activité de curation, et que la capacité à filtrer au sein de masses d’images deviendra la compétence clé
Si on peut créer une image de référence à donner en entrée, je pense que les résultats seront meilleurs. Plus l’entrée est bonne, meilleure est la sortie
Dans le domaine commercial, on a l’impression que les artistes qui savent bien exploiter l’IA prendront de l’avance
Il restera malgré tout une marge pour qu’un artiste ayant du goût et un talent technique manipule les images afin de les rapprocher davantage d’un idéal curaté
Comme dans les workflows Photoshop actuels basés sur Stable Diffusion, la génération pose les bases, puis, à mesure que le workflow mûrit, la saisie manuelle devrait de nouveau augmenter
Par exemple, on verrouille la composition avec ControlNet en fixant une pose ou une disposition précise, l’IA remplit 90 %, puis l’humain affine les 10 % restants selon son goût et itère
À voir l’élément « DALL·E 3 est construit nativement sur ChatGPT », l’intégration étroite entre ChatGPT et la génération d’images, ainsi que l’absence d’article de recherche au moment de l’annonce, je soupçonne fortement qu’il s’agit d’une phase pilote des capacités multimodales de GPT-4 et qu’il est très probable que cela tourne sur une infrastructure similaire
Donc ils utilisent simplement des appels API. Il n’y a rien de spécial, Bing fait la même chose
Référence : https://arxiv.org/pdf/2303.12712.pdf
Ont-ils supprimé les données d’« entraînement » protégées par le droit d’auteur, ou continuent-ils à dire qu’ils ont « appris » du travail des gens sans consentement tout en le vendant sans autorisation ?
Donc cela signifie qu’ils s’appuient toujours sur le travail des gens, mais le bon côté, c’est qu’on peut faire une demande d’exclusion pour éviter que son travail ne serve de nourriture à DALL·E 4
L’enjeu est de savoir s’ils peuvent défendre avec succès l’argument selon lequel l’IA apprend comme un humain, et que les sorties qui ne sont pas des copies directes d’œuvres existantes sont donc de nouvelles créations
Cela s’applique de façon similaire même si une IA reproduit le style artistique d’un auteur. C’est comparable à un humain qui regarde les œuvres d’un artiste pendant un week-end puis réalise une commande dans le même style ; comme un style artistique ne peut pas être protégé par le droit d’auteur, c’est parfaitement légal
Bien sûr, Adobe aimerait que ce soit le cas[0]
0: https://twitter.com/UltraTerm/status/1679294173793628161
Une autre chose à laquelle je repense sans cesse, c’est que ces productions générées par IA pourraient provoquer un effondrement à la manière de l’industrie du jeu vidéo
Si l’on se retrouve avec une surabondance de contenus IA très promus mais insignifiants et de faible valeur, les consommateurs pourraient se désintéresser et cesser de dépenser dans des secteurs comme les livres, les jeux, les films, l’art numérique ou la musique, ce qui pourrait les faire s’effondrer
https://investor.shutterstock.com/news-releases/news-release...
Comme toujours, davantage de transparence sur les données d’entraînement serait appréciable
Ils ne devraient pas faire ça. Du point de vue maximaliste du droit d’auteur, c’est une violation du copyright
Une nouvelle course vient de commencer
Certaines personnes semblent avoir une forte aversion pour OpenAI, mais au minimum, OpenAI est vraiment très douée pour faire d’elle-même, dans certains domaines, le point de référence à dépasser
Et, ce faisant, elle semble pousser l’ensemble du secteur assez loin
Les vieux comme moi se souviennent de ce que Microsoft a fait dans les années 90. Si elle était encore en position de force dans un domaine aujourd’hui, elle ferait la même chose, et en coulisses elle le fait parfois encore
Je n’aime pas FB ni Zuckerberg, mais publier LLAMA gratuitement était une bonne initiative
J’espère qu’il y aura une autre fuite interne chez OpenAI qui donnera accès à tout