- Nightshade est un outil qui répond à l’utilisation d’images en ligne pour l’entraînement de l’IA générative sans consentement, en transformant les œuvres en échantillons empoisonnés inadaptés à l’apprentissage des modèles
- Les listes d’opt-out et les directives do-not-scrape/robots.txt sont difficiles à vérifier et à faire respecter, et il est aussi difficile d’identifier les contrevenants avec un haut degré de certitude, ce qui laisse aux créateurs peu de moyens de contrôle concrets
- Les images transformées paraissent peu différentes des originales à l’œil humain, mais elles amènent les modèles d’IA à apprendre d’autres compositions et à produire des résultats imprévisibles
- Si Glaze est un outil défensif qui empêche l’imitation du style d’un artiste en particulier, Nightshade est un outil offensif sélectif qui augmente le coût d’entraînement des modèles reposant sur du scraping sans consentement
- Actuellement, Nightshade v1.0 est un outil autonome et n’offre pas de protection contre l’imitation comme Glaze ; il faut donc éviter de l’utiliser seul sur des œuvres dont l’imitation de style est une préoccupation
Réponse à la collecte de données d’entraînement sans consentement
- Les modèles d’IA générative et les entités qui les entraînent ont montré leur capacité à télécharger du contenu en ligne pour l’utiliser dans l’entraînement des modèles
- Les propriétaires de contenu et les créateurs disposent de très peu d’outils pour empêcher que leurs œuvres soient intégrées à des modèles d’IA générative contre leur volonté
- Les listes d’opt-out ont déjà été ignorées par le passé par certaines entités entraînant des modèles, et peuvent facilement être ignorées sans conséquence notable
- Les consignes do-not-scrape sont elles aussi difficiles à vérifier et à faire appliquer, et il est difficile d’identifier les contrevenants avec un haut niveau de certitude
Comment fonctionne Nightshade
- Nightshade transforme les images en échantillons empoisonnés inadaptés à l’apprentissage des modèles
- Un modèle entraîné sans consentement sur ce type d’images peut apprendre des comportements imprévisibles qui s’écartent du fonctionnement attendu
- Par exemple, lorsqu’on lui demande une image de « vache volant dans l’espace », il peut générer l’image d’un sac à main flottant dans l’espace
- L’objectif n’est pas simplement de casser le modèle, mais d’augmenter le coût de l’entraînement sur des données non autorisées afin que la licence d’images auprès des créateurs devienne une alternative réaliste
Des images perçues différemment par les humains et les modèles
- Nightshade fonctionne de manière similaire à Glaze, mais au lieu d’être un outil défensif contre l’imitation de style, c’est un outil offensif qui déforme les représentations de caractéristiques internes des modèles génératifs d’images par IA
- La transformation est calculée par une optimisation multi-objectifs qui minimise les changements visibles dans l’image d’origine
- À l’œil humain, une image modifiée par shade semble globalement très proche de l’originale, mais un modèle d’IA peut y voir une composition radicalement différente
- Un humain verra presque toujours une image de vache dans un champ vert
- Un modèle d’IA pourra y voir un grand portefeuille en cuir posé sur l’herbe
- Si le modèle apprend suffisamment d’images modifiées contenant des vaches, il pourra devenir de plus en plus convaincu qu’une vache possède des poignées en cuir brun, des poches latérales lisses, une fermeture éclair et un logo de marque
Un effet qui résiste aux transformations d’image courantes
- L’effet de Nightshade est robuste face aux modifications couramment appliquées aux images
- L’effet d’empoisonnement subsiste après recadrage, rééchantillonnage, compression, lissage de pixels et ajout de bruit
- L’effet shade se maintient même si l’image affichée sur un écran est capturée par capture d’écran ou photographiée
- Ce n’est ni un filigrane ni un message caché de type stéganographie, et il ne s’agit pas d’une méthode qui se casse facilement
Différence de rôle entre Nightshade et Glaze
- Glaze est un outil défensif qui permet à un artiste individuel de se protéger contre les attaques d’imitation de style
- Nightshade est un outil offensif qui permet aux artistes, collectivement, de gêner les modèles qui récupèrent des images sans consentement
- Il est recommandé d’appliquer Glaze à toutes les œuvres publiées en ligne afin de protéger l’artiste lui-même
- Nightshade est une fonction sélective destinée à dissuader les entités peu scrupuleuses qui entraînent des modèles
- Idéalement, tout artiste publiant ses œuvres en ligne devrait appliquer à la fois Glaze et Nightshade
- Une version intégrée des deux outils est en cours de développement
Précautions d’usage
- Les modifications produites par Nightshade peuvent être plus visibles sur des œuvres avec des aplats de couleur et des arrière-plans lisses
- Comme Nightshade a pour but de perturber les modèles, une faible intensité ou un faible niveau d’empoisonnement n’entraîne pas de conséquence négative pour le propriétaire de l’image
- Un réglage de faible intensité est inclus pour les utilisateurs qui souhaitent privilégier la qualité visuelle de l’image d’origine
- Comme pour les attaques ou les défenses en sécurité, rien ne garantit que Nightshade restera efficace à long terme dans le futur
- En tant qu’outil offensif, Nightshade peut toutefois évoluer facilement face à d’éventuelles contre-mesures ou défenses
Mode de distribution et traitement des données
- L’objectif de Nightshade est de découvrir et d’apprendre de nouvelles choses par la recherche, tout en ayant un impact positif sur le monde
- Comme Glaze, Nightshade est conçu pour fonctionner sans réseau
- Aucune donnée ni aucune œuvre n’est envoyée à l’équipe Nightshade ni ailleurs
- Nightshade v1.0 est conçu comme un outil autonome
- La version actuelle n’offre pas de protection contre l’imitation comme Glaze, il faut donc faire attention à la manière de l’utiliser
- Si l’imitation de style vous préoccupe ne serait-ce qu’un peu, vous ne devez pas publier d’images d’œuvres auxquelles seul Nightshade a été appliqué
- La manière dont Nightshade et Glaze fonctionnent ensemble est en cours de test
- Lorsqu’il sera prêt, Nightshade sera publié comme extension WebGlaze afin que les utilisateurs de WebGlaze puissent appliquer Nightshade et Glaze en une seule fois à une image unique
Article scientifique et références
- L’installation, l’exécution, la configuration et la suppression de Nightshade sont décrites dans le User guide
- Le titre de l’article scientifique est Nightshade: Prompt-Specific Poisoning Attacks on Text-to-Image Generative Models
- Les auteurs sont Shawn Shan, Wenxin Ding, Josephine Passananti, Haitao Zheng, Ben Y. Zhao
- L’article doit être présenté au 45th IEEE Symposium on Security and Privacy, qui se tiendra à San Francisco en mai 2024
- Le préprint est arxiv/2310.13828, publié en février 2024
1 commentaires
Avis sur Hacker News
L’article est ici : https://arxiv.org/abs/2310.13828
Cette méthode semble produire des artefacts à un niveau que beaucoup d’artistes auront du mal à accepter : https://twitter.com/sini4ka111/status/1748378223291912567
D’après ce que j’entends, a) ça fonctionne tout juste sur les procédures d’entraînement des générations précédentes, b) ça ne marche pas du tout avec les procédures récentes comme GPT-4V, LLaVA, voire l’étiquetage BLIP2, et c) même si l’effet devenait important et largement utilisé, il ne serait pas très difficile d’y répondre.
Leur travail précédent, Glaze, ne semble pas non plus très efficace malgré des affirmations exagérées ; il s’agit donc peut-être d’un cas intéressant sur le plan académique, mais survendu pour des résultats peu pratiques dans le monde réel.
[1] : fourni par /u/b3sn0w sur Reddit : https://imgur.com/cI7RLAq https://imgur.com/eqe3Dyn https://imgur.com/1BMASL4
Mettre une image dans GPT-4V, Stable Diffusion img2img, etc. n’entraîne pas l’IA ; le modèle est complètement figé et ne change absolument pas[0].
Je ne sais pas s’il existe encore des acteurs qui récupèrent de nouvelles images pour les intégrer à l’entraînement de générateurs. J’ai entendu dire qu’OpenAI avait cessé le scraping vers 2021 par crainte de réentraîner ses modèles sur leurs propres sorties[1], et Adobe Firefly affirme avoir été entraîné sur des images Adobe Stock, mais je ne connais pas la date de référence interne d’Adobe[2].
Si l’on veut bloquer GPT-4V ou Stable Diffusion au stade de l’inférence, il faut une image adversariale. Je ne sais pas si un entraînement adversarial est possible contre un modèle dont on n’a pas les poids, mais j’ai entendu dire qu’en généralisant contre plusieurs modèles indépendants, on peut les perturber assez fortement[3].
[0] Les capacités qui ressemblent à de l’apprentissage dans les générateurs de texte viennent de la fenêtre de contexte, mais il ne s’agit que d’une mémoire à court terme d’environ 2048 tokens, sans autre capacité de mémorisation.
[1] Ce scénario est appelé en plaisantant Habsburg AI. Le modèle apprend à partir de ses propres biais et les renforce en biais encore plus marqués, tout en oubliant le reste.
[2] Ce serait particulièrement ironique si les seuls générateurs d’IA que Nightshade endommage étaient ceux qui essayaient au moins de faire les choses un peu plus éthiquement.
[3] Dans les cas extrêmes, les images adversariales trompent aussi les humains. Cela dit, ces études ne montraient les images que très brièvement, avec l’idée qu’une exposition courte ressemble à un réseau neuronal feed-forward sans voie de calcul récurrente. Si on les regarde plus longtemps, il devient clair qu’il s’agit d’une photo d’un objet modifiée pour ressembler à autre chose.
Le débruitage est probablement une bonne étape de prétraitement de toute façon.
Les gens des LLM ne semblent pas avoir réellement l’intention de payer légitimement ; le résumé du plan d’affaires revient en pratique à dire « on vole tout ce qui nous tombe sous la main ».
Il existe ici un très gros marché pour les produits frauduleux. Tant que l’art doit être visible par l’œil humain, ce type d’outil ne peut pas gagner ; et même s’il fonctionnait, il serait par principe immédiatement contournable.
Pour les artistes comme pour n’importe qui d’autre, la seule façon réaliste d’empêcher qu’un modèle soit entraîné sur des productions humaines est la loi, c’est-à-dire le recours à une force coercitive soutenue par l’État pour dissuader les actions non souhaitées. Même cela n’est pas parfait et pourrait au contraire accroître les incitations à développer des réseaux d’entraînement distribués servant à « blanchir » des violations de copyright sanctionnables.
Au mieux, c’est une bataille perdue ; au pire, une bataille stupide. On ne peut pas empêcher un ordinateur d’observer une image mise en ligne pour que les humains puissent la voir librement ; ces modèles peuvent donc être créés facilement, et ils finiront par l’être.
Il existe d’autres méthodes que la loi. On peut ne proposer les œuvres qu’en consultation privée et empêcher le public présent d’apporter des dispositifs d’enregistrement. Cela peut sembler absurde, mais c’est une pratique courante pour des activités comme les rapports sexuels.
Au pire, ce n’est qu’une perte de temps, pas une situation où quelqu’un se ferait duper et achèterait quelque chose.
Désormais, la seule façon de survivre en tant qu’artiste est d’avoir son propre style unique, et de ne jamais le mettre en ligne.
Il y a quelques mois, j’ai réalisé une preuve de concept montrant qu’en fine-tunant Stable Diffusion XL avec des images incorrectes ou incohérentes, on pouvait obtenir des images « meilleures » en utilisant ensuite ces images comme prompts négatifs : https://news.ycombinator.com/item?id=37211519
Autrement dit, cela revient à désigner des régions de haute dimension de l’espace latent que la génération du modèle doit éviter. Encourager la création massive de jeux de données manipulés pourrait, paradoxalement, avoir une probabilité non nulle d’améliorer les modèles d’art génératif par IA. Le modèle pourrait apprendre à reconnaître les données manipulées, et le processus d’entraînement à les contourner.
Cela ressemble à une course aux armements assez vaine, ou à un jeu du chat et de la souris. Si quelqu’un qui veut entraîner un modèle génératif d’images ne se soucie absolument pas de ce que pensent les artistes, il lui suffit d’appliquer un post-traitement basique capable de casser les modifications très finement ajustées par l’algorithme de Nightshade
Par exemple, rééchantillonner l’image à une résolution légèrement inférieure puis la réagrandir avec un autre modèle de super-résolution pourrait probablement détruire ces micro-ajustements sans grande différence perceptible à l’œil humain
À l’avenir, je pense que, sous la pression sociale, les tribunaux auront globalement tendance à donner raison aux artistes. Les artistes pourront contester les images découvertes, et un autre modèle de machine learning pourra rapidement déterminer si une image générée est « trop proche » du style de cet artiste. Bien sûr, il faudra que ce style soit suffisamment distinct de celui des autres pour qu’une action en justice soit raisonnable
Ou alors les artistes renonceront peut-être à monétiser les images elles-mêmes et se concentreront sur la production d’objets physiques. Un peu comme les musiciens indépendants d’aujourd’hui, qui gagnent l’essentiel de leur argent avec les tournées, le merchandising sur place et Patreon. Quand des changements fondamentaux aussi importants se produisent rapidement, il devient vraiment difficile de prédire l’avenir
Dans un avenir cynique, je pense qu’on pourrait voir davantage de soi-disant « artistes furry ». Comme pour d’autres grandes entreprises tech, le domaine réservé aux adultes a de fortes chances d’être fortement bloqué par divers acteurs de pouvoir. Les travaux NSFW seraient alors dans une certaine mesure protégés des progrès, et il faudrait soit trouver des modèles d’entraînement underground, soit retourner vers les artistes
The Grateful Dead a mis en œuvre ce modèle de façon très sophistiquée et a parfois délibérément évité de revendiquer des droits de propriété intellectuelle sur son travail. Le groupe estimait que ces revendications nuisaient à son succès, et a fini par formaliser cette défense sous le nom de « The Electronic Frontier Foundation ». Ce n’est pas un hasard si l’EFF est issue de la culture deadhead
Il est tout aussi notable qu’il n’existe pas d’OpenArt correspondant à l’OpenSource. Bien sûr, je comprends la différence : le code source n’est pas destiné au grand public et peut être caché si on le souhaite, alors que l’art ne le peut pas. C’est juste un sous-produit d’une réflexion générative
Si l’on entraîne des modèles sur ces images, j’ai l’impression que les modèles d’IA s’amélioreront en fait au lieu de se dégrader. Les artistes créent gratuitement des données d’entraînement qui indiquent quels types de bruit ne modifient pas le sens visuel qu’ils avaient en tête
Dans un avenir proche, un nombre incroyablement élevé de personnes pourront créer de l’art de haute qualité uniquement avec des outils prêts à l’emploi
C’est assez enthousiasmant. Donner à des milliards de personnes le pouvoir de mélanger leurs styles préférés, de les appliquer à de nouveaux sujets et de créer des œuvres uniques et personnalisées, c’est une capacité incroyablement cool
Les modèles d’IA s’effondrent d’eux-mêmes rien qu’en ingérant du contenu généré par IA. Il suffit de regarder l’effondrement des modèles lié à l’IA générative
Je voudrais des redevances progressives pour l’usage du droit d’auteur, de la propriété intellectuelle et des brevets, ainsi qu’une coopération et une législation des gouvernements du monde entier. Peut-être pourrait-on même permettre l’utilisation mondiale des œuvres sans autorisation préalable, mais n’allons pas jusqu’à ce genre d’idée farfelue
Il serait souhaitable d’appliquer des frais de licence extensibles, comme un pourcentage indexé sur le chiffre d’affaires. Il y a le problème indirect des marges bénéficiaires qui varient selon les secteurs, mais cela me semble malgré tout le plus équitable
J’aimerais que la durée du droit d’auteur détenu par des particuliers soit progressivement réduite, dans le monde entier ou d’abord dans l’UE, jusqu’à 0 an après la mort de l’auteur, et que celle du droit d’auteur détenu par des entreprises soit limitée à 20 ou 30 ans au maximum
Les sanctions contre les entreprises qui ne déclarent pas l’usage ou ne paient pas les redevances devraient être très élevées. Quelque chose comme 50 % de la marge brute annuelle ou 50 % du bénéfice net : pas une simple tape sur les doigts, quelque chose dont on ne puisse pas facilement se tirer, et qui incite à ne pas voler dès le départ
[*] Ou toute durée que la société juge appropriée
[**] Jusqu’à ce que la détection automatique devienne suffisamment bonne, pour le meilleur ou pour le pire
Je pense que cela permettrait d’autoriser les usages personnels, d’encourager les nouveaux entrants, de stimuler l’innovation et d’inciter des acteurs comme OpenAI à mieux se comporter
Que les droits expirent peu après la mort me met mal à l’aise, le fait que la durée du droit d’auteur varie fortement selon l’âge de l’auteur est également mauvais, et ce n’est pas souhaitable non plus que beaucoup d’œuvres restent protégées beaucoup trop longtemps
Il n’y a aucun problème à ce que le droit d’auteur expire du vivant de l’auteur. 20 à 30 ans pour tout devrait suffire
En voyant cette « solution », on dirait que le monde de l’art entre lui aussi dans le jeu du chat et de la souris que les bloqueurs de publicité mènent depuis 10 ou 20 ans
J’ai toujours le sentiment qu’il est clairement mal de parcourir Internet sans consentement pour aspirer des images et les utiliser dans une IA destinée à générer de l’argent. J’espère que davantage de moyens de protéger les œuvres d’art, y compris l’audio et d’autres formats, deviendront plus facilement accessibles
L’idée serait de faire en sorte qu’un modèle supplémentaire tente de tromper le modèle principal, afin de renforcer sa résistance aux filtres du type Nightshade
L’article ne montre pas que cette méthode abîme les détails de l’image. Il suffit de regarder la miniature de l’article de référence : https://arxiv.org/pdf/2310.13828.pdf
Et je suis peut-être naïf, mais cela semble assez facile à contourner avec un filtre de prétraitement rapide. Je ne sais pas si un débruitage classique suffirait, mais dans le pire des cas, il suffit de lancer une diffusion img2img.