Nightshade : un outil offensif pour les artistes face aux générateurs d’art par IA

Qu’est-ce que Nightshade ?

• Les modèles d’IA générative et ceux qui les entraînent ont montré leur capacité à utiliser des contenus en ligne pour l’entraînement des modèles.
• Les propriétaires de contenu et les créateurs disposent de très peu d’outils pour empêcher que leurs contenus soient utilisés comme données d’entraînement pour des modèles d’IA générative contre leur volonté.
• Nightshade est un outil qui transforme des images en échantillons de données inadaptés à l’entraînement des modèles, afin de dissuader les entraîneurs de modèles qui ignorent le droit d’auteur et récupèrent des données sans autorisation.

Fonctionnement et limites de Nightshade

• Nightshade transforme les images en échantillons « empoisonnés », poussant les modèles entraînés sans consentement à apprendre des comportements inattendus.
• L’outil ne vise pas à détruire les modèles, mais à augmenter le coût d’un entraînement sur des données sans licence afin que la concession de licences d’images auprès des créateurs devienne une alternative viable.
• Nightshade fonctionne de manière similaire à Glaze, conçu pour se défendre contre l’imitation de style, mais alors que Glaze est un outil défensif, Nightshade a été conçu comme un outil offensif qui déforme la représentation des caractéristiques au sein des modèles d’images par IA.

Nightshade vs Glaze

• Glaze est un outil défensif utilisé par des artistes individuels pour se protéger contre les attaques d’imitation de style.
• Nightshade est un outil offensif que les artistes peuvent utiliser collectivement pour perturber les modèles qui récupèrent des images sans consentement.
• Lorsqu’ils publient leurs œuvres en ligne, l’idéal pour les artistes est d’appliquer à la fois Glaze et Nightshade.

Risques et limites

• Les modifications apportées par Nightshade sont plus visibles sur les œuvres avec des aplats de couleur et des arrière-plans doux.
• Comme pour les attaques et défenses de sécurité, il est peu probable que Nightshade constitue une preuve durable à long terme.
• Nightshade a été conçu pour fonctionner sans réseau, de sorte qu’aucune donnée ni œuvre n’est transmise ni à nous ni à d’autres.

Nightshade et WebGlaze

• Nightshade v1.0 a été conçu comme un outil autonome et n’offre pas de fonctionnalités de défense contre l’imitation comme Glaze.
• Nous testons la manière dont Nightshade et Glaze fonctionnent ensemble et, lorsqu’ils seront prêts, nous prévoyons de proposer Nightshade comme fonctionnalité supplémentaire dans WebGlaze.

L’avis de GN⁺

• Nightshade est un outil innovant qui permet aux créateurs de protéger leurs droits d’auteur et d’adresser un avertissement aux entraîneurs de modèles d’IA qui utilisent des images sans autorisation.
• Cet outil peut avoir un impact positif sur l’écosystème de l’art numérique en dissuadant l’usage non autorisé des œuvres et en encourageant les accords de licence avec les titulaires de droits d’auteur.
• La combinaison de Nightshade et Glaze offre une nouvelle manière pour les artistes de partager leurs œuvres en ligne avec davantage de sécurité.

[GN⁺]

Commentaires Hacker News

• Lien vers l’article : arXiv:2310.13828
  • Cet article semble introduire des artefacts à un niveau que beaucoup d’artistes auraient du mal à accepter.
• Cette technique
  • a) fonctionne à peine avec les processus d’entraînement de la génération précédente,
  • b) ne fonctionne pas du tout avec les processus d’entraînement les plus récents (étiquetage GPT-4V, LLaVA, BLIP2, etc.).
  • c) même si elle devenait efficace et populaire, il serait probablement facile d’y remédier.
  • Le travail précédent des auteurs, Glaze, ne semble pas non plus efficace, et les résultats pourraient être surestimés par rapport à la réalité.
• Ces outils n’ont aucune chance de réussir sur le marché, et il existe des moyens de les contourner immédiatement sans affecter la perception humaine.
  • Si les artistes ou d’autres veulent empêcher l’utilisation de productions humaines pour l’entraînement, cela devra passer par des mesures juridiques.
  • Cela non plus n’est pas une solution parfaite, et cela pourrait même accélérer le développement de réseaux d’entraînement distribués.
• Cela ressemble à une « course aux armements » inutile ou à un « jeu du chat et de la souris ».
  • Les personnes qui ne tiennent pas compte de l’avis des artistes peuvent détruire les modifications subtiles de l’algorithme Nightshade via un post-traitement d’image.
  • À l’avenir, les tribunaux finiront probablement par se ranger du côté des artistes sous la pression sociale, et les artistes pourront contester des images générées « trop similaires » à leur style.
  • Ou bien les artistes pourraient renoncer à monétiser l’image elle-même et se concentrer uniquement sur la création d’œuvres physiques.
• Une expérience de fine-tuning de Stable Diffusion XL avec des images mauvaises/incohérentes montre qu’en utilisant ces images comme prompts négatifs, le modèle peut produire de meilleures images.
  • La création de tels jeux de données pourrait, paradoxalement, aider à améliorer les modèles d’art d’IA générative.
• Souhaite une mise en place progressive de frais pour l’usage du copyright/de la propriété intellectuelle/des brevets.
  • Par exemple, souhaite l’application de droits de licence calculés selon un pourcentage indexé sur les revenus.
  • Souhaite une durée de copyright de 0 an après la mort pour les personnes physiques, et de 20 à 30 ans maximum pour les entreprises.
  • Veut fixer des amendes très élevées pour les entreprises en cas de non-déclaration d’usage/non-paiement des frais afin d’éviter le vol.
• Souligne la contradiction entre le fait que des artistes regardent les œuvres d’autres artistes pour apprendre divers styles, et le fait de vouloir empêcher l’IA d’apprendre des styles à partir de leurs œuvres.
• Cela affaiblit la notion d’« exactitude de l’information » et reconnaît un jeu permanent d’attaque et de défense.
• Bientôt, beaucoup de gens pourront créer facilement des œuvres d’art de grande qualité, ce qui est une perspective très enthousiasmante.