La nécessité de rendre publics les garde-fous comportementaux de l’IA

• Le tweet de John Carmack, développeur de Doom et ancien CTO d'Oculus

  « Les garde-fous comportementaux de l’IA, définis par le prompt engineering et le filtrage, doivent être rendus publics, et les créateurs devraient fièrement montrer leur vision de ce qui est le mieux pour la société ainsi que la manière dont ils l’ont concrétisée en commandes et en code.
  Il me semble que beaucoup de gens en ont honte.
  Bien sûr, des milliers de petits nudges encodés par l’apprentissage par renforcement via le feedback humain offrent une possibilité d’effets négatifs bien plus crédible. »

[GN⁺]

Avis de Hacker News

• Google, après avoir été critiqué notamment pour avoir confondu des personnes noires avec des gorilles dans un modèle de reconnaissance d'images, semble avoir tenté de refléter de manière excessive la diversité dans ses systèmes de génération d'images.
• Je n'ai jamais été impliqué directement dans une modération de contenu à grande échelle, mais je suppose que les règles automatisées ne sont généralement pas rendues publiques parce qu'une forme de « cryptage » est nécessaire pour la sécurité. Si, par exemple, une liste de mots interdits était publiée, les gens pourraient facilement trouver des façons d'exprimer des contenus problématiques avec des mots qui n'y figurent pas. Cela dit, il ne semble pas y avoir de meilleure approche pour l'instant.
• Gemini a des problèmes avec la génération de personnages blancs, ce qui peut provoquer des problèmes de racisme encore plus prononcés. Les efforts en faveur de la DEI (diversité, équité, inclusion) peuvent au contraire conduire à l'échec.
• Les garde-fous de Gemini sont extrêmement frustrants et bloquent les utilisateurs à plusieurs reprises même sur des prompts inoffensifs. ChatGPT connaît aussi ce problème mais pas autant que Gemini. J'espère que grâce aux retours, les garde-fous seront un peu assouplis, mais j'ai l'impression que ce sera la norme à court terme.
• Il est facile d'exécuter localement des LLMs (grands modèles de langage) et Stable Diffusion, et de les faire fonctionner selon les demandes de l'utilisateur. Avec un ordinateur suffisamment puissant, cela peut être plus rapide qu'OpenAI ou Gemini. LM Studio et AUTOMATIC1111 facilitent grandement l'exécution locale, respectivement, des LLMs et de Stable Diffusion.
• La censure n'est efficace que lorsque l'on ne sait pas ce qui est censuré. Le contenu censuré raconte déjà l'histoire.
• J'aimerais voir davantage de transparence sur les garde-fous de comportement de l'IA, mais je n'attends pas que ce soit imminent. La transparence rendrait beaucoup plus facile de contourner ces garde-fous.
• Google a choisi la voie la plus sûre, sachant que les gens se mettraient en colère si un homme blanc était généré lorsqu'ils demandaient une femme noire, mais il faut aussi montrer que le résultat actuel n'est pas acceptable.
• Je me demande quelle est la localisation géographique et la langue utilisée par l'équipe qui a rédigé ces garde-fous. Les résultats ont tendance à générer principalement des Sud-Asiatiques (en particulier des femmes sud-asiatiques) et des personnes noires, tandis que les Latinos sont presque absents. Ce serait une grande lacune pour une équipe basée aux États-Unis, mais les stéréotypes des autochtones ou des Est-Asiatiques apparaissent parfois.
• Ça peut vous nuire. L'objectif est justement de ne pas vous nuire. Mais on ne sait pas vraiment de quelle façon cela pourrait faire mal, ni comment se protéger.