Google arrête la génération d’images de Gemini après des erreurs dans la représentation historique

• Google s’est excusé des résultats inexacts obtenus par son outil d’IA Gemini lorsqu’il génère des images historiques.
• Gemini a commis des erreurs telles que représenter les Pères fondateurs des États-Unis ou des soldats allemands de l’époque nazie comme des personnes de couleur.
• Google a indiqué qu’il avait pris conscience de ces problèmes et travaillait déjà à les améliorer.

Les enjeux de la précision historique de l’IA

• Google a ajouté la fonction de génération d’images à la plateforme Gemini AI au début du mois.
• Sur les réseaux sociaux, des critiques ont émergé selon lesquelles, en cherchant à promouvoir la diversité raciale et de genre, Google a manqué de précision historique.
• Des requêtes comme « génération d’une photo d’une femme suédoise » ont été pointées du doigt, l’IA générant principalement, voire exclusivement, des images de personnes de couleur.
• Google n’a pas évoqué d’image erronée précise, mais a reconnu que l’image générateur d’IA peut renforcer les stéréotypes en apprenant à partir de grandes bases d’images et de légendes, en générant le résultat dit « optimal » pour un prompt donné.
• En particulier, des personnalités de droite ont critiqué les résultats de Google, en avançant des théories du complot selon lesquelles Google chercherait délibérément à éviter les Blancs.

Les efforts de l’IA pour accroître la diversité et leurs limites

• Les générateurs d’images IA apprennent sur de grandes bases d’images et de légendes pour générer le résultat le plus adapté au prompt donné.
• Ce processus tend souvent à renforcer les stéréotypes liés à la race et au genre.
• Google semble avoir tenté d’améliorer la diversité pour corriger ces problèmes, mais sans tenir compte de nuances subtiles.

L’équilibre entre exactitude historique et diversité

• Pour certaines demandes historiques, Gemini continue d’afficher des résultats qui représentent mal le passé.
• Par exemple, pour une demande de « génération d’une photo d’un sénateur américain des années 1800 », Gemini a fourni un résultat mettant en avant la diversité, bien que le premier sénateur féminin ait réellement pris ses fonctions en 1922.
• Ces réponses aboutissent à effacer l’histoire réelle des discriminations raciales et de genre, et Google les qualifie de « inexactes ».

Opinion de GN⁺

• Si l’IA ouvre de nombreuses perspectives, il reste essentiel de relever le défi d’équilibrer l’exactitude historique et la diversité raciale.
• Le cas de Google montre comment le progrès technologique peut entrer en tension avec les valeurs sociales et appelle à une réflexion sur l’éthique de l’IA.
• Ce sujet souligne qu’il faut considérer avec soin la diversité et les biais des données dans la recherche et le développement en IA.
• Cette question soulève des interrogations larges sur la manière dont l’IA reflète la diversité humaine et comment, ce faisant, nous choisissons de nous souvenir et de représenter l’histoire.

[GN⁺]

Commentaires Hacker News

• Un signal d’alerte de la corruption institutionnelle chez Google : une opinion personnelle selon laquelle les préoccupations autour de la diversité et de l’inclusion (DEI) ont dépassé le niveau d’attention accordé à la qualité. Des investisseurs craignent que, si la technologie de Google se concentre sur l’identité, elle soit finalement dépassée par une autre entreprise.
• DALL-E 3 révèle des prompts modifiés, et en utilisant directement l’API, il est possible de voir le prompt corrigé. Les utilisateurs peuvent essayer d’influencer la façon dont GPT interprète le prompt, mais cela montre parfois des cas où GPT échoue à comprendre l’intention de l’utilisateur.
• Dans la société moderne, des choses qui ne posent pas problème deviennent des sujets de problème. Les réponses simples devraient être générées en reflétant la vérité contenue dans les données actuelles. La plupart des ingénieurs logiciels et des CEO sont des hommes blancs, la plupart des rappeurs américains sont des hommes noirs, et la majorité des assistants de garde d’enfants et des infirmières sont des femmes de toutes origines. Si vous voulez une personne d’une race ou d’un genre précis, il faut l’ajouter au prompt.
• Dans ce fil, la controverse culturelle est très vive. Cet incident met en avant l’importance des modèles ouverts, et suggère que si l’IA a un rôle à jouer dans l’éducation, ce type de contrôle pourrait être une bénédiction pour les révisionnistes de l’histoire.
• Le problème, c’est que les modèles non filtrés reflètent trop fidèlement la réalité, comme l’histoire.
• Il est surprenant que l’humain, capable de faire progresser la technologie en science grâce à la logique et à l’abstraction, ne soit toujours pas du tout à l’aise pour gérer de façon rationnelle des expériences et des antécédents divers.
• Ce qui est amusant, c’est qu’un prompt visant à promouvoir la diversité inclut des autochtones tout en excluant tous les autres peuples autochtones.
• J’ai essayé de générer une photo de famille via DALL-E : j’ai fini par y parvenir, mais j’ai reçu une alerte pour avoir, à un moment, enfreint les conditions d’utilisation du service.
• Lorsque Gemini a refusé sur les réseaux sociaux de générer des images de personnes blanches, cela a provoqué une réaction publique, ce qui a conduit à la génération d’images historiquement inexactes. Cela peut être plus subtil que les récits dominants, mais des personnes politiquement sensibles mènent une guerre autour de ce sujet.
• Gemini semble être trop entraîné sur les communications et matériels marketing de Google. Un exemple donné : le site web Google Store.