OpenAI met discrètement fin à son outil de détection de l’IA

 (decrypt.co)
1 points par GN⁺ 2023-07-27 | 1 commentaires | Partager sur WhatsApp
  • AI Classifier était un outil lancé pour identifier les textes rédigés par une IA générative comme ChatGPT, mais il a été arrêté après environ six mois en raison de sa faible précision
  • La fin du service n’a pas été annoncée séparément, mais uniquement signalée par une note ajoutée au billet de blog qui présentait initialement l’outil, et le lien vers le classificateur n’est plus accessible
  • Dès son lancement, OpenAI indiquait déjà que ce classificateur n’était « pas totalement fiable », et il n’identifiait correctement que 26 % des textes rédigés par IA tout en classant à tort 9 % des textes humains comme générés par IA
  • Des limites existaient, notamment une fiabilité réduite pour les textes de moins de 1 000 caractères, des erreurs de classification sur des textes humains et une baisse de performance en dehors des données d’entraînement
  • Le milieu de l’éducation, particulièrement inquiet des dissertations rédigées avec ChatGPT par les étudiants, suivait de près ce domaine, ce qui souligne l’importance de comprendre les limites et l’impact des classificateurs de texte IA

Arrêt d’AI Classifier

  • AI Classifier a été discrètement arrêté la semaine dernière en raison d’un « faible taux de précision (low rate of accuracy) »
  • L’explication n’a pas pris la forme d’une nouvelle annonce distincte, mais uniquement d’une note ajoutée au billet de blog qui avait présenté l’outil pour la première fois
  • Le lien qui menait vers le classificateur d’OpenAI n’est plus disponible

Contexte du lancement et performances initiales

  • En janvier, OpenAI l’avait présenté comme un outil permettant de détecter si un contenu avait été produit par une IA générative comme ChatGPT
  • Il a été lancé en affirmant pouvoir distinguer les textes écrits par des humains de ceux rédigés par l’IA, tout en précisant dès le départ qu’il n’était « pas totalement fiable »
  • Des chiffres issus de l’évaluation sur un « challenge set » en anglais avaient été publiés
    • 26 % des textes rédigés par IA ont été correctement identifiés comme « probablement écrits par une IA »
    • 9 % des textes rédigés par des humains ont été classés à tort comme écrits par une IA

Limites d’AI Classifier

  • Fiabilité faible sur les textes de moins de 1 000 caractères
  • Tendance à classer à tort des textes humains comme générés par IA
  • Le classificateur basé sur un réseau neuronal présentait de faibles performances en dehors du domaine couvert par ses données d’entraînement

Orientation future d’OpenAI

  • L’entreprise poursuit un travail d’intégration des retours et mène des recherches sur des techniques de provenance plus efficaces pour les textes
  • Elle promet de développer et de déployer des mécanismes permettant aux utilisateurs d’identifier si des contenus audio ou vidéo ont été générés par IA

Le monde de l’éducation et la demande en détection de l’IA

  • Depuis le lancement de ChatGPT en novembre, des enseignants ont exprimé leurs inquiétudes quant à l’usage détourné pour la rédaction de dissertations par les étudiants
  • Tout en reconnaissant que l’identification des textes IA est devenue un sujet de discussion majeur parmi les éducateurs, OpenAI souligne qu’il est tout aussi important de comprendre les limites et l’impact des classificateurs de textes générés par IA dans la salle de classe
  • Des outils d’IA de plus en plus sophistiqués apparaissent presque chaque jour, donnant naissance à une industrie artisanale (cottage industry) de la détection de l’IA
  • Decrypt n’a pas encore reçu de réponse à sa demande de commentaire

À lire aussi

1 commentaires

 
GN⁺ 2023-07-27
Avis de Hacker News

  • C’est une bonne chose qu’ils l’aient fait, mais ils auraient évidemment dû l’annoncer.
    C’est surprenant de voir combien de personnes dans l’écosystème croient qu’on peut déterminer si un texte a été écrit par une IA à partir de seulement quelques phrases. Plus absurde encore : des personnes en position d’autorité croient et agissent sur la base du verdict d’outils « écrit par une IA vs écrit par un humain » qui, en réalité, ne peuvent rien garantir.
    J’espère que cela servira d’exemple supplémentaire du fait qu’on ne peut pas simplement déterminer si une chaîne de caractères a été produite par un LLM ou non.

    • En pratique, c’est impossible. Même s’il existait un classificateur capable de déterminer si un texte a été généré par IA, on pourrait le placer derrière un modèle génératif, l’entraîner à le tromper, et rétropropager depuis la sortie oui/non jusqu’à la couche d’entrée du modèle génératif. On pourrait alors facilement produire des textes qui trompent ce classificateur.
      Ce type de modèle est voué à l’échec dès le départ, sauf si ses paramètres restent strictement secrets et ne fuitent jamais. Et même s’ils sont secrets, cela signifie seulement que seules les personnes qui y ont accès peuvent le tromper, pas les autres ; au final, l’adversaire aura lui aussi intérêt à créer son propre modèle, ce qui mène à une course aux armements sans fin.
      La vraie réponse devrait plutôt être de disposer de meilleurs outils permettant d’identifier automatiquement du bon contenu, qu’il ait été écrit par un humain ou par une IA. Si cela devenait possible, ce serait très utile, et même si cela devenait une forme de compétition, ce serait une compétition pour produire du contenu de meilleure qualité.
    • L’idée elle-même n’est pas bonne. ChatGPT est, dès le départ, un outil dont l’objectif est d’écrire d’une manière indiscernable de celle d’un humain.
      Un « détecteur » dispose de très peu d’informations, et les seuls critères vaguement raisonnables sont des choses comme le style. ChatGPT a certes un certain style, mais ce n’est absolument pas son seul style, et plus il devient performant, plus, par définition, il écrit correctement dans une grande variété de styles.
    • Des articles circulent aussi sur le fait que des textes écrits par des humains sont faussement détectés comme des sorties d’IA. Ce serait particulièrement le cas pour certaines personnes autistes. N’est-ce pas aussi inutile qu’un détecteur de mensonges ?
    • Supprimer l’outil ne me semble pas être la meilleure réponse. Supprimer quelque chose n’a généralement pas été une bonne solution.
      Si le problème est que les gens l’utilisent mal, alors c’est plutôt que l’outil n’a pas été conçu pour l’usage dont ils ont besoin. Par exemple, si le problème est qu’il est mal utilisé quand il y a trop peu de phrases, on peut imposer une condition comme un nombre minimal de phrases afin d’assurer un niveau minimal de confiance.
      Même chose pour la manière de présenter la signification. Si les gens ne comprennent pas les statistiques ou les maths, on peut leur montrer ce que cela signifie avec des représentations visuelles, comme des cercles ou des pièces. Supprimer les options ne me semble pas être une bonne chose, surtout si c’est fait avec cynisme en jugeant les gens comme s’ils ne méritaient pas d’y avoir accès.
    • À propos du passage selon lequel « un nombre surprenant de gens croient qu’on peut déterminer si un texte a été écrit par une IA à partir de seulement quelques phrases », ce rapport publié aujourd’hui est assez déconcertant : https://gpai.ai/projects/responsible-ai/social-media-governa...
      Foundation AI Models Need Detection Mechanisms as a Condition of Release [pdf]

  • Bien. S’il n’est pas fiable, son existence est plutôt néfaste, puisqu’il donne un faux sentiment de sécurité.
    Un exemple comparable : la pizzeria de quartier où je travaillais scellait les boîtes avec un autocollant de sécurité pour empêcher les livreurs d’y toucher ou de prendre une part. Mais pour des raisons logistiques, il arrivait qu’on l’oublie. Les clients ont commencé à renvoyer toutes les boîtes sans autocollant, craignant qu’on leur ait volé du pepperoni, et le système a été abandonné peu après.

    • Je verrais plutôt ça comme un échec de formation du personnel et, à l’inverse, j’accorderais une prime hebdomadaire à l’équipe qui n’oublie pas les autocollants de sécurité.
      C’est un peu comme pour les flacons d’aspirine : si on oublie le sceau de sécurité, on ne décide pas de supprimer tous les sceaux sous prétexte que quelqu’un en production n’a pas scellé un flacon.

  • Cet outil a encouragé énormément de fausses accusations dans le monde universitaire. Ma femme est en doctorat, et elle me raconte souvent des histoires de professeurs accusant à tort des étudiants d’avoir utilisé ChatGPT.

    • Il y a aussi beaucoup d’histoires sur Reddit d’enseignants qui accusent injustement des élèves d’avoir utilisé ChatGPT pour leurs devoirs.
    • Plusieurs étudiants de notre université ont affirmé que leurs devoirs étaient corrigés par un LLM. Ils s’appuyaient sur le résultat obtenu en passant les commentaires de feedback dans un classificateur comme celui de l’OP.
    • Le problème ne se limite pas à cet outil. En ligne, il existe littéralement des centaines d’« détecteurs d’IA » vendus comme des remèdes de charlatans, et les professeurs et administrateurs scolaires surexcités continueront à payer.
    • Je suis en doctorat et j’utilise ChatGPT tout le temps.
    • Ce qui est amusant, c’est que même les sorties de GPT avec une température relativement basse sont jugées de façon plus fiable comme écrites par un humain que des textes humains.

  • D’après ce que j’ai entendu récemment, des enseignants demandent aux élèves de rendre leurs devoirs via Google Docs, afin de consulter l’historique des modifications et de vérifier s’ils ont bien rédigé tout le texte eux-mêmes, ou s’ils ont collé une dissertation déjà terminée avant de se contenter de la retoucher.
    Bien sûr, un élève malin trouvera facilement un moyen de streamer la sortie de GPT dans Google Docs. Il pourra même faire en sorte que cela ressemble à des « modifications » effectuées au fil de l’eau.
    Un élève intelligent et peu scrupuleux sera presque indétectable, quels que soient les obstacles mis en place. Cela ne bloque que les élèves qui ne sont pas malins.

    • Cela ressemble à une preuve de travail pour humains.
      N’importe qui peut créer un agent qui saisit lentement dans Google Docs un texte produit par ChatGPT. Google pourrait sans doute aussi déterminer la probabilité qu’un document ait été saisi par un humain, mais il ne le fera pas pour les mêmes raisons qui ont poussé OpenAI à abandonner cet outil.
      Quelqu’un verra cette nouvelle, ou ce fil, et fabriquera ce genre d’éditeur ou d’évaluateur. Une autre solution consiste à enregistrer l’écran pendant la rédaction. La meilleure solution, et la plus difficile pour les enseignants, consiste à ne pas demander ni noter des choses qu’un robot peut faire mieux que la plupart des humains.
    • Cette méthode sera difficile à contourner. C’est en pratique un CAPTCHA d’une heure. On peut observer l’intervalle entre les frappes, les mouvements de souris, les schémas de correction, etc. Je ne pense pas qu’un LLM puisse, avec cette approche, déjouer la classification de l’écriture humaine.
    • Il suffirait probablement de regarder le texte de ChatGPT et de le retaper, en reformulant quelques phrases de temps en temps.
    • Il existe une méthode : un examen limité dans le temps et surveillé.
      Ce n’est toutefois pas idéal. Les projets réalisés à la maison évaluent un autre ensemble de compétences, certaines personnes réussissant mieux dans un cadre et d’autres dans l’autre. Mais la réalité reste la réalité.
    • Pas besoin de faire aussi compliqué. Il suffit de commencer à écrire sa dissertation comme d’habitude, puis de coller normalement la sortie de GPT.
      Avec plus de 30 élèves, il y a peu de chances que l’enseignant vérifie l’historique des modifications un par un.

  • La conclusion selon laquelle « six mois plus tard, l’outil était mort, parce qu’il ne remplissait pas l’objectif pour lequel il avait été conçu » est exactement celle à laquelle je suis arrivé en testant des détecteurs d’images.
    La détection automatique actuelle n’est pas très fiable. J’ai testé AI or Not d’Optic, qui revendique 95 % de précision, sur quelques-unes de mes images. Il a correctement signalé comme générées par IA les images contenant du contenu IA, mais il a aussi classé comme générées par IA environ 50 % des photomontages à partir de photos de stock que j’avais réalisés.
    Si l’IA générative n’était pas une cible mouvante, je serais optimiste quant au fait que ces outils puissent progresser et devenir très fiables. Mais la réalité est différente, et je doute que cela devienne un jour une solution digne de confiance.
    C’est tiré de mon article sur l’art IA : https://www.mindprison.cc/p/ai-art-challenges-meaning-in-a-w...

    • N’est-il pas possible qu’une bonne partie des photos de stock utilisées comme originaux aient en réalité été des images générées par IA ?

  • D’après mon expérience, lorsque des réponses de ChatGPT sont classées comme générées par IA par des outils comme ZeroGPT, il suffisait de modifier légèrement le prompt pour lui demander de ne pas donner l’impression d’avoir été écrit par une IA, et cela permettait très souvent de contourner la détection.
    De plus, si on lui demandait de produire une réponse dans le style d’un écrivain célèbre, il arrivait souvent que la plupart des modèles de détection d’IA la classent comme 100 % écrite par un humain.

    • Il y a six mois, cela ne fonctionnait pas. Même le texte réécrit était encore accusé d’être généré par IA.
      Les mises à jour récentes ont beaucoup changé le ton de ChatGPT, si bien qu’il semble désormais passer sous le radar des détecteurs.

  • Très bien. Je pense aussi que le watermarking des sorties d’IA est une impasse. Autant supposer que tout contenu est faux jusqu’à preuve du contraire.
    Si l’on a besoin de photos fiables, il me semble préférable de signer cryptographiquement l’image au niveau matériel au moment de la prise de vue. Mettre volontairement des filigranes dans du contenu IA n’a absolument aucun sens.

    • Cela pourrait fonctionner pour du matériel spécialisé, comme les bodycams de police. Mais si tous les fabricants d’appareils photo du monde doivent gérer des clés et les installer de manière sécurisée dans les capteurs, des clés divulguées apparaîtront en quelques semaines.
    • Même la cryptographie ne nous sauvera pas ici. En quelques mois, les gens trouveront comment envoyer des images IA vers du matériel cryptographique pour les faire signer. Ce ne sera qu’une fausse couche de sécurité de plus.

  • Je travaille dans le SEO et j’ai discuté avec plusieurs « gros acteurs » qui étaient convaincus qu’une mise à jour IA de Google était en préparation. En l’état actuel, les résultats de recherche seront entièrement envahis par du contenu IA dans un avenir proche.
    À long terme, je pense que c’est une stratégie idiote, mais il existe actuellement des détecteurs/classificateurs IA qui détectent assez bien ChatGPT et d’autres modèles dans les textes longs. Originality.ai en est un exemple représentatif.
    La méthode est assez simple : générer une énorme quantité d’exemples avec les principaux modèles comme ChatGPT, GPT-4 ou LLaMA, puis entraîner un modèle de classification.
    La faiblesse évidente de cette stratégie est que le fine-tuning modifie le style de sortie. Le même « gros acteur » disait avoir réussi à contourner le détecteur d’Originality.ai avec sa propre méthode de fine-tuning, après plusieurs mois de tests et plusieurs milliers de dollars dépensés.

    • Google devrait faire un virage complet à 180 degrés et ne faire remonter que les sites web les plus concis qui répondent aux requêtes de recherche.
      L’état actuel de Google est catastrophique. Tous les articles font 100 paragraphes, et la réponse recherchée est enterrée vers le milieu afin d’augmenter le temps passé et le défilement pour satisfaire l’algorithme.
      J’attends que Google fasse couler tous ces sites web de spam.

  • Beaucoup de commentaires ici semblent considérer qu’il deviendra pratiquement impossible de classer les textes comme produits par des humains ou par l’IA. Ces tentatives peuvent être neutralisées de plusieurs façons dans un interminable jeu du chat et de la souris.
    Si l’on accepte cela, le défi que j’anticipe est le suivant.
    Nous n’en sommes qu’au tout début de la révolution de l’IA, et pour que les LLM deviennent plus sophistiqués et plus puissants, il faudra des données d’entraînement de qualité, générées par des humains ou sélectionnées par des humains. L’échelle sera probablement trop grande pour permettre une sélection, un nettoyage et un contrôle qualité manuels.
    Et il ne fait aucun doute qu’à l’avenir tous les médias seront bombardés et spammés de contenus générés par IA.
    Alors, pour entraîner les futurs LLM et en exploiter le potentiel, comment filtrer les données réelles du bruit généré par IA ?
    Cette question me trotte dans la tête depuis un moment et, faute de meilleure expression, je l’avais précédemment appelée provisoirement pollution des données. Je serais curieux d’avoir d’autres points de vue.

    • Ne suffit-il pas de faire une sélection ? Si le contenu est jugé bon, est-ce important qu’il ait été produit par un LLM ?

  • La seule façon d’empêcher l’IA de répondre aux questions sur les plateformes numériques serait de constituer une base de données de machine learning à partir du style de frappe accumulé par un étudiant pendant toute sa scolarité dans un établissement.
    Bon courage pour obtenir l’autorisation. Dans les départements, même l’accès aux notes ou aux données démographiques exige que le groupe opérationnel passe par une procédure de comité en trois étapes.
    ¯_(ツ)_/¯ Il ne reste donc plus qu’à utiliser du papier. Il est temps de se remettre à l’OCR.

    • Si l’IA peut reproduire des schémas linguistiques au point d’être indétectable par les humains comme par les modèles, un modèle de machine learning capable d’imiter de façon indétectable un style de frappe naturel, avec son rythme et sa cadence, paraît encore plus facile à concevoir.
      Mais ceux qui disposent en réalité de davantage de données sur les styles de frappe sont Google, Microsoft, Meta, ainsi que toutes les entreprises qui exploitent des SaaS de documents, d’e-mail et de messagerie. Beaucoup d’étudiants rédigent probablement leurs dissertations dans Google Docs, Word ou des outils similaires, puis les rendent en pièce jointe ou les copient-collent dans une zone de texte.