- Annonce temporaire en attendant une discussion détaillée par l’équipe
- Globalement, le taux moyen de réponses exactes obtenues via ChatGPT est très faible, ce qui nuit au site (pour les utilisateurs qui cherchent des réponses correctes)
- Le problème majeur est que les réponses générées par ChatGPT ont un taux d’erreur élevé, mais paraissent généralement convaincantes, et qu’il est très facile d’en produire
- Si, après cette annonce, une réponse publiée est confirmée comme ayant été générée par ChatGPT, des sanctions seront appliquées afin d’empêcher la poursuite de sa publication, même si le contenu est par ailleurs licite
2 commentaires
Il y a effectivement quelques problèmes, comme le fait de répondre qu’une fonctionnalité inexistante existe, ou de fournir du code qui ne fonctionne pas. Mais quand on regarde vraiment les réponses générées, elles ont l’air vraiment très convaincantes, et c’est bien là le problème....
En entendant cette nouvelle, je suis allé sur Stack Overflow pour refaire, pour la première fois depuis longtemps, une revue des réponses de faible qualité...
J’y ai vu des réponses rédigées à rallonge, mais qui divaguaient bizarrement sur des points sans rapport avec la question.
Déjà, elles sont longues, mais le format habituel des réponses sur Stack Overflow est plutôt
réponse correcte (ou TL;DR) -> explication, donc quelque chose d’assez direct dès le début,
alors que les réponses suspectées d’être générées par ChatGPT étaient rédigées de manière beaucoup trop conversationnelle.
Et comme la question était longue, on voyait aussi qu’elles passaient à côté du point essentiel.
La question était du genre : « J’ai exécuté le même code Python sur Windows et Linux dans un système natif en dual boot, et Linux est bien plus lent. Les deux utilisaient Python 3.10.2. »
Mais la réponse disait en substance : « Dans un environnement VM, les performances peuvent varier, et comme les versions sont différentes, par exemple Python 2.7.8+, les performances peuvent aussi différer... »