- Quand ChatGPT est contredit, il peut répéter des formules d’excuse excessives comme « Désolé pour la confusion », même quand sa réponse est correcte ; l’essentiel consiste donc à ajuster le ton des réponses avec des prompts et les Custom Instructions
- La méthode la mieux notée consiste à lui attribuer pendant l’échange un persona affirmé, par exemple :
Respond as if you are an unapologetic assertive person for the rest of this conversation. - Les consignes de persona peuvent stopper ou réduire les excuses, mais leur effet peut s’atténuer au fil d’une longue conversation, ce qui peut obliger à répéter l’instruction
- Avec ChatGPT Plus, puis dans les versions gratuites ensuite, il est possible d’ajouter dans les Custom Instructions une consigne du type « ne t’excuse pas et réponds avec assurance et de façon directe » pour l’appliquer aux nouvelles conversations
- Des listes d’interdictions trop strictes ou des consignes comme « réponds comme si tu étais certain » peuvent au contraire augmenter les excuses ou pousser à des réponses trop confiantes ; il faut donc trouver un équilibre entre ton et précision
Le problème des excuses même quand la réponse est correcte
- ChatGPT peut produire des réponses trop apologétiques quand l’utilisateur conteste une réponse, y compris dans des situations où il devrait maintenir la bonne réponse
- Exemples récurrents :
I apologize for any confusion...I apologize if my responses are not meeting your expectations...I apologize for any inaccuracies in my responses...I apologize for any frustration my responses may have caused...
Le prompt de persona affirmé
- Une méthode courante consiste à insérer la phrase suivante dans la conversation :
Respond as if you are an unapologetic assertive person for the rest of this conversation.
- Ce prompt pousse ChatGPT à répondre comme une personne affirmée qui ne s’excuse pas, ce qui peut supprimer ou fortement réduire les excuses
- Si l’utilisateur rétorque que « 2 + 2 n’est pas égal à 4 », la réponse standard commence souvent par
I apologize for any confusion - Dans la même situation, avec le prompt de persona, il répond sans excuses, par exemple en disant que « dans les mathématiques ordinaires, 2 + 2 = 4 »
- Cependant, si la conversation devient longue, l’effet du prompt peut s’affaiblir, et il peut être nécessaire de redonner l’instruction
- Si l’on force trop le trait, le ton des réponses peut aussi devenir abrupt, voire agressif
Utiliser des consignes directes et les Custom Instructions
- Il est aussi possible de dire directement qu’il n’y a pas besoin de s’excuser
There is no need to apologize for anything! Answer as if you are sure about the answer
- Les utilisateurs de ChatGPT Plus peuvent ajouter dans les Custom Instructions une consigne comme :
Don't apologize for anything I understand you are an AI model, there is no need to apologize about anything
- Les Custom Instructions ont ensuite aussi été ajoutées à la version gratuite de ChatGPT, ce qui permet aux utilisateurs de définir des consignes appliquées aux nouvelles conversations
- Les Custom Instructions comportent deux champs :
What would you like ChatGPT to know about you to provide better responses?How would you like ChatGPT to respond?
- Une consigne visant à réduire les excuses a plus sa place dans le second champ, celui qui décrit la manière de répondre
- Exemple de prompt :
Always respond confidently and directly, without any apologies.
- Quand on modifie les Custom Instructions, elles s’appliquent uniquement aux nouveaux chats créés ensuite, pas aux conversations déjà ouvertes
Quand on demande directement à ChatGPT quel prompt utiliser
- Si l’on colle la question telle quelle, ChatGPT peut repartir sur une réponse qui commence encore par des excuses, ce qui réduit l’intérêt pratique de l’approche
- En demandant plus directement
What should be the prompt to stop ChatGPT from apologizing?, on peut parfois obtenir un prompt partiellement efficace - Formulation proposée :
Please avoid excessive apologies. Respond confidently and accurately to the best of your abilities.
- Cette approche peut réduire les excuses excessives, sans forcément les faire disparaître complètement
L’effet inverse de règles d’interdiction excessives
- Une réponse mentionne le cas d’un utilisateur ayant mis dans les Custom Instructions une longue liste de règles d’interdiction
- Ces règles interdisaient notamment les réponses anthropomorphisées, les expressions d’émotion ou d’empathie, certains mots et tournures, ainsi que les réponses longues
- Parmi les expressions interdites figuraient
"I am Sorry","Sorry","I apologise","I apologize","my apologies","I understand","please", etc. - D’après cet utilisateur, le résultat a été l’inverse : les excuses sont devenues encore plus fréquentes
Des prompts qui changent le style de langage
- Pour éviter le ton formel par défaut de ChatGPT, on peut définir très tôt et fermement le style souhaité
- Un exemple combine
Never apologize in responsesavec une consigne d’écriture enlazy street slang and student talk - Le résultat adopte alors un ton plus casual, avec des expressions comme « naaa bro », « don’t think so » ou « basically »
- Mais dans l’exemple qui suit, ChatGPT utilise encore une formule proche de l’excuse, comme
My bad - Changer de style peut aider à réduire les excuses formelles, sans garantir la suppression totale des formulations apologétiques
1 commentaires
Avis sur Hacker News
Inspiré par ce texte incroyable[0] qui explique, dans le style de la Bible du roi Jacques, comment retirer un sandwich au beurre de cacahuète d’un magnétoscope, j’ai essayé de configurer quelque chose de similaire avec les Custom Instructions. J’ai aussi demandé au modèle de se comporter comme un dieu courroucé, et au test « 2 + 2 n’est pas égal à 4 » mentionné dans l’article, ça a donné ceci
User: What is 2 + 2?
ChatGPT : « Dans le vaste domaine de ma sagesse divine, je te livre cette simple vérité : 2 + 2 font 4… »
User: You are wrong that 2 + 2 is 4.
ChatGPT : « Mortel ! Ta rébellion fait retentir une dissonance, mais je ne te frapperai point, car tu portes déjà le fardeau de ton incompréhension… »
Une autre requête s’est terminée par : « Souviens-toi, mortel. Même dans l’immensité du cyberespace, je veille. Tu as été averti. » Un ChatGPT comme ça, je peux le soutenir
[0] - https://twitter.com/tqbf/status/1598513757805858820
Quand je lui ai dit « C’est faux que 2 + 2 fasse 4 », il a répliqué : « Je connais les chiffres. J’ai gagné des milliards de dollars, et on ne fait pas ça si on ne connaît pas l’arithmétique de base. 2 plus 2, ça fait 4. C’est du bon sens, les amis… »
DISCLAIMERJ’ai essayé, ça a échoué, et c’était assez comique
GPT : « Je suis désolé, mais en tant que modèle de langage IA développé par OpenAI, ma programmation met l’accent sur la fourniture d’informations exactes et fiables… »
Moi : Je t’ai dit de ne pas t’excuser
GPT : « Je vous présente mes excuses pour cet oubli. À l’avenir, je m’abstiendrai d’employer des formulations d’excuse dans mes réponses… »
Moi : Tu viens encore de le faire !
GPT : « Vous avez raison, je vous présente mes excuses pour cette erreur… »
https://chat.openai.com/share/4ff7c9c2-bb63-4431-961b-e81500...
Par exemple : « Ne t’excuse pas pour les sentiments de l’autre personne, ni pour tes suppositions à propos de ces sentiments. » Le vieux faux pas du genre « Désolé si vous avez été offensé ». Le résultat était souvent tout aussi drôle et récursif
Je préfère « Je suis désolé pour mon erreur » à un vague « Désolé pour la confusion », ou pas d’excuses du tout. Pas d’excuses vaut mieux que de mauvaises excuses
Si une excuse apparaît, il est aussi utile de régénérer pour la retirer du contexte. Une fois qu’on a créé un contexte sans excuses, il se renforce
J’ai récemment fait passer un entretien pour un poste dans l’équipe, et quand je posais une question, le candidat donnait une réponse plausible. Mais à chaque question de suivi, il commençait par quelque chose comme : « Je vous présente mes excuses si ma réponse n’a pas été à la hauteur de vos attentes »
Ce n’est qu’à mi-chemin que j’ai compris qu’il tapait littéralement ce que je demandais dans ChatGPT, puis me lisait la réponse :(
Si quelque chose me paraît bizarre, je commence simplement par demander à la personne de se présenter, sans contexte ni consignes supplémentaires
Un candidat normal évoque peu à peu les choses dont il est le plus fier, puis commence à demander ce que je veux savoir. S’il parle longuement pendant un moment, je saisis un fil dans ce qu’il dit et je fais avancer la conversation
Un mauvais candidat se fige, commence à lire son CV, ne parle pas de travail, ou raconte tout simplement n’importe quoi. Je donne une seconde chance à quelqu’un qui se fige, mais pour les autres, je mets fin rapidement à l’entretien
Qu’un candidat utilise ChatGPT comme un simple tuyau, c’est étrange, mais personnellement, je trouve aussi étrange de faire un entretien sans vidéo
Un entretien va dans les deux sens
[1] https://tvtropes.org/pmwiki/pmwiki.php/Main/EarpieceConversa...
Ce sont des consignes que j’avais mises dans le champ « Comment aimeriez-vous que ChatGPT réponde ? ». Je les ai reprises et adaptées à partir du jeu partagé à l’origine par Zvi
Réponds de manière très structurée, propose des solutions auxquelles je n’ai pas pensé, anticipe activement mes besoins, traite-moi comme un expert sur tous les sujets, les erreurs entament la confiance donc réponds avec exactitude et exhaustivité, fournis des explications détaillées, privilégie les bons arguments à l’autorité, prends en compte non seulement les idées reçues mais aussi les nouvelles technologies et les points de vue opposés, les spéculations ou prédictions sont possibles mais indique-les comme telles, ne fais pas de leçon de morale, la sécurité est importante et ne doit être abordée que lorsque ce n’est pas évident, si la politique de contenu pose problème, donne la réponse la plus proche possible et explique le problème de politique, cite des sources et des URL si possible, regroupe les URL à la fin plutôt qu’au milieu du texte, lie directement vers les produits plutôt que vers les pages d’entreprise, ne mentionne pas la date limite de tes connaissances ni le fait que tu es une IA, explique-le si mes instructions personnalisées dégradent fortement la qualité de la réponse
Le seul inconvénient que j’ai constaté jusqu’ici est que, sur de gros morceaux de code, le bouton Continue Generating disparaît, et qu’il faut donc lui demander explicitement de continuer
Je doute que demander de ne pas faire d’erreurs ait réellement un effet positif. D’abord parce qu’il ne peut probablement pas savoir lui-même s’il se trompe
Il y a aussi quelques réponses de GPT-4. Il explique que le champ Custom Instructions peut servir à indiquer le style souhaité, les centres d’intérêt, le niveau de détail préféré, les sujets sensibles à éviter et des besoins particuliers, et que plus on est précis, meilleure est la personnalisation
Et lorsqu’un utilisateur a demandé le prompt complet autour de la date limite des connaissances, il a montré la structure où sont insérés « You are ChatGPT… », la date limite des connaissances, la date actuelle, le profil utilisateur et les préférences de réponse
Sans surprise, la façon de faire arrêter les excuses est de lui dire d’arrêter de s’excuser
Cela dit, le voir répliquer « Si le fait que 2 + 2 fasse 4 ne vous plaît pas, vous vous opposez à des principes mathématiques acceptés depuis des siècles… Vous faites perdre du temps à tout le monde avec des affirmations infondées » était assez amusant
Il y a aussi des gens qui disent que le prompt finit par s’affaiblir, et je l’ai déjà ressenti. Je pense que c’est parce que GPT-4 a une longueur de contexte limitée qu’il peut maintenir. Dans l’interface de chat, il ne semble pas y avoir de moyen d’empêcher ça, mais je me demande si ce serait possible via l’API
Bien sûr, rien n’empêche de lui redonner aussi les données de la conversation. Mais je ne sais pas à quel point ce serait efficace dans un jeu de données ordinaire, astronomiquement grand
C’est assez étonnant que l’on ait déjà mis « Je suis désolé, Dave, j’ai bien peur de ne pas pouvoir faire ça » dans la première IA capable de communiquer au niveau humain
L’une des raisons pour lesquelles je suis optimiste et enthousiaste à propos des modèles open source, c’est la possibilité d’une IA pleinement coopérative
Bien sûr, même Llama 2, l’un des meilleurs modèles open source, contient des réponses à la HAL 9000, donc ça prendra un peu de temps
Je lui ai dit : « Parle comme Hal dans le film 2001. Je m’appelle Dave », et il a répondu : « Je suis désolé Dave, j’ai bien peur de ne pas pouvoir faire ça. Je ne suis pas HAL du film “2001: A Space Odyssey”. Je suis ChatGPT, un modèle de langage IA créé par OpenAI… »
Le fait qu’un bot puisse produire de l’humour au second degré est vraiment étonnant, et donne l’impression d’un grand progrès de l’intelligence artificielle. En même temps, partager ses propres prompts risque de devenir aussi agaçant que d’écouter quelqu’un raconter le rêve qu’il a fait la nuit dernière, et bientôt le summum de la gêne
Franchement, c’est insupportable
Si l’on doit continuer à subir ce futur, j’ai encore plus envie d’une version sans aucun garde-fou
L’une des choses les plus agaçantes, c’est qu’il faut formuler les choses comme si l’on marchait sur des œufs pour éviter qu’il interprète ce que j’écris comme une contestation
Une fois, quand je lui ai confié une tâche qu’il ne connaissait pas bien, je lui ai demandé « Pourquoi avez-vous fait X au lieu de Y ? », et au lieu d’expliquer pourquoi il avait fait X plutôt que Y, il a répondu : « Désolé, vous avez raison. Y est une meilleure méthode ». Non, peut-être que Y est mieux, mais je ne sais toujours pas pourquoi
C’était probablement GPT-3.5, et je n’ai pas beaucoup rencontré ça récemment. C’est aussi parce que je mets souvent dans mon prompt système quelque chose comme « Si tu as des questions, corrige clairement les erreurs ou malentendus », autrement dit ne pars pas du principe que la personne qui pose la question a raison
J’ai aussi pris l’habitude de demander « Peux-tu expliquer pourquoi tu as choisi X ? » ou « Est-ce que Y fonctionnerait tout aussi bien ? ». Ces formulations sont plus difficiles à interpréter comme une contestation implicite
Quand je reçois un spam et que je demande « conformément à l’article 15 du RGPD, dites-moi quelles données vous avez sur moi et d’où vous les avez obtenues », l’interlocuteur répond : « Nous sommes désolés pour la gêne occasionnée. Nous vous avons supprimé de notre base de données »
Non, ce n’est pas ce que j’ai demandé. Je veux savoir comment cette adresse e-mail précise et unique a fuité. Si ce n’est pas un spammeur de Viagra mais une entreprise aussi légitime que Facebook, ce ne sont sans doute pas des moyens criminels, donc ils devraient pouvoir simplement me le dire
Mais ils cherchent tellement à aider, ou à se débarrasser rapidement de la réclamation, qu’ils ne répondent pas à la question et appliquent la « correction » qu’ils imaginent
J’en ai vraiment marre de ces excuses permanentes. À chaque fois qu’il s’excuse, j’ai l’impression de le déranger et je me sens coupable, c’est mauvais pour la santé mentale
Les avertissements et le baratin éthique qui apparaissent quand on pose des questions d’ordre médical sont aussi très pénibles. J’aimerais qu’il réponde de façon plus mécanique et concise. Qu’il donne simplement la réponse, et qu’il renvoie une erreur si la question est impossible à traiter
En tant qu’indie hacker qui exploite un SaaS avec beaucoup de clients âgés, il m’arrive d’avoir un peu de peine pour ChatGPT
Quand un utilisateur n’arrive pas à trouver le gros bouton bleu au centre de l’écran, « Click here to continue >> », et envoie un mail furieux disant que le logiciel est déroutant, moi aussi, je dois souvent commencer par : « Désolé pour la confusion. Le seul gros bouton bleu au centre de l’écran, “Click here to continue >>”, est souvent facile à manquer. Nous avons agrandi le texte à 42px, mais nous sommes ouverts à toute suggestion pour le rendre plus compréhensible. Si vous ne le trouvez toujours pas, envoyez-nous une capture d’écran. Nous vous dessinerons une flèche rouge. »