Suis-je le seul à avoir l’impression que la qualité récente de GPT-4 a nettement baissé ?
(news.ycombinator.com)Je reprends ici diverses réponses publiées sur HN
- C’est plus rapide qu’avant, mais la qualité des résultats a beaucoup baissé, au point de donner l’impression d’un GPT-3.5++ ; il génère davantage de code bogué et les réponses semblent moins approfondies
- On dirait qu’ils ont ajouté des couches pour classer certaines tâches de programmation, ce qui le pousse à donner des réponses inutiles ; ça donne l’impression d’un nerf. Du coup, j’ai annulé mon abonnement premium et je vais regarder du côté des modèles DIY
- Avant les mises à jour, il résolvait des problèmes de code très complexes et donnait aussi des réponses très réfléchies à des questions non liées à la programmation, mais ce n’est plus le cas. Le GPT-4 original avait quelque chose de magique ; maintenant, il ressemble à un perroquet probabiliste un peu stupide
- J’ai l’impression qu’il ne donne plus que des réponses superficielles et encourage à faire le suivi ailleurs
- Côté code, il est clairement de pire en pire. J’essaie à chaque nouvelle version de lui faire faire la même chose, et le résultat devient de plus en plus étrange
- Pour moi, ça va encore, mais j’en ai assez que chaque réponse contienne une phrase expliquant à quel point le monde est complexe. Oui, je sais déjà, inutile de me parler comme à un enfant
- C’est exactement pour ça que les modèles open source sont importants. Et aussi pourquoi il y a de la régulation et du lobbying. Imaginez : le grand public utilise une IA castrée (
neutered), tandis que l’élite a accès à un GPT-4 brut - Les chercheurs qui ont rédigé l’article « Sparks of AGI » avaient souligné que plus OpenAI alignait GPT-4, plus ses capacités diminuaient. Cette tendance semble simplement se poursuivre
10 commentaires
J’ai l’impression que les performances sont d’abord tombées au plus bas, puis qu’elles sont remontées ensuite.
Je pense aussi que l’amélioration des prompts que j’utilise y est pour beaucoup.
J’ai récemment posé des questions liées au code, et même en corrigeant ses erreurs, il continuait à tourner en rond, alors je me demandais ce qui se passait — visiblement, je ne suis pas le seul.
L’IA générative fait vraiment énormément parler d’elle, on dirait. Il y a même des posts de suivi qui continuent d’apparaître...
https://news.ycombinator.com/item?id=36155267
Je l’ai ressenti aussi...
La vitesse de réponse avait ralenti, et en plus c’est devenu plus bête.
Récemment, je lui ai donné un peu moins de 200 lignes de code, et GPT-4 a atteint la limite maximale d’entrée,
alors que GPT-3 l’a traité, lui... ?..
Je ne sais pas si c’est un bug temporaire dû à un mauvais alignement... ou s’ils l’ont volontairement bridé...
Oui, moi aussi je l’ai ressenti. Donc je ne suis pas le seul à avoir cette impression… Ceux qui utilisent GPT au quotidien semblent le percevoir subtilement, de façon assez tangible.
J’ai surtout ressenti cela en rédigeant des JD : avec le même prompt, il y a une subtile différence de qualité entre ce que j’ai écrit il y a un mois et demi et ce que j’ai écrit récemment. Je ne sais pas trop comment le dire, peut-être que cela donne une impression de moindre soin ?
J’ai l’impression que les performances folles de GPT-4 à ses débuts ont désormais disparu...
Au début de GPT-4, j’en venais presque à me demander si ce n’était pas un humain qui répondait derrière (Simsimi ??)…
L’éthique fait vraiment peur à ce point.
Je ne cherche pas à obtenir de GPT des réponses moralisatrices, mais j’ai l’impression que la machine se met à trop réfléchir à tout et n’importe quoi. Comme si elle passait trop par un filtre du genre « si je réponds comme ça, ce sera immoral », au point que ses réponses en deviennent carrément étranges.
Il y a eu plus de 600 commentaires.
Moi surtout, ce qui m’agace un peu, c’est que même en lui demandant la même chose, les résultats varient beaucoup trop… et ce alors même que je mets une température basse.