• Cette étude examine les capacités de prédiction de ChatGPT-3.5 et ChatGPT-4 d’OpenAI à l’aide de deux stratégies de prompt distinctes : la prédiction directe et le récit futur.
• L’analyse évalue la capacité à prédire des événements futurs en se concentrant sur des événements survenus en 2022, après la date de coupure des données d’entraînement du modèle en septembre 2021.
• Les résultats montrent que les prompts de récit futur améliorent nettement la précision prédictive de ChatGPT-4, en particulier pour prévoir les principaux lauréats des Oscars et les tendances économiques.
• Les prompts narratifs de ChatGPT exploitent sa capacité à construire des récits hallucinés, ce qui permet une synthèse et une extrapolation des données plus efficaces que la prédiction directe.
• Cette étude met en lumière un nouvel aspect des capacités prédictives des grands modèles de langage (LLM) et suggère des applications potentielles dans des contextes analytiques.
• L’équipe de recherche a recruté deux assistants de recherche et interrogé ChatGPT 50 fois par prompt pour générer une distribution des réponses, soit un total de 100 essais par prompt.
• Les résultats sont présentés sous forme de boîtes à moustaches décrivant la distribution complète des réponses pour chaque prompt, offrant un aperçu des performances et des limites du modèle.
Aucun commentaire pour le moment.