Analyse des états financiers à l’aide des LLM

• Étude visant à déterminer si les grands modèles de langage (LLM) peuvent réaliser avec succès une analyse des états financiers de manière comparable à des analystes humains spécialisés
• Des états financiers standardisés et anonymisés ont été fournis à GPT-4, avec pour consigne de prédire l’orientation des bénéfices futurs
• Principales conclusions
  • Performance de prévision : le LLM surpasse les analystes financiers pour prévoir l’évolution des bénéfices, même sans informations narratives ni données sectorielles
  • Avantage relatif : le LLM montre un avantage relatif dans les situations où les analystes rencontrent des difficultés
  • Précision des prévisions : la précision du LLM est comparable à celle des modèles de ML de pointe entraînés sur des tâches ciblées
  • Éclairage narratif : les prévisions du LLM ne proviennent pas d’une mémoire d’entraînement, mais génèrent des éléments narratifs utiles sur la performance future de l’entreprise
  • Stratégie de trading : une stratégie de trading fondée sur les prévisions de GPT offre un ratio de Sharpe et un alpha supérieurs à d’autres stratégies basées sur des modèles

L’avis de GN⁺

• Potentiel des LLM : le fait que les grands modèles de langage puissent surpasser les analystes humains en analyse financière pourrait entraîner de profonds changements dans le secteur financier. Cela suggère un fort potentiel de développement pour les outils d’analyse automatisés.
• Transparence du modèle : le fait que les LLM fournissent un éclairage narratif signifie que leur processus de prévision peut être plus transparent et plus facile à comprendre. Cela peut aider les analystes financiers à faire confiance au modèle et à l’exploiter.
• Utilité des stratégies de trading : les bonnes performances d’une stratégie de trading fondée sur GPT peuvent être très attractives pour les investisseurs. Toutefois, cela ne garantit pas que les prévisions du modèle soient toujours exactes, et une approche prudente reste nécessaire.
• Points à considérer pour l’adoption : la qualité des données et le processus d’entraînement du modèle sont essentiels. Il faut également examiner en continu dans quelle mesure les prévisions du modèle correspondent aux conditions réelles du marché.
• Technologies et projets liés : parmi les autres projets offrant des capacités similaires en analyse financière figurent AlphaSense, Kensho et les outils d’analyse de Bloomberg basés sur GPT-3. Une comparaison avec ces outils permet de mieux comprendre les forces et les limites des LLM.

[GN⁺]

Avis Hacker News

• À la page 40, la Figure 3 montre qu’en comparant un modèle de réseau neuronal à 3 couches utilisant les 59 variables prédictives financières de Ou et Penman (1989) avec GPT (CoT), GPT n’affiche pas de performance statistiquement significativement meilleure.
• Le marché est important, mais la spéculation n’est pas la finalité du marché. Si l’on veut gagner de l’argent, mieux vaut se former et obtenir un bon salaire. La spéculation, vue sous l’angle de la cupidité, comporte un grand risque de ruine. Le système financier est un jeu à somme nulle, et la finance internationale comporte de nombreux risques. Il faut prendre soin de ses proches, maximiser son bonheur et agir de façon honnête et éthique.
• Permettre aux citoyens ordinaires de poser des questions pertinentes sur les finances des collectivités locales pourrait produire le plus grand changement. Par exemple, dans le comté de Cook, dans l’Illinois, de très nombreuses municipalités et autorités élues produisent des rapports financiers mensuels, mais la surveillance citoyenne est insuffisante.
• Historique de la recherche : comparaison des déclarations de la direction, comptage des mots positifs/négatifs pour effectuer une analyse de sentiment, et construction de modèles de sentiment en temps réel à partir de Twitter et d’articles de presse. Un modèle d’analyse de sentiment a été construit avec un LLM (GPT2), mais sa fiabilité est faible car les dirigeants sont formés à n’utiliser que des mots positifs.
• Si des modèles LLM standardisés sont utilisés, il est possible que les rapports financiers soient manipulés afin de rendre les résultats du LLM plus favorables.
• Dans la conception de l’étude, aucune information textuelle n’est fournie. L’intérêt principal est de comprendre la capacité du LLM à analyser et synthétiser des chiffres financiers purs. Cela tient au fait que le LLM fonctionne en prédisant le token suivant plutôt qu’en effectuant des calculs mathématiques.
• À ceux qui veulent vendre des wrappers de LLM : ce domaine est très difficile. Vous serez confrontés à des problèmes de données, de distribution et de faible demande. Les fonds qui l’utiliseraient réellement l’utilisent déjà.
• Il s’agit de comprendre la source de la capacité prédictive de GPT. On demande au modèle de jouer le rôle d’un analyste financier, de calculer les principaux ratios financiers et d’en fournir une interprétation économique. Cependant, le LLM ne calcule pas ; il fonctionne en prédisant le token suivant.
• Je me souviens de l’analyse des earnings calls présentée par Greg Diamos chez Lamini. Les liens associés sont disponibles sur HuggingFace et GitHub.
• Il aurait été intéressant de comparer avec des modèles disposant d’une fenêtre de contexte plus large (Gemini, Claude Opus). Sinon, il vaudrait mieux modifier le titre en « Analyse des rapports financiers avec GPT-4 ».