Prévision de séries temporelles à long terme avec xLSTM : XLSTMTime

xLSTMTime: Long-term Time Series Forecasting With xLSTM

• Ces dernières années, les modèles fondés sur les transformeurs ont affiché des performances remarquables en prévision multivariée de séries temporelles à long terme (LTSF). Ils restent toutefois confrontés à des problèmes tels que des besoins de calcul élevés, la difficulté à capturer les dynamiques temporelles et la gestion des dépendances de longue portée
• L’émergence de LTSF-Linear, avec sa structure linéaire simple, a montré des performances supérieures à celles des modèles fondés sur les transformeurs, conduisant à réévaluer l’utilité des transformeurs pour la prévision de séries temporelles
• Pour y répondre, cet article présente les résultats de l’application de l’architecture récente xLSTM (extended LSTM) à la LTSF. xLSTM présente un potentiel adapté à la LTSF grâce à un exponential gating et à une structure mémoire modifiée de plus grande capacité
• L’architecture LTSF que nous avons adoptée, xLSTMTime, surpasse les approches actuelles. Une comparaison des performances entre divers modèles de pointe et xLSTMTime sur plusieurs jeux de données réels démontre ses excellentes capacités de prévision
• Nos résultats suggèrent que des architectures récurrentes affinées peuvent constituer une alternative compétitive aux modèles fondés sur les transformeurs pour les tâches de LTSF, et qu’elles pourraient redéfinir le paysage de la prévision de séries temporelles

Le résumé de GN⁺

• Cet article introduit xLSTM pour dépasser les limites des modèles fondés sur les transformeurs et montre d’excellentes performances en prévision de séries temporelles à long terme
• xLSTMTime démontre des capacités de prévision supérieures aux modèles existants grâce à un exponential gating et à une structure mémoire modifiée
• Cette recherche remet en lumière le potentiel des architectures récurrentes pour la prévision de séries temporelles et propose une nouvelle alternative aux modèles fondés sur les transformeurs
• Parmi les projets aux fonctionnalités similaires, on peut citer Prophet de Facebook et DeepAR d’Amazon

[GN⁺]

Avis sur Hacker News

• Ces dernières années, les modèles basés sur les transformers se sont imposés dans la prévision multivariée de séries temporelles à long horizon
  • Mais il n’est pas certain qu’ils soient globalement meilleurs que les modèles non deep learning
• Je travaille à la construction de modèles de nowcasting et de prévision en économie (inflation, PIB, etc.) et en finance (liquidité des marchés, etc.)
  • Je partage l’avis selon lequel les modèles transformers sont excellents, mais que les modèles de type LSTM restent eux aussi très utiles
• Je me demande si cela a un lien avec les modèles de prévision météorologique de Google utilisant l’IA
  • Lien vers le modèle d’IA Graphcast de Google
• C’est dommage que le lien vers le jeu de données dans l’article ne fonctionne pas
  • J’espère qu’il sera corrigé
• C’est présenté comme un outil de prévision, mais je me demande s’il ne pourrait pas aussi s’appliquer à la classification d’événements dans les séries temporelles
• Les meilleurs modèles deep learning pour les séries temporelles sont utilisés en interne et de manière non publique par les hedge funds
• La prévision de séries temporelles fonctionne le mieux dans des domaines déterministes
  • Parmi les techniques LLM/IA/deep learning/machine learning publiées, aucune ne fonctionne bien sur le marché boursier
  • J’ai tout essayé, sans succès
• Si la méthode de prévision de séries temporelles de quelqu’un fonctionnait vraiment, cette personne ne l’aurait pas publiée
• Je l’ai lu par erreur comme XSLT
• On sent déjà arriver les gens qui vont perdre tout leur argent en essayant de prédire les actions avec cet outil