Google TimesFM - un modèle de fondation pour la prévision de séries temporelles

• Modèle de fondation pour la prévision de séries temporelles développé par Google Research
  • Préentraîné sur 100 milliards de points de données de séries temporelles réelles
  • Montre d’excellentes performances en zero-shot sur divers benchmarks publics
  • Applicable à des jeux de données de domaines variés et à différentes granularités temporelles
• La prévision de séries temporelles est largement utilisée dans de nombreux secteurs, comme le retail, la finance, l’industrie, la santé et les sciences naturelles
  • Par exemple, dans le retail, l’amélioration de la précision des prévisions de la demande contribue à réduire les coûts de stock et à augmenter les revenus
• L’essor des modèles de deep learning
  • Les modèles de deep learning, dont les performances ont été démontrées dans diverses configurations, sont largement utilisés pour la prévision de séries temporelles
  • Lors de la compétition M5 également, les modèles de deep learning ont obtenu de bons résultats
• Les progrès des grands modèles de langage
  • Les grands modèles de langage, utilisés pour des tâches de traitement du langage naturel comme la traduction, la génération augmentée par la recherche et la complétion de code, progressent rapidement
  • Entraînés sur de grandes quantités de données textuelles, ils sont capables d’identifier des motifs linguistiques
  • Combinés à la recherche, ils peuvent être utilisés comme de puissants outils zero-shot capables de répondre à des questions sur l’actualité et de la résumer
• Les limites des modèles de prévision basés sur le deep learning
  • Bien qu’ils offrent de meilleures performances que les méthodes traditionnelles, il reste difficile d’en réduire les coûts d’entraînement et d’inférence
  • Ils nécessitent de longs cycles d’entraînement et de validation avant de pouvoir être testés sur de nouvelles séries temporelles
• TimesFM est un modèle de fondation decoder-only pour la prévision de séries temporelles
  • Un modèle de prévision unique, préentraîné sur 100 milliards de séries temporelles réelles
  • Il ne compte que 2 millions de paramètres, bien moins que les grands modèles de langage les plus récents
  • Il affiche en zero-shot, sur des jeux de données couvrant divers domaines et granularités temporelles, des performances proches des approches supervisées de pointe
  • Il fournit immédiatement des prévisions pertinentes sur des séries temporelles jamais vues auparavant, sans entraînement supplémentaire
  • Il permet aux utilisateurs de se concentrer sur l’amélioration des prévisions pour des tâches downstream réelles, comme la planification de la demande dans le retail
• Article : "A decoder-only foundation model for time-series forecasting", prévu pour être présenté à l’ICML 2024

L’avis de GN⁺

• Ce nouveau modèle de prévision de séries temporelles semble prometteur, mais il paraît encore nécessaire de le valider sur davantage de cas d’usage réels. Le fait qu’il ne prenne pas encore en charge la prévision probabiliste est notamment regrettable d’un point de vue pratique
• Il est intéressant que la valeur de fréquence fournie en entrée puisse être ajustée arbitrairement sans refléter directement la fréquence réelle des données de séries temporelles, mais la valeur optimale devra sans doute être déterminée expérimentalement selon chaque jeu de données et cas d’usage
• Le premier checkpoint publié se concentre sur l’univarié, ce qui laisse espérer une version capable de prévision multivariée. Une comparaison des performances sur des jeux de données de benchmark de prévision de séries temporelles multivariées semble également nécessaire
• L’adoption de ce modèle nécessitera des profils spécialisés capables de sélectionner et d’ajuster le modèle en fonction des caractéristiques des séries temporelles à prévoir (longueur, distribution, saisonnalité, fréquence, etc.) et de l’horizon de prévision requis. La disponibilité d’une API d’inférence end-to-end semble en faciliter l’usage, mais il faut aussi prendre en compte les limites d’un modèle boîte noire
• Parmi les bibliothèques similaires de prévision de séries temporelles, on peut citer Kats de Meta, GluonTS, Darts et sktime. Il est souhaitable de comparer les caractéristiques, avantages et inconvénients de chaque bibliothèque avant de choisir le modèle le plus adapté aux données réelles