TimeGPT-1
(arxiv.org)- TimeGPT est un modèle de fondation pour les séries temporelles capable de prévoir des données de séries temporelles issues de multiples domaines sans entraînement supplémentaire
- Par rapport aux approches statistiques, de machine learning et de deep learning existantes, il met en avant une approche qui améliore à la fois les performances, l’efficacité et la simplicité en inférence zero-shot
- La prévision de séries temporelles constitue une base essentielle pour les domaines où les décisions futures sont nécessaires, comme la finance, la santé, la météorologie, les sciences sociales, la demande en électricité, ou la planification de capacité des serveurs, des travailleurs et des machines
- Jusqu’ici, le domaine de la prévision de séries temporelles souffrait d’un faible consensus pratique sur l’efficacité du deep learning et du manque de modèles génériques préentraînés aussi largement reconnus que dans le langage ou la perception
- Cela suggère qu’un modèle générique préentraîné pourrait rendre les prévisions de haute précision plus accessibles, tout en réduisant le temps et la complexité de calcul
Orientation du modèle défendue par TimeGPT
- TimeGPT est un modèle de fondation pour les séries temporelles capable de générer des prévisions sur divers jeux de données qu’il n’a pas vus pendant l’entraînement
- Son principe central est l’inférence zero-shot, c’est-à-dire la capacité à effectuer des prévisions sur de multiples domaines et applications sans entraînement supplémentaire
- Un modèle générique préentraîné peut transformer la pratique de la prévision de séries temporelles pour la rendre plus accessible et plus précise, tout en réduisant fortement le temps nécessaire et la complexité de calcul
Domaines d’usage de la prévision de séries temporelles
- Une série temporelle est un ensemble de données ordonné dans le temps, utilisé dans les systèmes, les entreprises et les institutions comme base pour évaluer des états futurs
- Les cas d’usage couvrent de nombreux domaines
- Compréhension des cycles et des tendances économiques
- Analyse des habitudes de consommation des consommateurs
- Optimisation de la demande en électricité pour la production d’énergie et la gestion du réseau
- Ajustement des capacités et de l’infrastructure des serveurs, des travailleurs et des machines
- Mesure des marées océaniques et suivi du cours de clôture quotidien du Dow Jones
- En finance, en santé, en météorologie et en sciences sociales, l’identification des motifs temporels, des tendances et des variations cycliques est essentielle pour prévoir les valeurs futures et prendre des décisions
Limites des approches de prévision existantes
- Le domaine de la prévision de séries temporelles n’a pas encore atteint un niveau de consensus comparable à celui des modèles génératifs dans le langage et la perception
- L’évaluation pratique de l’efficacité du deep learning pour les tâches de prévision reste encore divisée parmi les praticiens
- Les travaux existants sur la prévision ne répondent pas encore pleinement aux promesses d’un véritable modèle générique préentraîné
Résultats d’évaluation et implications
- TimeGPT a été évalué en comparaison avec des modèles statistiques, des modèles de machine learning et des modèles de deep learning
- Les résultats montrent que l’inférence zero-shot de TimeGPT préentraîné se distingue par ses performances, son efficacité et sa simplicité
- Ils servent aussi d’argument en faveur de l’application à l’analyse de séries temporelles d’enseignements tirés des avancées dans d’autres domaines de l’IA
- Les modèles de séries temporelles à grande échelle pourraient améliorer l’accessibilité à des prévisions plus précises et offrir une opportunité de réduire l’incertitude
1 commentaires
Avis de Hacker News
J’ai fait de la prévision de séries temporelles pendant assez longtemps, mais je n’ai toujours pas trouvé l’utilité de ce genre de modèle de deep learning spécialisé dans les séries temporelles
Sur des données de très grande dimension, par exemple quand on modélise la détection de fraude chez une entreprise de traitement de paiements par carte, le deep learning domine. Mais je n’ai quasiment jamais vu l’intérêt d’utiliser un modèle « séries temporelles » distinct qui traite le temps différemment des autres caractéristiques
J’ai essayé N-BEATS, N-HiTS, qui prétendent offrir des performances de pointe, ainsi que presque toutes les variantes de RNN à la mode avant les transformers, mais aucun n’a battu un MLP auquel on fournit des valeurs retardées comme caractéristiques. En discutant avec d’autres personnes du domaine de la prévision, elles disent avoir observé les mêmes résultats
Pour les données de dimension intermédiaire, LightGBM/XGBoost est largement supérieur et obtient généralement des performances égales ou meilleures que n’importe quel modèle de deep learning, avec beaucoup moins de fine-tuning et un temps de calcul infime
Pour les données de faible dimension, il n’y a pas assez de données, donc il faut structurer le problème avec l’intuition humaine ; les modèles (V)ARIMA/ETS/factoriels restent donc les plus solides
Je suis donc très sceptique face aux affirmations sur des modèles « séries temporelles » universellement performants. Contrairement aux modèles de langage, s’entraîner sur des séries temporelles ne permet au modèle de comprendre que de façon limitée la structure fondamentale du fonctionnement du monde ; sa capacité de généralisation ne peut donc elle aussi qu’être très limitée
Et je me demande aussi comment on utilise des modèles comme XGBoost pour la prévision multi-étapes, quand il faut prédire plusieurs horizons à l’avance
Comment l’approche consistant à donner des caractéristiques retardées à un MLP se compare-t-elle à l’utilisation de séquences plus longues dans l’attention d’un transformer ? Je me demande si fournir 128 valeurs retardées à un réseau feed-forward donne de bons résultats
J’en suis arrivé à la même conclusion en expérimentant différents algorithmes de machine learning lors de la création d’un bot de trading intelligent https://github.com/asavinov/intelligent-trading-bot
Cela dit, il existe des cas où les transformers peuvent apporter un avantage important. Ils peuvent être utiles lorsque la prévision numérique est combinée à une analyse d’événements discrets et que l’ordre des événements est important, ou lorsque certains motifs recherchés en analyse technique comptent. Dans ces cas-là, il faut beaucoup plus de données
Il est certain que des analystes de graphiques vont sortir du bois pour vendre de la prévision de marché basée sur GPT
Je pense qu’un modèle de séries temporelles doté d’un corpus d’entraînement suffisamment vaste pourrait assez bien gérer des singularités typiques comme la saisonnalité, les chocs ou les valeurs aberrantes
Je suis entièrement d’accord sur l’état actuel des choses, mais j’ai hâte de voir des praticiens tester des modèles comme celui présenté ici. Ça pourrait vraiment marcher
Non, les transformers ne sont pas une solution miracle
Même si les transformers peuvent donner l’impression d’être des approximateurs de fonctions universels à l’état de l’art, il faut comprendre pourquoi ils fonctionnent si bien pour le langage et la vision
Les transformers se parallélisent très bien et apprennent des représentations intermédiaires sophistiquées. Dans l’espace, les concepts sémantiques commencent à se séparer proprement, la détection des délimiteurs se fait aussi naturellement, et ils apprennent à manipuler des éléments comme les lignes, les courbes, les couleurs ou les oreilles de chien. La dernière couche combine ces concepts sophistiqués pour apprendre des concepts de haut niveau comme chien/chat/blog
Mais les transformers, et plus largement les méthodes de deep learning en général, ne fonctionnent pas bien sur les données de séries temporelles, car ils n’ont pas encore réussi à en extraire de nouvelles représentations intermédiaires
Même en surface, comment faut-il gérer la « fenêtre de tokens » ? Pour le dire le plus simplement possible, modéliser des séries temporelles consiste à identifier des motifs récurrents aux cycles de vie très différents les uns des autres, conditionnés par certaines observations du monde. Pour aborder le problème dès le départ, le modèle doit pouvoir raisonner naturellement et simultanément à l’échelle des années, des jours et des secondes. Ironiquement, l’article du MIT de la semaine dernière sur les LLM en streaming pourrait peut-être aider ici
Deuxièmement, les gains semblent au mieux modestes. Si l’on propose un énorme changement d’architecture tout en supprimant l’observabilité et l’explicabilité, il faut des résultats vraiment écrasants
En réalité, si quelqu’un avait trouvé une technique révolutionnaire pour la prévision de séries temporelles, ce serait stupide d’en parler à d’autres avant d’avoir gagné son premier milliard de dollars sur le marché. Je pense même qu’il serait stupide de s’arrêter à un milliard. La prévision de séries temporelles est le problème qui offre la plus grande récompense financière, si on peut le résoudre. Si c’est publié dans un article, je m’attendrais, rien que pour cette raison, à ce que ce soit décevant
Il suffit de parcourir toutes les machines de Turing universelles monotones dont le ruban d’entrée est constitué de la concaténation de toutes les données collectées possibles et de la série temporelle qui nous intéresse. On saute les programmes qui prennent trop longtemps, on ne garde que les autres programmes qui reproduisent la séquence d’entrée, puis on construit une distribution de probabilité sur le prochain bit de sortie avec une pondération en 2^- selon la taille du programme
Qu’est-ce qu’il y a de si difficile ?
Dans le secteur du trading haute fréquence, on applique déjà depuis assez longtemps, et avec succès, le deep learning aux données de marché. Cela couvre tout, des captures de paquets et des ticks jusqu’aux bougies
Pourquoi une équipe de 50 quants/ingénieurs logiciels/traders révélerait-elle une méthode qui génère plus d’un milliard de dollars de bénéfices par an ?
Dans la prévision de séries temporelles standard, ces caractéristiques sont généralement du genre « les motifs périodiques se poursuivent » ou « les motifs de croissance se poursuivent »
Un transformer entraîné sur des données linguistiques apprend en substance à prédire une série temporelle où apparaissent toutes sortes de caractéristiques complexes qui influencent la suite. Les données linguistiques sont tellement complexes et variées que poursuivre un texte exige de l’apprentissage en contexte. C’est la capacité à trouver des caractéristiques communes dans n’importe quel type de chaîne de symboles et à les utiliser pour continuer cette chaîne
Les données linguistiques peuvent aussi contenir d’immenses tableaux Excel remplis de données diverses, comme des cours de bourse ou des relevés météo. Il est donc plausible que l’apprentissage en contexte devienne très puissant, au point de permettre de prolonger des séries temporelles en zero-shot
Plus encore, je pense que les données linguistiques et l’architecture transformer ont, grâce à l’apprentissage en contexte, le potentiel de produire des comportements qui ressemblent à une véritable intelligence générale. C’est de la reconnaissance générale de motifs. Les données linguistiques sont assez complexes pour que la descente de gradient stochastique mène nécessairement à la reconnaissance générale de motifs et à la continuation
Nous n’en sommes encore qu’au début, et pour l’instant nous nous concentrons sur le fine-tuning qui abîme l’apprentissage en contexte. Mais bientôt, nous entraînerons d’énormes transformers sur toutes les modalités et sur toutes les chaînes de symboles que l’on pourra trouver
Cela dit, la vidéo ressemble au fond à de la vision empilée en couches. Pourquoi la vision sur des images successives ne pourrait-elle pas fonctionner de manière similaire à la vision ? La réponse actuelle est que ça ne fonctionne pas, mais je me demande si c’est parce que les réseaux neuronaux n’en sont pas capables, ou parce que nous n’avons pas encore trouvé la bonne façon de modéliser le problème
Je ne comprends pas le passage disant que « les modèles populaires comme Prophet [Taylor et Letham, 2018] et ARIMA ont été exclus de l’analyse en raison d’exigences de calcul excessives et de temps d’entraînement longs »
J’aimerais que quelqu’un qui a beaucoup pratiqué la prévision de séries temporelles puisse expliquer plus en détail
J’ai déjà utilisé ARIMA pour des tâches simples. Je ne vois pas pourquoi son entraînement et son exécution coûteraient plus cher que ceux d’un modèle Transformer, et même si c’était vrai, ARIMA est tellement utilisé qu’une comparaison des ressources et du temps aurait été utile
Sinon, cela sonne comme un argumentaire commercial, comme si on lançait des acronymes obscurs à des fins marketing du type « je suis l’expert, abc xyz jargon du secteur »
Pour répondre à cette inquiétude légitime, il y a plusieurs raisons au coût de calcul élevé. Premièrement, ARIMA et les autres méthodes « statistiques » sont des modèles locaux : il faut entraîner un modèle différent pour chaque série temporelle. À l’inverse, les modèles de machine learning et de deep learning sont des modèles globaux : ils utilisent « un seul » modèle pour toutes les séries temporelles
Deuxièmement, ARIMA n’est généralement pas très performant sur des ensembles de séries temporelles variés comme dans cette expérience. AutoARIMA est un meilleur choix, mais compte tenu du nombre et de la longueur des séries temporelles, le temps d’entraînement devient bien plus long. De plus, AutoARIMA a tendance à devenir très lent sur les séries temporelles longues
En résumé, appliquer ARIMA aux 500 000 séries temporelles utilisées dans le benchmark aurait littéralement pris des semaines et aurait coûté très cher
C’est pourquoi nous avons inclus plusieurs modèles « statistiques » locaux performants, comme Theta et CES. Pour toutes les baselines, nous avons utilisé les implémentations de notre écosystème open source, notamment StatsForecast, MLForecast et Neuralforecast. Nous prévoyons de publier bientôt un ensemble d’expériences reproductibles sur un sous-ensemble plus petit
Si une méthode de prévision des années 1970 est exclue au motif que son « temps d’entraînement est long », il est difficile de prendre cet article au sérieux
On peut trouver quelques excuses pour exclure ARIMA. En pratique, pour le faire fonctionner correctement, il faut injecter des connaissances a priori importantes sur la série temporelle, par exemple la saisonnalité ou des corrections de points de rupture
Mais « calcul excessif et temps d’entraînement long » ne s’applique pas
Cette partie fait un peu prétentieuse, mais le reste de l’article, en particulier les capacités zero-shot, est très intéressant si elles se confirment. J’espère que cela deviendra plus accessible qu’une API du type « contactez-nous », afin qu’on puisse comparer soi-même avec ARIMA et d’autres méthodes
Il a de nombreux défauts et limites, mais l’efficacité computationnelle n’en fait pas partie
Cet article est extrêmement pauvre en contenu. Il n’y a pratiquement aucune information sur les points importants, seulement des gestes vagues autour de l’architecture et des données
À la place, il consacre de l’espace à des choses comme la formule de la MAE ou des schémas illustrant les concepts d’entraînement et d’inférence. Il y a des signaux d’alerte partout
Ici Max de Nixtla. Je ne m’attendais pas à autant d’attention, et je suis heureux de voir à la fois les réactions positives et critiques
Je voudrais clarifier quelques points importants
L’objectif principal de cette première version de l’article est de présenter TimeGPT-1 et de montrer, à travers les résultats préliminaires d’expériences à grande échelle, que l’apprentissage par transfert à cette échelle est réellement possible aussi pour les séries temporelles. Comme indiqué dans l’article, nous croyons profondément que les modèles préentraînés peuvent constituer une solution très rentable en ressources de calcul pour de nombreuses applications. Cette version est aussi un preprint. Nous travaillons à publier un ensemble d’expériences reproductibles sur une partie des données, donc merci de patienter
Les travaux précédents de Nixtla ont tous été open source, et nous pensons que TimeGPT peut devenir un produit commercial opérationnel offrant immédiatement aux praticiens prévision et détection d’anomalies. Certains détails intéressants ont été omis, car ils constituent un avantage concurrentiel permettant de soutenir la croissance de l’entreprise, de fournir de meilleures solutions et de continuer à construire l’écosystème
Comme d’autres l’ont dit dans ce fil, nous travaillons à embarquer autant de personnes que possible dans l’essai gratuit, afin que davantage de praticiens indépendants puissent valider la précision sur leurs propres cas d’usage. Vous pouvez aussi consulter les premières impressions du créateur de Prophet https://x.com/seanjtaylor/status/1694745912776749296?s=20, la réaction du créateur de GluonTS https://www.linkedin.com/posts/tim-januschowski_foundational... et les premiers tests menés par les gens de H20 https://youtu.be/N0gyDVUFPlg?si=xH8oy5cjgLm-o_WD&t=457. Nous espérons voir bientôt davantage de benchmarks indépendants
Quand le monde académique insiste sur le fait que « l’évaluation par les pairs est importante » et avertit qu’il ne faut pas lire les preprints arXiv si l’on n’est pas spécialiste du domaine, c’est exactement de ce genre de chose qu’il s’agit
La phrase « L’incertitude est un aspect essentiel de la vie, une constante que les humains n’ont cessé d’affronter et de chercher à comprendre » est un peu limite
C’est bien de faire les choses avec sincérité, mais dans ce cas il faudrait au moins être plus poétique qu’un documentaire de la BBC
Cela semble lié ?
Inverted Transformers Are Effective for Time Series Forecasting
https://news.ycombinator.com/item?id=37848321
Ça ressemble à du matériel marketing pour ce produit https://www.nixtla.io/
J’aimerais me tromper, mais cela semble seulement environ 20 à 30 % meilleur qu’un modèle Seasonal Naive. À ce niveau, ça ne paraît pas si utile
Le côté zero-shot est clairement impressionnant, mais en pratique je ne pense pas qu’on puisse vraiment en faire grand-chose