时间序列预测的机器学习进展

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

英文标题：
《Machine Learning Advances for Time Series Forecasting》
---
作者：
Ricardo P. Masini, Marcelo C. Medeiros and Eduardo F. Mendes
---
最新提交年份：
2021
---
英文摘要：
  In this paper we survey the most recent advances in supervised machine learning and high-dimensional models for time series forecasting. We consider both linear and nonlinear alternatives. Among the linear methods we pay special attention to penalized regressions and ensemble of models. The nonlinear methods considered in the paper include shallow and deep neural networks, in their feed-forward and recurrent versions, and tree-based methods, such as random forests and boosted trees. We also consider ensemble and hybrid models by combining ingredients from different alternatives. Tests for superior predictive ability are briefly reviewed. Finally, we discuss application of machine learning in economics and finance and provide an illustration with high-frequency financial data.
---
中文摘要：
本文综述了有监督机器学习和高维时间序列预测模型的最新进展。我们同时考虑线性和非线性选择。在线性方法中，我们特别关注惩罚回归和模型集成。本文考虑的非线性方法包括前馈和递归的浅层和深层神经网络，以及基于树的方法，如随机森林和增强树。我们还通过组合来自不同替代品的成分来考虑整体模型和混合模型。简要回顾了优越预测能力的测试。最后，我们讨论了机器学习在经济和金融领域的应用，并以高频金融数据为例进行了说明。
---
分类信息：

一级分类：Economics        经济学
二级分类：Econometrics        计量经济学
分类描述：Econometric Theory, Micro-Econometrics, Macro-Econometrics, Empirical Content of Economic Relations discovered via New Methods, Methodological Aspects of the Application of Statistical Inference to Economic Data.
计量经济学理论，微观计量经济学，宏观计量经济学，通过新方法发现的经济关系的实证内容，统计推论应用于经济数据的方法论方面。
--
一级分类：Computer Science        计算机科学
二级分类：Machine Learning        机器学习
分类描述：Papers on all aspects of machine learning research (supervised, unsupervised, reinforcement learning, bandit problems, and so on) including also robustness, explanation, fairness, and methodology. cs.LG is also an appropriate primary category for applications of machine learning methods.
关于机器学习研究的所有方面的论文（有监督的，无监督的，强化学习，强盗问题，等等），包括健壮性，解释性，公平性和方法论。对于机器学习方法的应用，CS.LG也是一个合适的主要类别。
--
一级分类：Statistics        统计学
二级分类：Applications        应用程序
分类描述：Biology, Education, Epidemiology, Engineering, Environmental Sciences, Medical, Physical Sciences, Quality Control, Social Sciences
生物学，教育学，流行病学，工程学，环境科学，医学，物理科学，质量控制，社会科学
--
一级分类：Statistics        统计学
二级分类：Machine Learning        机器学习
分类描述：Covers machine learning papers (supervised, unsupervised, semi-supervised learning, graphical models, reinforcement learning, bandits, high dimensional inference, etc.) with a statistical or theoretical grounding
覆盖机器学习论文（监督，无监督，半监督学习，图形模型，强化学习，强盗，高维推理等）与统计或理论基础
--

---
PDF下载：
--> Machine_Learning_Advances_for_Time_Series_Forecasting.pdf (2.74 MB)

2022-4-26 16:17:13 上传

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：时间序列预测 时间序列 机器学习 econometrics alternatives

时间序列预测的机器学习进展格里卡多·P·马西尼斯圣保罗经济学院，格图利奥·巴尔加斯基金会电子邮件：里卡多。masini@fgv.brMarceloC.里约热内罗天主教大学梅德罗斯经济系邮件：mcm@econ.puc-里约。brEduardo F.MendesSchool of Applied Mathematics，Getulio Vargas Foundation电子邮件：eduardo。mendes@fgv.brApril12，2021摘要本文综述了有监督机器学习和时间序列预测高维模型的最新进展。我们同时考虑线性和非线性替代。在线性方法中，我们特别关注惩罚回归和模型集成。本文考虑的非线性方法包括前馈和递归形式的浅层和深层神经网络，以及基于树的方法，如随机森林和增强树。我们还通过组合来自不同替代品的成分来考虑整体和混合模型。简要回顾了超预测能力测试。最后，我们讨论了机器学习在经济和金融领域的应用，并用高频金融数据进行了说明。JEL代码：C22关键字：机器学习、统计学习理论、惩罚回归、正则化、筛近似、非线性模型、神经网络、深度学习、回归树、随机森林、boosting、bagging、预测。致谢：我们非常感谢两位匿名裁判的深刻评论。第二作者感谢CNPq的部分财务支持。我们还感谢弗朗西斯·X·迪博尔德、丹尼尔·博鲁普、安达德里亚·巴比伊的有益评论。1简介本文综述了机器学习（ML）方法在经济和金融时间序列预测中的最新发展。

ML方法已成为经济学和金融学应用研究人员的重要估计、模型选择和预测工具。在大数据时代，随着海量数据集的可用性，生成可靠、稳健的预测非常重要。然而，什么是机器学习？在过去的几年里，这无疑是一个流行词，它获得了很多流行。文献中有很多定义，其中一个最为成熟的定义来自艺术情报先驱Arthur L.Samuelwho，他将ML定义为“不需要明确编程就能让计算机学习的研究领域”我们更喜欢一个不那么模糊的定义，即ML是自动计算机算法与强大的统计方法的结合，以学习（发现）丰富数据集中的隐藏模式。从这个意义上说，统计学习理论为ML提供了统计学基础。因此，本文主要讨论统计学习的发展和notML，因为我们将重点讨论统计模型。ML方法可分为三大类：监督学习、非监督学习和强化学习。这项调查是监督学习，其中的任务是学习一个函数，该函数基于作为输入输出对组织的数据，将输入（解释变量）映射到输出（因变量）。例如，回归模型就属于这一类。另一方面，无监督学习是一类ML方法，它可以发现数据集中不存在标签的未检测模式，例如聚类分析或数据压缩算法。最后，在强化学习中，代理学习在环境中执行某些操作，从而获得最大回报。它通过探索和利用所学的知识，通过反复尝试最大化回报来实现这一目标。

这是几个艺术智能游戏玩家（比如阿尔法戈）以及连续治疗（比如强盗问题）的核心。本文介绍的监督最大似然法大致可分为两组。Firstone包括线性模型，将在第2节中讨论。我们主要关注通过正则化（也称为收缩）估计的规格。这种方法至少可以追溯到托蒂霍诺夫（1943年）。在统计学和计量经济学中，在威拉德·詹姆斯和查尔斯·斯坦（Willard James和Charles Stein）发表开创性论文，推广了统计估计中的偏差-方差权衡（Stein，1956；James和Stein，1961）之后，正则化估计器受到了关注。我们首先考虑Hoerl和Kennard（1970）提出的边缘回归估计。然后，我们给出了Tibshirani（1996）的最小绝对收缩和选择（LASSO）估计及其许多推广。我们还讨论了其他处罚。还回顾了相关数据的理论推导和影响。第二组ML技术关注非线性模型。我们在第3节中讨论了这个主题，首先介绍了一个基于筛半参数近似的统一框架。最近，因果推理的ML开始受到很多关注。然而，这项调查将不包括ML方法的因果推断。最初的一句话是“为计算机编程以从经验中学习，最终将消除对这种详细编程工作的需求。”见塞缪尔（1959）。正如格伦纳德（1981）所说。我们继续分析特定模型，作为我们总体设置的特例。更具体地说，我们涵盖了前馈神经网络，包括其浅层和深层版本和递归神经网络，以及基于树的模型，如随机森林和增强树。

神经网络（NN）可能是最流行的ML方法之一。在我们看来，成功的部分原因是对人脑功能的错误类比。与早期文献中所吹嘘的相反，NN模型的经验成功来自一个数学事实，即大量简单基函数的线性组合能够在特定的度量选择中很好地逼近非常复杂的函数。回归树只有在发展了算法来减弱估计模型的不稳定性之后才流行起来。像随机森林和增强树这样的算法现在都在应用经济学家的工具箱里。除上述模型外，我们还对基于集合的方法进行了调查，如Bagging-Breiman（1996）和完整子集回归（Elliott等人，2013、2015）。此外，我们还简要介绍了我们称之为“混合方法”的方法，将线性和非线性模型的思想结合起来，生成新的ML预测方法。在对这些方法进行实证说明之前，我们将讨论在ML方法的背景下对超预测能力的测试。1.1一般框架快速记法：大写字母X表示随机量，小写字母X表示确定性（非随机）量。inX和x等粗体字母是为向量和矩阵等多变量对象保留的。q的符号k·KQ≥ 1表示向量的`qnorm。对于集合S，我们用| S |表示其基数。给定一个随机向量（Yt，Zt）的T个实现的样本，目标是预测h=1，H.在本文中，我们考虑以下假设：假设1（DGP）。

让{（Yt，Zt）}∞t=1是一个协方差平稳随机过程，取值于Rd+1。因此，我们排除了通常出现在时间序列应用程序中的重要非平稳过程。特别地，假设1排除了长记忆过程中的单位根和某些类型。对于（通常预先确定的）整数p≥ 1和r≥ 0定义预测因子Xt的n维向量：=Yt-1.Yt-p、 Zt，Zt-R其中n=p+d（r+1），考虑以下直接预测模型：Yt+h=fh（Xt）+Ut+h，h=1，H、 t=1，T、 （1.1）其中fh:Rn→ R是未知（可测量）函数，Ut+h:=Yt+h-fh（Xt）被假定为零均值和有限方差。通过在模型中包含截距，始终可以确保零均值条件。此外，方差模型fh可以是条件期望函数fh（x）=E（Yt+h | Xt=x），或者暗示Yt+Hon到Xt跨越的空间的最佳线性投影。无论选择哪种型号，我们的目标都是fh，因为h=1，H.由于FH未知，应根据数据进行估算。目标函数可以是单个模型，也可以是不同规格的集合，而且对于每个预测期，目标函数也可能发生重大变化。给定fh的估计值，下一步是通过估计其预测精度来评估预测方法。大多数预测准确度的衡量标准都来自随机量h（Xt）：=| bfh（Xt）-fh（Xt）|。例如，术语预测一致性指的是h（Xt）p-→ 0作为T→ ∞ 概率被认为是无条件的；A对应于其条件对应项，由h（xt）p-→ 0，其中概率定律以Xt=Xt为条件。

显然，如果后者（几乎）适用于每一个XT，那么前者将遵循迭代期望定律。预测准确度的其他度量可以从无条件概率定律E导出的LQ范数中推导出来|h（Xt）| qor条件的E(|h（Xt）| q | Xt=Xt）forq≥ 1.到目前为止，使用最多的是q=1时的（条件）绝对平均预测误差（MAPE）和q=2时的（条件）均方预测误差（MSPE）或（条件）均方根预测误差（RMSPE），即MSPE的平方根。这些基于LQ范数的预测准确度指标比预测一致性指标更强，因为随着这些（q≥ 1） 利用马尔可夫不等式表示预测一致性。这种方法源于将经济预测视为一个决策问题。在损失函数的选择下，目标是从一系列候选模型中选择FH，以最小化预期的预测损失或风险。给出fh的估计值，下一步是通过估计其风险来评估预测方法。最常用的损失是绝对误差和平方误差，分别对应于Land Lrisk函数。参见Grangerand Machina（2006）对该主题的详细阐述，Elliott和Timmermann（2008）对损失函数在预测中的作用的讨论，以及Elliott和Timmermann（2016）最近的综述。1.2论文摘要除了简要介绍之外，本文的组织结构如下。第2节回顾了线性回归模型。非线性ML模型将在第3节中讨论。第4节介绍了集成和杂交方法。第5节brie fly讨论了更高可预测性的测试。第6节介绍了一个经验应用。

最后，我们在第7节总结并讨论了未来研究的一些方向。f（Xt）是有限方差的有限支持2惩罚线性模型我们考虑线性模型族，其中f（x）=βx in（1.1）表示未知参数β的向量∈ 注册护士。请注意，为了清晰起见，我们去掉了下标h。然而，对于预测水平的特定值，必须理解模型和参数β。这些模型考虑了时间序列分析中的一系列著名规范，例如预测回归、p阶自回归模型、AR（p）、带有外生变量的自回归模型、ARX（p）、带有动态滞后ADL（p，r）的自回归模型以及其他许多模型（Hamilton，1994）。特别是，（1.1）变成t+h=βXt+Ut+h，h=1，H、 t=1，T、 （2.1）其中，在平方损失下，β由Yt+honto XT的最佳线性投影确定，只要∑：=E（XTXTXT）是非奇异的，就可以很好地定义。在这种情况下，Ut+his与XTBY构造正交，利用这一性质推导出估计程序，如有序最小二乘法（OLS）。然而，当n>T（有时n T）OLS估计量不是唯一的，因为∑的样本对应项是秩不足的。事实上，我们可以完全超过≥ T惩罚线性回归出现在回归参数没有唯一定义的环境中。通常情况下，n较大，可能大于观测次数T，和/或协变量高度相关。总体思路是将OLS问题的解限制在原点附近的一个球上。可以证明，尽管存在偏差，但与非限制解相比，限制解的均方误差较小（Hastine等人，2009年，第3章和第3章）。

6).在惩罚回归中，未知参数向量β的估计量bβ使拉格朗日公式q（β）=T最小-hXt=1（Yt+h- βXt）+p（β），=kY- Xβk+p（β），（2.2），其中Y:=（Yh+1，…YT），X:=（X，…XT）-h） p（β）：=p（β；λ，γ，Z）≥ 0是一个取决于调谐参数λ的惩罚函数≥ 0，它控制着福利的好处和正规化条件之间的权衡。如果λ=0，我们有一个经典的无约束回归，因为p（β；0，γ，X）=0。惩罚函数也可能取决于一组超超参数γ，以及数据X。当然，估值器bβ也取决于λ和γ的选择。惩罚回归的文献中考虑了惩罚函数的不同选择。岭回归岭回归由Hoerl和Kennard（1970）提出，作为一种寻找高度相关回归系数并稳定线性回归问题解的方法。其想法是引入一个小偏差，但反过来又减少了估计量的方差。岭回归也被称为Tikhonov正则化的一个特例（Tikhonov，1943，1963；Tikhonovand Arsenin，1977），其中尺度矩阵是对角的，具有相同的条目。岭回归对应于通过参数向量的平方范数对回归进行惩罚，即（2.2）中的惩罚由p（β）=λnXi=1βi=λkβk给出。岭回归的优点是具有易于计算的解析解，其中与最小相关预测值相关的系数缩小到零，但不会精确到零。因此，除非采用某种截断方案，否则它不能用于选择预测器。最小绝对收缩和选择算子（LASSO）LASSO由Tibshirani（1996）和Chen等人（2001）提出，作为一种同时正则化和执行变量选择的方法。

套索是最流行的规则化方法之一，它广泛应用于自然数n远大于观测数的数据丰富环境中。套索对应于通过参数向量的范数对回归进行惩罚，即（2.2）中的惩罚由p（β）=λnXi=1 |βi |=λkβk给出。套索的解通过坐标下降算法有效计算（Hasteet al.，2015，第5章）。惩罚是产生稀疏解的最小凸形范数。如果只有一个子集k<n系数非零，我们说解是稀疏的。换句话说，该方法只选择变量的子集。因此，当回归器的总数为n时，套索最有用 测试组合或模型是不可行的。尽管套索具有诱人的性能，但它仍有局限性。为了在克服其局限性的同时保持其预期的性能，已经提出了大量替代性处罚。自适应套索自适应套索（adaLASSO）由H.Zou（2006）提出，旨在通过引入来自第一步OLS回归的权重参数来改进LASSO回归。它还具有稀疏解和高效的估计算法，但具有oracle属性，这意味着它与OLS具有相同的渐近分布，前提是知道应进入模型的变量。adaLASSO惩罚包括使用加权“惩罚：p（β）=λnXi=1ωi |βi |，其中ωi=|β”*我|-1和β*iI第一步估计的系数（β的任何一致估计）AdaLASSO可以处理比观测更多的变量。使用LASSOas，第一步估计器可以被视为Fan等人的局部线性近似的两步实现。