时间序列预测的机器学习进展

（2014年），初始估计为零。弹性网弹性网（ElNet）是邹和黑斯蒂（2005）提出的一种结合套索和脊回归的方法。当方法的Lpart执行变量选择时，Lpart稳定解决方案。当预测因子之间的相关性变得很高时，这一结论更加突出。因此，与套索相比，预测精度有了显著提高（邹和张，2009）。弹性净惩罚是`和`惩罚的凸组合：p（β）=λ“αnXi=1βi+（1- α） nXi=1 |βi |#=λ[αkβk+（1- α） kβk]，其中α∈ [0, 1]. 弹性网有套索和脊回归两种特殊情况。就像套索回归一样，弹性网问题的解是通过坐标下降算法有效地计算出来的。邹和张（2009）提出了自适应弹性网。弹性网和弹性网在不同的方向上改善了套索：弹性网和弹性网有助于预测因子之间的相关性。自适应弹性网结合了这两种方法的优点。它是ridge和Dalasso的组合，其中第一步估计量来自弹性网络。折叠凹惩罚套索方法在稀疏高维估计问题中得到了广泛应用，极大地提高了它们的计算性能。另一种非常流行的方法是Fan和Li（2001）的折叠凹面惩罚法。这种方法涵盖了一组惩罚函数，用于实现一组属性。惩罚的目的是惩罚更多接近零的参数，而不是更远的参数，从而提高方法的性能。

这样，惩罚相对于每个|βi |是凹的。最流行的配方之一是SCAD（平滑剪裁绝对偏差）。Fan和Li（2001）首次在非目的地化的背景下描述了甲骨文财产。注意，与套索不同，惩罚可能以非线性方式依赖于λ。我们将惩罚yin（2.2）设为p（β）=Pni=1ep（βi，λ，γ），其中ep（u，λ，γ）=λ| u | if |u |≤ λ2γλ| u|-U-λ2(γ-1） 如果λ≤ |u|≤ γλλ（γ+1）如果| u |>γλ，对于γ>2和λ>0。SCAD惩罚与针对小系数的套索惩罚相同，但随着系数从零开始，惩罚率会不断降低。我们必须解决一个非凸优化问题，这个问题可能具有多重性，并且比套索计算更密集。然而，Fan等人（2014年）展示了如何使用迭代局部线性近似算法计算oracle估计器。其他惩罚规则对解空间施加限制，可能施加稀疏性。在adata丰富的环境中，这是一个理想的属性，因为许多回归器可能与我们的预测问题无关。上面的演示集中于时间序列预测中最常见的惩罚。然而，在正则化线性模型中可以使用许多替代惩罚。袁和林（2006）提出的群套索将`和`规范结合起来，对群中的参数进行惩罚。它的动机是识别“因子”的问题，例如，在具有可假定许多值的分类变量的回归中，用回归器组表示。设G={G，…，gM}表示{1，…，n}和βgi=[βi:i]的一个划分∈ gi]对应的回归子向量。套索组指定（2.2）惩罚p（β）=PMi=1p | gi | kβgik，其中| gi |是集gi的基数。

解决方案是有效估计，例如，分组优化下降算法Yang和H.Zou（2015）。当然，自适应群套索也被提出，旨在改善群套索算法Wang和Leng（2008）的一些局限性。在套索组中，各组是否进入回归。稀疏组套索通过将组套索惩罚与参数向量上的Lpenalty相结合来恢复稀疏组（Simon et al.，2013）。Park和Sakaori（2013）修改了自适应套索惩罚，以明确考虑滞后信息。Konzen和Ziegelmann（2016）提出了惩罚的一个小变化，并进行了一项大型模拟研究，以评估这种惩罚在不同环境下的表现。他们观察到，与LASSO和adaLASSO相比，考虑滞后信息可以改进模型选择和预测性能。他们将其方法应用于预测通货膨胀和风险溢价，并取得了令人满意的结果。这里介绍的正则化方法有一个贝叶斯解释。岭回归也可以看作是具有独立、等变、高斯先验的高斯线性回归的最大后验估计。套索将高斯先验替换为拉普拉斯先验（Park and Casella，2008；Hans，2009）。这些方法属于贝叶斯收缩法领域，这是一个非常大且活跃的研究领域，超出了本次调查的范围。2.1理论性质在本节中，我们概述了前面讨论的惩罚回归估计的理论性质。

高维时间序列估计的大多数结果都集中在有限维（n固定，但可能大于T）和高维（n随T增加，通常更快）的模型选择一致性、oracle属性和oracle界限上。更准确地说，假设存在一个总体参数向量β，它使重复样本上的等式（2.1）最小化。假设这个参数在某种意义上是稀疏的，即只有由S索引的组件 {1，…，n}是非空的。LetbS:={j:bβj6=0}。如果非零估计分量的指数收敛到Sinprobability，我们说一种方法是模型选择一致的。P（bS=S）→ 1，T→ ∞.一致性也可以用估计量与agiven范数的真参数的接近程度来表示。我们说，如果对于每种情况，估计方法都是Lq一致的 > 0:P（kbβ- βkq>) → 0，T→ ∞.值得注意的是，模型选择的一致性并不意味着Lq一致性，也不意味着Lq一致性。事实上，人们通常必须施加特定的假设，才能实现这些收敛模式中的每一种。给定估计过程的模型选择性能可以进一步细分为多少相关变量j∈ 包括在模型中（筛选）。或者有多少不相关的变量/∈ 我们被排除在模型之外。就概率而言，模型筛选一致性由P（bS）定义 （S）→ 1和P（bS）定义的模型排除一致性 （S）→ 1作为T→ ∞.如果一个惩罚估计的渐近分布与一个只考虑累加器的非惩罚估计的渐近分布相同，则我们认为该惩罚估计具有预言性质。最后，oracle风险界限是Bβ估计误差的有限样本界限，概率很高。

这些边界要求对目标函数的曲率有相对强的条件，这转化为线性模型的预测器之间的协方差矩阵的最小限制特征值的边界，以及λ上涉及非零参数数量| S |的速率条件。套索最初是在固定设计中开发的，带有独立和同分布（IID）错误，但它已被扩展并适用于大量模型，更精确的处理将分离符号一致性和模型选择一致性。符号一致性首次出现在Zhao和Yu（2006）中，也验证了估计回归权重的符号是否收敛于总体权重。设计。Knight and Fu（2000）可能是第一篇考虑套索估计量渐近性的论文。作者考虑固定设计和固定框架。从他们的结果可以清楚地看出，与无关变量相关的参数分布是非高斯的。据我们所知，将结果扩展到相关设置的第一项工作是Wang et al.（2007），其中允许误差项遵循自回归过程。作者表明，套索与模型选择一致，而与adaLASSO类似的改进套索，既与模型选择一致，又具有oracle属性。Nardi andRinaldo（2011）展示了自回归模型中滞后选择的模型选择一致性和预测一致性。Chan和Chen（2011）展示了oracle属性和模型选择ARMA模型中滞后选择的一致性。Yoon等人（2013年）推导了具有自回归误差项的惩罚回归的LASSO、adaLASSO和SCAD的模型选择一致性和渐近分布。

Sang和Sun（2015）使用一般惩罚研究了具有长记忆创新的自回归过程的滞后估计，并将LASSO和SCAD作为特例展示了模型选择的一致性和渐近分布。Kock（2016）展示了adaLASSO在静态和集成过程中滞后选择的模型选择一致性和oracle特性。以上所有结果适用于固定数量的回归者或相对高维度的情况，这意味着n/T→ 0.在稀疏、高维、平稳的单变量时间序列设置中，其中n→ ∞ Medeiros和Mendes（2016年、2017年）以比T更快的速度展示了一大组具有差异鞅、强混合和非高斯创新的线性时间序列模型的模型选择一致性和预言性质。它包括预测回归、自回归模型AR（p）、具有外生变量ARX（p）的自回归模型、具有动态滞后ADL（p，r）的自回归模型，可能存在条件异方差误差。Xie等人（2017）展示了带有β-混合误差的固定设计回归的oracle界限。Wu和Wu（2016）在Wu（2005）的意义上导出了固定设计和弱相关创新的套索回归的预言界，而Han和Tsay（2020）在相同的弱相关框架下，在序列相关误差和协变量下，显示了随机设计和弱稀疏线性回归的模型选择一致性。Xue和Taniguchi（2020）展示了具有长记忆创新的时间序列回归中改进版套索的模型选择一致性和参数一致性。Fan和Li（2001）展示了固定维环境下折叠凹形惩罚估计器的模型选择一致性和oracle属性。Kim等人（2008年）表明，CAD在高维空间中也具有这些特性。

在时间序列设置中，Uematsu和Tanaka（2019）使用相关回归器显示了时间序列模型中的oracle属性和模型选择一致性。Lederer等人（2019年）推导了许多最终回归问题的oracle预测范围。作者的结论是，通用的高维惩罚目标提供了与任何设计矩阵一致的预测。虽然研究结果并不是直接集中在时间序列问题上，但它们足够普遍，可以在这样的环境下使用。Babii等人（2020c）提出稀疏群套索作为一种估计技术，当弱稀疏性通过假设系数（非常）小而不是完全为零来推广稀疏性时。高维时间序列数据可能以不同的频率采样。在数据分布可能具有重尾的框架内，作者导出了稀疏群LASSO估计的oracle不等式。这项调查中没有直接考虑到两个框架，但它们在实证上有很大的相关性，即非静态环境和多元模型。在稀疏、高维、集成的时间序列设置中，Lee和Z.Shi（2020）以及Koo等人（2020）展示了模型选择的一致性，并推导了LASSO估计量和一些变量的渐近分布。Smeeksand Wijler（2020）提出了单方程惩罚误差修正选择器（SPECS），这是一种针对具有大量潜在协整变量的动态单方程模型的自动估计程序。在稀疏多元时间序列中，Hsu et al.（2008）显示了具有白噪声冲击的VAR模型中的模型选择一致性。Ren and Zhang（2010）在类似的设置中使用了adaLASSO，显示了模型选择的一致性和oracle属性。之后，Callot等人（2013）展示了自适应组LASSO的模型选择一致性和Acle特性。

在高维环境中，序列的维数随着观察次数的增加而增加，Kock和Callot（2015）；Basu and Michailidis（2015）展示了高斯V AR（p）模型中套索的oracle界限和模型选择一致性，扩展了之前的工作。Melnyk和Banerjee（2016）将这些结果推广到了大量处罚。Zhu（2020）推导了高维高斯V AR（p）模型的折叠凹惩罚的oracle估计界。最近，研究人员已经偏离了高斯性和正确的模型规范。Wong等人（2020年）在一个错误定义的VAR模型中推导出了套索的有限样本保证，该模型涉及具有次威布尔边际分布的β-混合过程。Masini等人（2019年）推导了混合依赖环境下弱稀疏Var（p）的LASSO估计的方程误差界，其中包括具有条件异方差创新的模型。2.2推论虽然有几篇论文推导了惩罚估计的渐近性质以及theoracle性质，但这些结果是在假设真非零系数足够大的情况下得出的。这种情况称为β-min限制。此外，还没有考虑模型选择，例如惩罚参数的选择。因此，在一致渐近条件下，在没有βmin限制的情况下得出的真实极限分布可能与高斯分布非常不同，甚至是双峰分布；例如，有关详细讨论，请参见Leeb and P¨otscher（2005）、Leeb and P¨otscher（2008）和Belloni等人（2014）。模型选择后的推理实际上是一个非常活跃的研究领域，最近有大量的论文出现在文献中。van de Geer等人。

（2014）提出了离散套索，以便通过修改原始套索估计值Bβ，为每个βj，0构造（渐进）有效的置信区间。设∑*如果是∑：=E（XtXt）的近似值，则解算套索定义为β：=bβ+σ*（Y）- Xbβ）/T。将这一额外项添加到LASSO估计量中，得到一个无偏估计量，它不再精确地估计任何系数为零。更重要的是，渐近正态性可以恢复为√T（eβi）- 在适当的正则性条件下，βi，0）在分布上收敛为高斯分布。毫不奇怪，最重要的条件是∑有多好-1可近似为∑*. 特别是，作者建议运行Xionto X的n LASSOregressions-i:=（X，…，Xi）-1，Xi+1，Xn），1≤ 我≤ n、 作者将这个过程命名为nodewide回归，并使用这些估计来构造∑*（详情请参阅van de Geer等人（2014）中的第2.1.1节）。Belloni等人（2014）在线性模型上提出了双重选择方法，形式为Yt=βX（1）t+βX（2）t+Ut，其中兴趣在于标度参数β和X（2）这是控制变量的高维向量。该程序考虑获得由BSA和BS分别给出的Yton X（2）和X（1）ton X（2）t的高维辅助回归中的有效（相关）回归器的估计。这可以通过套索或任何其他估算程序获得。一旦遇到挫折：=bS∪因此，可以通过低维回归Yton X（1）和{X（2）it来估计（先验）估计的非零参数：∈B}。主要结果（Belloni等人（2014）的定理1）说明了感兴趣参数的估计量Bβ适当研究渐近正态的条件。

因此，可以用通常的方式构造β的一致有效渐近置信区间。与Taylor等人（2014）和Lockhart等人（2014）类似，Lee等人（2016）提出了模型选择后有效推理的一般方法。其思想是描述选择事件条件下的选择后估计器的分布。更具体地说，作者认为，回归系数的选择后置信区间应根据所选模型具有正确的覆盖率。详细讨论了LASSOestimator的具体情况。Lee等人（2016年）、Taylor等人（2014年）和Lockhart等人（2014年）之间的主要区别在于，在前者中，可以根据套索惩罚参数的任何值和模型中的任何系数形成置信区间。最后，需要强调的是，Lee等人（2016年）的推理是基于所选模型的系数进行的，而van de Geer等人（2014年）和Belloni等人（2014年）则考虑了关于真实模型系数的推理。上述论文没有考虑时间序列环境。Hecq等人（2019年）发表的第一篇论文试图在时间序列环境中考虑选择后推理。作者将Belloni等人（2014）的结果推广到依赖过程。然而，他们的结果是在固定数量的变量下得出的。Babii等人（2020a）和Ad\'Amette等人（2020）将van de Geer等人（2014）的开创性工作扩展到时间序列框架。更具体地说，Babii等人（2020a）考虑了异方差和自相关误差下时间序列回归模型的推断。作者考虑了稀疏群套索的异方差性和自相关一致性（HAC）估计。