基于非线性降维的实时通货膨胀预测

我们假设权重函数决定了xoito xojis之间关系的强度，由w（xoi，xoj）=exp||xoi- xoj | c,其中| | xoi- xoj | |表示xoi和xojand之间的欧几里德距离，这是一个调整参数集，除xoi外，w（xoi，xoj）接近于零≈ xoj.这里，cis由Zelnik Manor andPerona（2004）提出的xoias的k近邻的中间距离确定。使用Angerer等人（2016）建议的算法近似计算k的数量。从xoito xojis移动的概率，然后通过归一化得到：pi→j=Prob（xoi）→ xoj）=w（xoi，xoj）Pjw（xoi，xoj）。除了xoI和xoJar彼此相似的情况外，这种可能性往往很小。因此，如果它们相等，则随机游动从xoito xoj移动的概率将很大，但如果两个协变量的差异较大，则随机游动从xoito xoj移动的概率将很小。设P表示维数为K×K的转移矩阵，其中（i，j）th元素由pi给出→j、 从xoito xojin移动的概率n=1，2。然后，步骤就是Pn的矩阵幂，典型元素用pni表示→j、 使用PnyFields的双正交谱分解：pni→j=Xs≥0λnsψs（xoi）φs（xoj），有关天文光谱的应用，请参见Richards等人（2009）。ψsandφsde分别表示P的左特征向量和右特征向量。相应的特征值由λs给出。然后我们继续计算所谓的扩散距离，如下所示：ξn（xoi，xoj）=Xj（pni→J- pns→j） p（xoj），其中pB是一个标准化因子，用于测量随机游动在xoj上花费的比例。事实证明，该度量对于噪声和异常值具有鲁棒性。Coifman和Lafon（2006）证明ξn（xoi，xoj）=∞Xs=1λ2ns（ψs（xoi）- ψs（xoj））。这使我们能够介绍RK的扩散图系列→ rq由以下公式给出：Ξn（xoi）=[λnψ（xoi）。

，λnqψq（xoi）]。然后，距离矩阵可以近似为：ξn（xoi，xoj）≈qXs=1λ2ns（ψs（xoi）- ψs（xoj））=|n（xoi）- Ξn（xoj）|。直观地说，这个方程表明，我们现在通过厄克利德距离在Ξn（xoi）和Ξn（xoj）之间近似计算扩散距离。这个讨论意味着我们必须选择和，我们通过设置q={5，15，30}来实现这一点，根据我们的方法，使用少量，中度或大量的因子和n=T，时间段的数量。我们应用中的算法是使用R包diffusionMap和destiny（Richards and Cannoodt，2019；Angerer等人，2016）实现的。2.3局部线性嵌入Roweis和Saul（2000）介绍了局部线性嵌入（LLE）。直观地说，LLE算法将高维输入数据集X映射到低维空间，同时保留邻域结构。这意味着在原始空间中彼此接近的点在变换空间中也彼此接近。LLE算法基于这样的假设：每个xoiis都是从某个底层流形中采样的。如果这个流形定义得很好，那么每个xoI和它的邻居xojare都位于这个流形的局部线性面片附近。一个结果是，每个xoi可以从其邻居xoj重构，j 6=i，条件是选择适当的线性系数。然而，这种重建会被测量误差破坏。Roweis和Saul（2000）引入了一个成本函数来量化这些误差：C(Ohm) =Xi（xoi）-Xjωijxoj），其中ωij表示权重矩阵的第（i，j）个元素Ohm. 然后，在每个xoII仅从其邻居重建的约束下，该代价函数最小化。这意味着，如果xojis不是xoi的邻居，ωij=0。第二个约束是矩阵Ohm 是随机的，即行和为一。

在这两个限制条件下，可以通过求解最小二乘问题来最小化成本函数。为了使这个算法可行，我们需要定义我们的邻居概念。在下面，我们将根据欧几里得距离使用k-最近邻。我们通过应用Kayo（2006）提出的算法来选择邻域的数量，该算法自动确定k的最佳数量。然后通过最小化：Φ（Z）=Xi | Zoi来获得Z中具有第i列Zoi的q潜在因子-XjOhmijzoj |，这意味着zt中的二次型。在适当的约束条件下，这个问题可以通过计算来轻松解决：M=（IT）- Ohm)（IT- Ohm),并找到与q+1最小特征值相关的M的q+1特征向量。然后丢弃底部特征向量，得到q因子。对于我们的应用，我们使用Rpackage lle（Diedrich and Abel，2012）。2.4等轴测特征映射等轴测特征映射（ISOMAP）是最早开发的手动学习算法。由Tenenbaum et al.（2000）引入，ISOMAP算法确定流形上的测地距离，并使用多维缩放来获得描述底层数据集的少量因子。最初，ISOMAP是为视觉感知和图像识别应用而构建的。在经济学和金融学领域，最近的一些论文强调了其有用性（例如，见Ribeiro等人，2008年；林等人，2011年；Orsenigo和Vercellis，2013年；Zime，2014年）。该算法由三个步骤组成。在第一步中，计算测量数据点之间距离的相异指数。然后，这些距离用于识别歧管上的相邻点。第二步，算法将数据点之间的测地距离估计为最短路径距离。

在第三步中，通过对距离矩阵应用经典多维标度（MDS）来执行度量标度。对于相异变换，我们通过Manhattanindex dij=Pk | xki确定点i和j之间的距离- xkj |收集i是相异矩阵中j的k近邻之一的点。对于我们的实证应用，我们再次通过应用Kayo（2006）提出的算法来选择邻居的数量，并使用R软件包vegan（Oksanen等人，2019）中的实现。所描述的数据集非线性变换能够识别隐藏在高维数据集中的非线性结构，并将其映射到低维。ISOMAP使用流形上的测地距离代替成对欧氏距离，并在考虑全局结构的情况下压缩信息。2.5带深度学习的非线性压缩深度学习算法的特点是不仅将输入非线性转换为输出，而且以转换的方式表示输入本身。在将数据输入映射到输出值之前，数据的表示是以其他简单的表示形式表示的，这就是所谓的表示学习。自动编码器（AE）是一种既能表现自身又能表现输出的工具。第一步由编码器功能完成，该功能将输入映射到内部表示。第二部分将编码（转换）数据映射到输出，称为解码器函数。他们以非线性方式提取因子的能力解释了观测数据中的大部分可变性，这使SDEEP学习者成为补充常用降维技术的强大工具（Goodfello等人，2016）。Andreini等人。

例如，（2020年），在动态因素模型中嵌入了一个动态编码结构，并表明它对美国GDP产生了良好的现在和预测性能。在他们的论文中，他们通过同时估计非线性潜在因素和参数来考虑额外的灵活性。在实证金融方面，希顿等人（2017）、冯等人（2018）和凯利等人（2019）发现，这些方法的应用有利于预测资产回报。基于深度学习技术，我们提出通过应用大量l∈ {1，…，L}到X的非线性变换。这些变换被称为隐藏层，L表示我们架构的深度，f表示一元激活函数。更具体地说，在每一层中，激活函数（非线性）转换输入（前一层的输出）。我们采用的一个常见选择是由f（X）=exp（X）给出的双曲正切（tanh）- 经验(-十） exp（X）+exp(-十） 。我们将此函数元素应用于X的条目。使用tanh激活函数是由最近的研究（如Saxe et al.（2019）和Andreini et al.（2020）确定的强大经验特性决定的。我们的深度学习算法的结构可以表示为由^X（l）=f给出的单变量半函数的组合形式^X（l）-1） W（l）-1） +ιT bl-1.W（l）+ιT bl，1人≤ L≤ 五十、 和^X（0）=X表示L=0。

这里，W（l）表示维数为Nl的加权矩阵-1×Nl（Nl为l层神经元数量），BLI为Nl×1偏差向量，ιTis为1的T×1向量。原则上，f可以在不同的层上变化。然后通过设置Z=^X（L）=f获得网络的输出^X（L）-1） W（L）-1） +ιT bL-1.W（L）+ιT 注意，如果我们设置NL=q( K） ，我们实现了降维，网络的输出是输入数据集的（非线性）压缩版本。原则上，我们刚才描述的内容构成了自动编码器的编码部分。如果我们对恢复原始数据集X感兴趣，我们只需添加额外的层，以增加神经元的数量为特征，直到我们达到NL+j=K，j=1，2。^W=（^W（1），^W（L））和^b=（^b，…，^bL）是通过计算损失函数获得的，最常见的是样本t的均方误差。神经网络的复杂性是通过选择隐藏层L的数量和每层Nl中的神经元数量来确定的。我们使用不同的调整参数集进行预测，并选择一个、三个、五个和八个隐藏层，神经元的数量明显缩小到所需的因子数量。对于损失函数和优化算法，我们坚持文献中的常见选择，并使用均方误差损失函数和自适应矩估计（ADAM）。我们在100个时期内对至少84个批次重复优化过程，这些批次对应于美国商业周期的平均持续时间。这意味着，我们在每个时期对算法进行训练，对原始数据集进行至少一个商业周期长度的分区。为了捕捉数据中存在的不同周期的动态，优化过程需要在相当多的时间段内重复。

我们发现，该算法收敛速度快，将历元数设置为100是有效的。我们使用keras的R接口（Allaire和Chollet，2019），这是一种高级神经网络SAPI，广泛用于实现深度学习模型。3预测通货膨胀的TVP回归在下文中，我们介绍了预测回归，该回归将我们的目标变量消费者价格通货膨胀与Z和其他观察到的因素联系起来。继Stock和Watson（1999）之后，定义如下：yt+h=logCPIt+hCPIt- 日志CPItCPIt-1., （2） 用CPIt+h表示t+h期间的消费物价指数。在实证应用中，我们设定h∈ {1, 3}. yt+his然后使用动态回归模型建模：yt+h=dtβt+h+t+h，t+h~ N（0，σt+h），（3）式中，βt+his是与用dt表示的M（=q+p）协变量相关的TVPs向量，σt+his是时变误差方差。数据可能包括从数据中提取的潜在因素。商业周期的平均持续时间是使用美国国家经济研究局（National Bureau of Economic Research）提供的关于商业周期扩张和衰退的数据确定的。上一小节中讨论的各种方法，流动滞后，截距项或其他未压缩的协变量。根据大量文献（Taylor，1982；Belmonte et al.，2014a；Kalli and Griffin，2014；Kastner and Fr–uhwirth Schnatter，2014；Stock and Watson，2016；Chan，2017；Huberet al.，2021），我们假设TVP和误差方差根据独立的随机过程演化：βt+hlogσt+h！~ Nβt+h-1uh+ρhlogσt+h-1.V 00θh！！，（4） uh表示对数波动率的条件平均值，ρ表示持续性参数，θh表示对数σt+h的误差方差。矩阵V是一个M×M维方差协方差矩阵，V=diag（V，…，vM），vjb表示过程创新方差，它决定了βt+h中的时间变化量。

这种设置意味着，假设TVP遵循随机游走过程，而对数波动率则按照AR（1）过程演化。式（3）和式（4）所描述的模型是一个灵活的状态空间模型，包含了广泛的模型，通常用于预测通货膨胀。例如，如果我们设置V=0和θ=0，我们就得到了一个具有同方差误差的常数参数模型。如果V是一个完整的M×M矩阵，但秩降低，我们得到了Chan等人（2020）提出的模型。如果dt包括了通货膨胀和（滞后）个人电脑的滞后，我们得到了一个与Stock和Watson（2002a）中使用的模型密切相关的模型。如果我们设置dt=1并考虑TVP，我们将获得一个与Stockand Watson（1999）中成功采用的未观测分量随机波动率模型类似的特殊情况。通过适当选择dt、Vandθ，可以识别大量其他型号。然而，这种灵活性需要模型选择。我们使用贝叶斯方法选择合适的子模型进行估计和预测。这些技术将在在线附录的B节中进一步讨论，并允许对更简单的嵌套替换进行基于数据的收缩。4预测美国的情况4。1数据概述、预测活动的设计和竞争对手在我们的实证应用中，我们考虑了流行的FRED-MD数据库。该数据集可公开访问并实时可用。月度数据年份确保我们只使用在生成给定预测时可用的信息。有关数据库的详细说明，请参见McCracken和Ng（2016）。为了实现近似平稳性，我们对数据集进行了转换，如在线附录C节所述。

此外，在使用非线性降维技术之前，每个时间序列被标准化为具有样本均值零和单位样本方差。我们的美国数据集包括1963:01至2021:01期间的105个月度变量。预测设计依赖于滚动窗口，如Clark（2011）所述，其初始范围为1980:01至1999:12。对于从2000:01开始到2019:12结束的保留样本的每个月，我们计算每个模型的h个月前预测分布（forh∈ {1,3}），将估计样本的长度固定在240个观测值（即20年的滚动窗口）。在这些时期，我们按照Chan（2017）的评估方法，将每个预测与未来一个季度的通货膨胀实现情况进行对比。由于大多数数据修订发生在第一季度，而之后的年份保持相对不变（例如，见Croushore，2011年；Pfarrhofer，2020年），我们确保已实现的通货膨胀不再受到修订的影响。一个关键限制是，所有方法都是有条件地指定在dt上，因此隐含在用于从X移动到Z的特定函数f上。本文的另一个关键目标是通过使用动态模型平均技术来控制f的不确定性。为了获得预测组合，我们使用了我们保留样本的前24个观察值。剩下的时间段（即从2002:01到2019:12）构成了我们的评估样本，并再次将各自的预测与预测提前一个季度进行对比。根据竞争模型，我们可以沿着两个维度对规格进行分类：1。DTS是如何构造的。首先，让St表示除yt之外的K维协变量向量。xt=（st，…，st）-p+1）则由K=pK的STP滞后组成。

在我们的实证工作中，我们设定了p=12，并将所有变量包括在数据集中（除了转换后的CPI系列，即K=104）。然后，我们使用第2节中概述的不同降维技术来估算zt。此外，我们还将YT的p滞后作为dt的额外观测因子。这有助于研究当人们的兴趣集中在预测通货膨胀时，不同的降维技术是如何执行的。我们还考虑了simpleAR（12）模型以及一个小规模和大规模AR规范，其中增加了（观察到的）外源性协变量（此后标记为ARX），作为额外的竞争对手。对于小规模变量，我们包括五个外生回归变量，而对于大规模ARX模型，我们使用20个额外的协变量。由于宏观经济预测文献对此类预测ARX模型中的变量包含情况没有定论（例如，见De Mol等人，2008年；Stock and Watson，2008年；Koop and Korobilis，2012年；Hauzenberger等人，2019年），我们使用半自动方法，以不可知论的方式处理该问题。我们将在第4.2.2小节中对此进行更详细的讨论。dt和yt+h之间的关系。我们的模型所遵循的第二个维度是公式（3）中描述的特定关系。为了研究非线性降维技术是否能够有效地控制未知形式的非线性，我们对所有以TVP为特征的模型及其相应的常数参数进行了基准测试。为了进行模型选择，我们考虑两个先验条件。