大规模动态预测回归

美国各行业的年度通货膨胀预测和总股票回报预测。第4节总结了本文，并进行了进一步讨论。2解耦补偿策略决策者D有兴趣预测某个数量y，以便基于一大组预测值做出一些有信息的决策，这些预测值都被认为与D相关，但程度不同。例如，在宏观经济学的背景下，这可能是决策者感兴趣的信息，使用多个宏观经济指标来预测通货膨胀，决策者可以控制或不能控制（如利率）。类似的利益也与金融相关，例如，投资组合经理的任务是根据风险资产的预期未来回报实施最佳投资组合配置。一种典型的相关方法是考虑基本的时间序列线性预测回归（参见Stambaugh 1999、Pesaran and Timmermann 2002、Avramov 2004、Lewellen 2004、Goyaland Welch 2008和Rapach et al.2010等）；yt=βxt+t，t型~ N（0，ν），（1）式中，ytis兴趣量，xtis p-预测因子的维向量可能有自己的动力学，β是p-β的维向量，和这是一些观察噪音（高斯和常数随时间变化，以确定想法）。在许多实际重要的应用中，与D相关的预测因子的维数很大，可能太大，无法直接拟合像普通线性回归那样简单的东西。事实上，至少在先验上，所有这些预测因子都可以为D的决策过程提供相关信息。在这种情况下，正则化或收缩将与D的决策过程不一致，因为她对模型空间的大小没有教条主义先验。

同样，主成分分析和因子模型等降维技术，如Stockand Watson（2002）和Bernanke、Boivin和Eliasz（2005），在使用所有可用预测因子的同时，将其降维为一小部分预设的潜在因子，从最佳决策的意义上讲，这些潜在因子通常难以解释或控制。我们的解耦-再耦合策略利用了一个事实，即潜在的大p-预测器的维向量可以分成更小的组j=1:j，修改公式（1）toyt=βxt，1+…+βjxt，j+…+βJxt，J+t，t型~ N（0，ν）。（2） 这些组可以根据一些定性类别（例如，与同一经济现象相关的预测值组）或一些定量指标（例如，基于相似性、相关性等的聚类）进行划分，但每个划分组的维度应相对较小，以获得合理的估计。我们的模型组合策略的第一步是将等式（2）分解为J个较小的模型，例如，yt=βjxt，J+t、 j、，t、 j~ N（0，νj），（3）对于所有j=1:j，产生预测分布p（yt+k | Aj），其中Aj表示每个子群，k≥ 1是预测范围。由于公式（3）是每个子组数据的线性投影，我们可以在不丧失一般性的情况下考虑，p（yt+k | Aj）反映了该子组产生的有关感兴趣数量的信息。在第二步中，我们重新计算j=1:j时的密度p（yt+k | Aj），以获得反映和合并每个子群产生的所有信息的预测分布p（yt+k）。在最简单的设置中，p（yt+k | Aj）可以通过线性池进行补偿（更多讨论，请参见Geweke andAmisano 2011）；yt+k=wp（yt+k | A）+…+wjp（yt+k | Aj）+。。。

+wJp（yt+k | AJ），（4），其中权重w1:Jare由决策者根据过去的观察结果估计（例如，使用w1:jp与边际可能性的比例）。BMA和线性池的主要区别在于w1:Jan的范围和所采用的估计方法。虽然这种线性组合结构在概念上和实践上都很有吸引力，但它并没有捕捉到这样一个事实，即我们期望并理解每个p（yt+k | Aj）都是有偏差的，并且相互依赖。可以说，每个分组p（yt+k | Aj）总是有偏差的，除非其中一个是数据生成过程，这是我们在经济或金融应用中无法预期的。Geweke和Amisano（2012）正式表明，即使所有组成模型都不成立，线性池法和BMA也会为多个模型分配正权重。对于j 6=q，p（yt+k | Aj）和p（yt+k | Aq）之间的相关性也是模型组合的一个关键方面。事实上，应选择最佳的权重组合，以最大限度地减少组合预测的预期损失，通过定义，这既反映了每个子模型的预测精度，也反映了单个预测之间的相关性。例如，很明显，与劳动力市场相关的宏观经济变量的边际预测力在某种程度上与产出和收入的解释力相关。此外，预测密度之间的相关性是潜在的和动态的。流动性、偿付能力和总体宏观经济变量之间的联系在2008/2009年金融危机前后发生了变化。因此，有效的再耦合步骤必须能够依次学习和恢复子组/子模型之间的潜在偏差和相互依赖性。为了解决这些问题，我们以West和Crosse（1992）提出的理论基础和最新发展为基础；West（1992）；McAlinn和West（2017年）。

每个子群都被认为是一个潜在状态，其中p（yt+k | Aj）表示状态j=1，…，上的一个不同先验。。。，J、 当BPS在贝叶斯范式中处理潜在状态时，可以通过标准的贝叶斯更新来学习和恢复潜在状态之间的偏差和相互依赖。BPS与更一般的潜在因素模型（如PCA）之间的区别在于，BPS允许在每个时间t使用先验p（yt+k | Aj）将每个潜在状态固定到D特定的组。在这方面，BPS的基本假设是，每个潜在状态反映每个子组/子模型的信息，并保持可解释性，这是D决策过程的关键组成部分。在深入研究BPS的具体情况之前，我们首先概述了为什么在我们提出的解耦-再抽样框架中使用BPS，与收缩方法和因子模型相比，潜在地提高了预测能力。为了验证想法，我们重新考虑了偏差-方差权衡效应；一个众所周知的统计特性，模型复杂性的增加会增加方差并降低偏差，反之亦然。收缩方法和因子模型的目标都是任意降低模型复杂性，以平衡偏差和方差，从而潜在地最小化预测损失。就套索类型收缩而言，增加调整参数（即增加收缩）会导致偏差增加，因此交叉验证旨在通过平衡调整参数来平衡偏差方差权衡。同样，在因子模型中，通过降低模型维数来选择最佳的潜在因子数，以增加偏差为代价来减少方差。

我们提出的方法通过将一个大维度问题分解为一组小维度问题，对偏差-方差权衡采取了一种显著不同的方法，同时利用了BPSmethodology可以通过贝叶斯学习来学习偏差和相互依赖的事实。在这种情况下，只要偏差有一个可以学习的信号，重新连接偏差模型的阶跃收益。更具体地说，通过将模型解耦为更小、更不复杂的模型，我们调整了偏差，即每个组的特征，即顺序学习和纠正的偏差，同时保持每个模型的低方差。这改变了偏差-方差的权衡，利用低复杂性模型的弱点在重耦步骤中发挥优势，潜在地提高了预测性能。2.1贝叶斯预测综合在BPS的一般框架中，决策者D有兴趣预测一些数量y，并将J个标记为Aj（J=1:J）的单独模型的信息纳入其中。D有一些关于感兴趣的数量的先验信息p（y），每个Aj都提供了他们自己的先验分布，关于他们认为数量的结果以预测分布的形式hj（xj）=p（y | Aj）；定义信息集H={H（·），…，hJ（·）}的集合。

BPStackles的问题是：贝叶斯决策者应该如何整合这些先验分布（D的ownand为A1:J）并学习、更新和校准，以改进预测？正式的先验-后验更新方案假设，对于给定的先验p（y）和（先验）信息集H（由A1:J提供），我们可以使用Bayes定理进行更新以获得后验p（y | H）。由于H的复杂性，一组具有横截面时变依赖性和个体偏差的J密度函数–p（y，H）=p（y）p（H | y）是不切实际的，因为p（H | y）很难定义。West和Crosse（1992年）以及West（1992年）的工作在纳入专家提供的多个先验信息的背景下，扩展了Genestand Schervish（1985年）的基本定理，以表明在特定的一致性条件下，D的后验密度的形式为p（y | H）=Zα（y | x）H（x）dx，其中H（x）=JYj=1hj（xj）。（5） 这里，x=x1:J=（x，…，xJ）是J-具有eachAj提供的先验的状态的维潜在向量，α（y | x）是一个条件密度函数，它反映了决策者认为这些潜在状态是如何合成的。公式（5）的唯一要求是，它必须与D的先验一致，即p（y）=Zα（y | x）m（x）dx，其中m（x）=e[h（x）]，（6）最后一个公式中的期望值超过D对p（h）应该是什么的信念。关键的是，公式（5）的表示不需要p（y，H）的完整规格，只需要条件密度α（y | x）和边际期望函数m（x）。仅这两个函数就可以将任何先验知识以模型预测的形式整合到偏差、预测精度以及更重要的相互依赖性方面。需要注意的是，该理论没有规定α（y | x）的形式。

事实上，McAlinn和West（2017）表明，许多预测组合方法，从线性组合（包括贝叶斯模型平均）到最近开发的密度池方法（如Aastveit、Gerdrup、Jore和Thorsrud，2014；Kapetanios、Mitchell、Price和Fawcett，2015；Pettenuzzo和Ravazzolo，2016），都是PS的特例。现在，假设D对更关键和相关的一步预测任务感兴趣。D想要预测YT，并从模型集接收当前预测密度Ht={ht1（xt1），…，htJ（xtJ）}。因此，D使用的完整信息集是{y1:t-1，H1:t}，y的过去数据和来自A1:J的预测分布的历史信息。将等式（5）扩展到动态背景（如McAlinn和West，2017年所做），D具有y时间t预测的动态后验分布- 表1（yt |Φt，y1:t-1，H1:t）≡ p（yt |Φt，Ht）=Zαt（yt | xt，Φt）Yj=1:Jhtj（xtj）dxtj（7），其中xt=xt，1:Jis a J-时间t的多维潜在主体状态向量，αt（yt | xt，Φt）是给定潜在状态xt的y的D条件合成函数，Φtre表示一些在1:t上学习和校准的时变参数。这个一般框架意味着，xt是在t时固有动态潜在因子的实现，通过时变条件分布αt（yt | xt，Φt）将这些单独的潜在预测密度重新耦合到时间序列yt来实现合成。虽然该理论没有规定αt（yt | xt，Φt），但与McAlinn和West（2017）一样，自然选择是施加线性动力学，例如，αt（yt | xt，Φt）=N（yt | Ftθt，vt），Ft=（1，xt）和θt=（θt0，θt1，…，θtJ），（8）其中θt表示a（J+1）-时变综合系数向量。观测噪声反映在新息方差项vt中，一般时变参数Φt定义为Φt=（θt，vt）。

这些参数的演变需要完成模型规范。我们遵循动态线性模型中的现有文献，并假设θ和vt都随着arandom行走而发展，以允许随时间的随机变化，这是贝叶斯时间序列文献中的传统（见West和Harrison 1997；Prado和West 2010）。因此，我们考虑yt=Ftθt+νt，νt~ N（0，vt），（9a）θt=θt-1+ωt，ωt~ N（0，vtWt），（9b），其中vtWt表示θ和vt动力学的新息协方差预测yt中的残差方差，它基于过去的信息和模型的预测密度集。剩余物ν和进化创新ω在时间上是独立的，在所有t、s上是相互独立的。WTI的动态是由标准的单一贴现因子规范施加的，如inWest和Harrison（1997）（Ch.6.3）以及Prado和West（2010）（Ch.4.3）。残差方差vt遵循贝塔-伽马随机游走波动率模型，因此vt=vt-1δ/γt，其中δ∈ （0，1）是一个常数参数，γt~ β（δnt-1/2, (1 - δ） nt公司-1/2）对于所有t、s、r，创新是否随时间而独立，且与vs、ωrf无关，nt=δnt-1+1，自由度参数。将每个FTX中的xtvectors视为潜在变量，通过等式确定动态潜在因子模型。(9). 当预测每个t时，潜在状态被认为是从一组模型的预测密度htj（·）中提取出来的，后者在时间t时可用- 1用于预测年初至今。注意，XTJAR是从P（xt |Φt，y1:t）独立绘制的（对于t-1，H1:t）≡ p（xt | Ht）=Yj=1：Jhtj（xtj）（10），对于所有的t 6=s，x条件独立。重要的是，以htj为条件的xtj的独立性不得与预测密度之间依赖关系的建模和估计问题混淆。

D对这些模型中的偏差和相互依赖性的建模和估计有效地映射并通过时变参数Φt=（θt，vt）反映出来。对动态综合函数进行了进一步的讨论。虽然我们为合成函数选择了一种简单且灵活的动态形式，即αt（yt | xt，Φt），但理论上，我们不需要为模型特定预测密度的合成简化某些结构。例如，如果已知不同的模型给出相同的预测，则可以将横截面相关性设置为较高；类似地，如果我们认为在给定的时间段内，有明显的制度变化有利于某些模型，那么制度转换方法或状态方程中的指标可能是合适的。我们还注意到，预测组合文献中的大多数方法侧重于限制为单位单纯形的权重，以及求和为1的权重。对于权重总和为1的情况，我们可以应用Irie和West（2016）中使用的技术，其中权重总和始终限制为相同的值。对于仅限于单位单纯形但不求和为1的权重，这要复杂得多，因为我们现在有一个非线性状态空间模型。尽管将权重限制在单位单纯形中的好处是可解释性，但在这种限制中，预测准确性方面并没有真正的收益（Diebold，1991），就像允许持有空头头寸的投资组合可以在只持有多头头寸的投资组合上得到改善一样。在Eqs中的动态设置中。（9） ，将可能的权重限制为低于无限制情况下的性能。例如，假设所有模型都高估了某个正值的兴趣量。在限制性情况下，没有任何权重组合可以达到该数量，而非限制性情况可以通过施加一些负系数来实现。

出于这些原因，我们使用了等式中隐含的无限制动态权重方案。（9） 而不是传统的限制变化。2.2估计策略根据每个子组的模型假设，解耦步骤的估计很简单。对于（动态）线性回归，我们可以使用共轭更新对每个hj（xj）=p（y | Aj）进行采样。对于使用BPS的重新取样步骤，需要进行一些讨论。特别是，潜在状态和结构参数的联合后验分布无法以闭合形式获得。在我们的框架中，潜在状态由模型的预测密度Aj表示，j=1。。。，J、 和合成参数Φt。我们使用有效的吉布斯抽样方案实现了马尔可夫链蒙特卡罗（MCMC）方法，详见附录a。感兴趣量的边际后验分布计算为模型相关边际预测密度的混合物，通过αt（yt | xt，Φt）隐含的合成进行加权。使用我们的MCMC方案对模型空间进行积分，该方案提供了对潜在状态和参数的一致估计。潜在状态XT的后验估计提供了对子群间条件依赖性质以及子群特征的深入了解。MCMC算法涉及定制的双组分块Gibbs采样器中的一系列标准步骤：第一组分根据给定数据、子组的过去预测和合成参数的潜在状态的条件后验分布进行模拟。这是“学习”步骤，我们从中学习潜在状态的偏差和相互依赖性。