从预测误差中学习：预测组合的一种新方法

对于组合权重Kbw-wk,本文讨论了因子GLASSO（算法3）和因子MB（算法4）在(i)算子范数Bθ-θ,(ii)`/`-矩阵范数Bθ-θ和(iii)`-向量范数中的一致性，其中w由（3.7）给出，预测误差具有以下结构：et{z}p×1=B ft{z}q×1+εt,t=1。.，T(6.1)ft=φfft-1+ζT，(6.2)其中etis是N(0,∑)后预测误差的p×1向量，ftis是因子的q×1向量，B是因子负荷的p×q矩阵，φf是因子中的自回归参数，为简单起见是标量，ζ是每个分量独立地跟随N(0,σζ）的q×1随机向量，ε是N(0,∑ε)后的p×1随机向量，稀疏的θε具有如下所述的随机图结构。为了在（6.1）中创建B，我们从p×p Toeplitz矩阵的Cholesky分解中得到上三角矩阵的q列，该矩阵的参数为ρ:B=(B)ij，其中(B)ij=ρi-j,i,j∈{1,...,p}。我们设ρ=0.2，φf=0.2，σζ=1。（6.1）中的具体说明导致协方差矩阵的低秩加稀疏分解:E[etet=∑=b∑fb+∑ε。（6.3）当∑ε有一个稀疏逆θε时，它导致精确矩阵θ的低秩加稀疏分解，使得θ可以表示为低秩θf+稀疏θε的函数。我们考虑以下设置：设p=Tδ,δ=0.85,q=2(log(T))0.5,T=[2κ],对于κ=7,7.5,8,。...,9.5。我们的设置允许单个预测的个数p和预测误差中的公因子个数q随样本量T增加。构造了一个稀疏的特征分量精度矩阵θε如下：我们使用随机图结构生成邻接矩阵。构造一个p×p邻接矩阵aε，表示图的结构:aε，ij=1,对于I6=j,概率π，0,否则(6.4)，其中aε，ij表示邻接矩阵aε的第i,j个元素。我们设置aε，ij=aε，ji=1，对于i6=j，概率π，否则设置0。这种结构导致图中的边为st=p(p-1)π/2。为了控制稀疏性，我们设置π=1/(pt0.8)，使得st=O(t0.05)。邻接矩阵的对角线元素等于零。因此，为了得到一个正的计算精度矩阵，我们应用了Zhao等人所描述的方法。（2012）：使用他们的符号，θε=aε·v+I(τ+0.1+u)，其中u>0是一个正数加到精度矩阵的对角线上，以控制部分相关的强度，v控制与u的部分相关的大小，τ是aε·v的最小特征值。在我们的模拟中，我们使用u=0.1和v=0.3。图7-8显示了精度矩阵θ和最佳组合权重的估计量在对数尺度（基数2）下与样本大小T的平均误差（在蒙特卡罗模拟中）。利用对角协方差和精度矩阵表示相等权重的事实，得到了电子战预报组合精度矩阵的估计。为了确定对角线元素的值，我们使用收缩强度coe-cient作为预测误差的样本协方差矩阵的特征值的平均值计算（见Ledoit和Wolf(2004))，如图7-8所示，GLASSO因子和MB因子显示出优于EW和非因子模型（GLASSO和MB）。此外，我们的方法在组合权重(3.9)上实现了较低的估计误差，从而导致组合预测的风险较低，如（3.8）所示。有趣的是，与因子GLASSO相比，尽管因子MB估计的精度矩阵在·范数和·范数上有更快的收敛速度，但因子GLASSO估计的权重收敛得更快。另外，用EW方法估计的精度矩阵也表现出良好的收敛性。

然而，在估计组合权重方面，电子战的性能并不表现出收敛性。这与以前报道的结论（Smith and Wallis(2009))不一致，即等权重在理论上不是最优的，然而，正如下一小节所展示的，尽管基于FGM的组合优于它，但EW组合仍然导致了相对较好的MSFE性能。6.2基于FGMWe的预测组合的性能比较考虑文献中的标准预测模型（例如Stock and Watson(2002))，该模型使用了高维预测器的因子结构。假设数据是从以下数据生成过程(DGP)生成的:xt=λgt+vt，(6.5)gt=φgt-1+ζ,(6.6)yt+1=gtα+∞xs=1θst+1-s+t+1,（6.7）其中yt+1是我们在预测中感兴趣的一个单变量序列，xtis是一个N×1的回归子（预测子）向量，β是一个N×1的参数向量，gtis是一个r×1的因子向量，λ是一个N×r的矩阵减负荷，vtis是一个N(0,σv)后面的N×1的随机向量，φ是因子中的自回归参数，为简单起见是一个标量，ζ是一个r×1的随机向量，每个分量独立地跟随N(0,σζ），t+1是一个N(0,σ)后面的随机误差，α是从N(1，1)中随机提取的r×1的参数向量。我们设σ=1。根据Hansen(2008)的规则θs=(1+s)ccs，(6.8)的coe cientsθsareset。我们设置C∈0,0.75}和C∈0.6,0.7,0.8,0.9}。我们用（6.6）生成r因子，在0到0.9之间有10个等距的网格。为了在（6.5）中创建λ，我们从N×N Toeplitz矩阵的Cholesky分解中取r个上三角矩阵的行。我们考虑一个由10个ρ-0.9之间等距的di值组成的网格，用因子增广自回归(FAR)模型估计一步预测，其阶数为k，l，表示为FAR(k，l):yt+1=μ+κG1,t+··+κk gk,t+ψyt+··+ψlyt+1-l，(6.9)，其中因子(G1,t,...,gk,t）由方程（6.5）估计。我们考虑了各种阶的FAR模型，k=1，..，K和l=1，.我们还考虑了没有任何滞后y或任何因素的模型。因此，预测模型的总个数为p(1+K)×(1+L)，其中包括使用朴素平均或无因子的预测模型，总观测个数为T，且回归周期（训练样本）中的观测个数为样本的一半，T=1。.，mt/2，留下样本的第二个一半，t=m+1，...,T，用于样本外评估（测试样本）。我们将估计窗口滚动到大小为n≈t-m的测试样本上，以更新每个时间点T=1的所有估计。...,M.回想一下，q表示方程（3.1）中预测误差中的因素数。我们将检验当T和p变化时基于因式分解模型的组合预测的性质，并将它们的性能与基于GLASSO的组合预测进行比较，MB和EW预测。我们考虑了一个低维的设置来证明FGM的优势，即使当预测的数量p相对于样本容量很小时，T:(1)在这种情况下，EW是优势的，因为没有很多模型可以组合，并且分配相等的权重应该产生工厂性能，(2)非基于因子的模型比基于因子的模型更优势，因为估计误差。结果表明，该框架具有低维度的特点，适用于电子战和非因素模型。图9显示了两个样本大小和参数的MSFE：我们报告了两个值C∈0,0.75}的结果。从图9中可以看出，对于C的两个值，使用因子结构的模型优于EW组合和非基于因子的对应模型。我们看到GLASSO因子通常比MB因子有更低的MSFE。

在附录A中，我们考察了竞争模型对DGP参数变化的敏感性，这些参数包括预测因子数N、c、φ值、因子加载强度ρ、因子数q。7 FGM在宏观经济预测中的应用通过对大数据环境下宏观经济时间序列预测的实证应用，与已有的预测组合方法相比，突出了算法3-4所描述的两种因素图形模型的优势。我们使用McCracken and Ng(2016)的大型月频宏观经济数据库，他们提供了数据集和128个宏观经济系列的全面描述。我们考虑时间周期1960:01-2020:07，总观测值T=726，训练样本由m=120个观测值组成，最大样本n≈t-m-h+1,其中h为预测时域。我们将估计窗口滚动到测试样本上，以更新每个时间点t=m，中的所有估计。...,t-h。我们估计了远(k，l)的提前预测，这些预测在(6.9)k=0,1,。.，K=9，andl=0，1，...,L=11。预测模型总数为p=120。采用Bai and Ng(2002)中描述的信息准则IC1的标准datadriven方法，选择了预报误差（方程（3.1）中的q）中的最优个数。我们注意到，在大多数情况下，最优的因素数目估计为1。表1比较了GLASSO和MB因素与其他竞争者的表现，以预测美国经济的七个代表性宏观经济指标：月度工业生产(INDPRO)、S&P500综合指数(S&P500)、消费物价指数(CPIAUCSL)、实际个人消费(DPCERA3MO86SBEA)、M1货币存量(M1SL)、市民失业率(UNRATE)和联邦基金利率(FEDFUNDS)。设{Yt}tt=1是预测的兴趣序列。类似地，toCoulombe等人。(2020)，INDPROD、S&P500、CPI、实际个人消费和M1货币存量的平均增长率（用对数）预测:Yt+H=Hln(Yt+H/Yt)。（7.1）对于无比率，我们预测平均变化（无对数）:yt+h=h(yt+h/yt)。（7.2）对于FedFund，我们预测序列的对数:yt+h=ln(yt+h)。（7.3）表1用Boldfont报告了每行MSFE最小的竞争方法的MSFE。如表1所示，我们的方法优于EW、GLASSO和nodewise回归：考虑因素结构导致MSFE更低。因此，即使在模型/专家不包含大量唯一信息的情况下，本文开发的FGM框架也使组合预测比EW模型具有更好的性能。我们的实证应用表明，这一发现并不是源于EW vsgraphical模型的性能差异：如表1所示，在FEDFUNDS系列中，GLASSO的性能比EWs差，而因子GLASSO的性能优于EW。在M1货币股票的nodewise回归表现中也观察到了类似的模式。因此，组合预测的改进在于将预测误差的因子结构纳入到图形模型中。注意，与EW和非基于因子的方法相比，因子GLASSO和因子MB的性能在预测视界h增加时不会显著恶化。然而，请注意，因子图形模型往往在h≥2时表现更好。换句话说，在预测误差中考虑公共因子对长期有更大的好处。

最后，对于大多数系列因子，GLASSO的表现优于因子MB，这表明使用加权惩罚对数似然和运行p个耦合套索问题来估计精度矩阵的形式经济预测比使用每个变量作为响应，其他变量作为预测的p个独立套索回归更可取。8结论本文克服了在因子结构下使用图形模型的挑战，并提供了一个简单的框架，允许实践者在专家容易犯常见错误的情况下组合大量预测。本文提出的组合预测方法将预测误差分解为共同的和唯一的两部分，提高了组合预测的精度。所提出的算法，因子图形模型，被证明是一致的估计预测组合权重和MSFE。对大数据环境下宏观经济预测的大量模拟和实证应用表明，FGM优于等权重预测和使用无因子图形模型产生的组合预测。由于在所有预测层位上都观察到了较好的性能，我们发现在较长的层位上可以证明对公共因素的解释会带来更大的好处。9附录本节我们收集了定理1-2的证明。我们给出了一个引理，该引理用于理论推导。引理1。设l∈{1,2}⑵{因子GLASSO,因子MB}.(a)θ=O(κ1l)，其中κ1l=dTif l=1对应因子GLASSO,κ1l=2对应因子MB。这将进一步缩写为κ1L∈{dT,d}l=1,2。(b)a≥c>0，其中a在第3节中被定义，并且c1是一个正常数，表示它们的最小特征值θ。(c)ba-a=OP(κ2l)，其中ba在第3节中被定义，而κ2l∈{%1tdtst,%2t/d}l=1,2。证明。(a)为了证明(a)部分，我们使用以下矩阵不等式，该不等式对任何a∈sp:a=a∞≤pd(a)a，(9.1)，其中d(a)在第5节开始时被定义。（9.1）的证明是Schwarz不等式的直接结果，Sherman-Morrison-Woodbury公式与（9.1）和假设(b.1)-(b.3)的结果是:θ≤θε+θεB[θf+bθεB]-1bθε=O(√κ1L)+O√κ1L·p·p·√κ1L=O(κ1L).(9.2)(b)假设(a.1)指出θ的最小特征值离零有界，因此a=lpθlp/p≥c>0。(c)使用H-olders不等式，我们得到ba-a=lp(bθ-θ)lpp≤(bθ-θ)lpk∞p≤bθ-θ=OP(κ2l)=OP(1)，其中最后一个速率使用定理1.9.1的假设得到定理1的证明。首先，注意预测组合权重可以写成bw-w=(abθlp)-(aθlp)/p aa=(abθlp)-(aθlp)+(aθlp)-(aθlp)/p aa。如Callot等人所示。（2019年），以上可改写为ASKBW-WK≤AK(Bθ-θ)PKP+A-BAKθPKPBAA。（9.3）在对（9.3）中的项进行定界之前，我们给出了一个用于导子的不等式，设A∈RP×P，v∈RP×1。另外，设Ajand Aja分别为p×1和1×p行和列向量inA,kavk=av+。.+apv≤kakkvk∞+。+kapkkvk∞(9.4)=pxj=1kajk！kvk∞≤pmaxjajkvk∞。如果A∈Sp，则最后一个表达式可以进一步约化为pakvk∞。现在让我们把（9.3）的右边定界。在分子中，我们有:(bθ-θ)πpp≤θ=OP(κ3L)，(9.5)其中κ3L∈{%1tdtst,%2td}L=1,2,在Lee和Seregina(2020)中导出了速率；Seregina(2020)在第5节开始时讨论过，不等式由（9.4）得到。KθlpKp≤θ=O(κ1L)，(9.6)，其中速率由引理1(a)得到，不等式由（9.4）得到。

组合(9.5)，(9.6)，引理1(c)得到:a(Bθ-θ)lpP+A-bakθlpKP=O(1)·OP(κ3L)+OP(κ2L)·O(κ1L)=OP(κ4L)=OP(1),（9.7）其中κ4L∈{%1tdtst,%2td}L=1,2且在定理1的假设下最后一个等式成立。对于（9.3）的分母，使用引理1(b)的结果很容易看出baa=OP(1)。9.2使用引理1(b)-(c)对定理2的证明，我们得到a-1 a-1-1=a-a a=OP(κ2l)=OP(1)，其中最后一个速率是使用定理2的假设得到的。参考Bai,J.（2003）。大维因子模型的推理理论。经济计量学，71(1):135-171.白建，吴珊（2002）.确定近似因子模型中的因子数。经济计量学，70(1):191-221.Barigozzi,M.Brownlees,C.和Lugosi,G.（2018）。幂律偏相关网络模型。电子统计学杂志，12(2):2905-2929.贝茨、格兰杰（1969）。预测的组合。运筹学，20(4):451-468.布朗利，C.，Nualart，E,Sun,Y.(2018).实现的网络。应用计量经济学报，33(7):986-1006.蔡铁铁，刘伟，周宏宏，等。（2016年）。估计稀疏精度矩阵：最优收敛速度和自适应估计。统计学年鉴，44(2):455-488.卡洛特，L.，Caner，M.，E.O.，A.O.和Ula.San,E.(2019)。估计大型投资组合的节点回归方法。商业与经济统计杂志，0(0):1-12.卡洛特，L.A.F.，Kock，A.B.，Medeiros，M.C.(2017)。建模和预测大的实现协方差矩阵和投资组合选择。应用计量经济学杂志，32(1):140-158.张伯伦，G.罗斯柴尔德，M.(1983)。套利、因子结构和大型资产市场的均值-方差分析。经济计量学，51(5):1281-1304.陈玉良，斯托克，J.H.和华生，M.W.(1999)。预测组合的动态因子模型框架。《西班牙经济评论》，1(2):91-121.陈俊，陈志（2008）。大模型空间模型选择的扩展贝叶斯信息准则。生物统计学，95(3):759-771.克莱门（1989）。组合预测：回顾和注释书目。国际预测学报，5(4):559-583.康纳，G.和科拉杰奇克，R.A.(1988)。均衡状态下的风险与收益：新检验方法的应用。《金融经济学学报》，21(2):255-289.库伦贝，P.G.，Leroux，M.，Stevanovic，D.，S.(S)(2020).机器学习如何对宏观经济预测有用？ARXIV:2008.12477.Diebold,F.和Shin,M.（2019）。正则调查预测组合的机器学习：部分平均主义套索及其衍生物。国际预测学报，35(4):1679-1691.范军，刘海，王伟（2018）.椭圆因子模型下的大协方差估计。统计年鉴，46(4):1383-1414。福伊格尔，R.和德尔顿，M.（2010）。高斯图形模型的扩展贝叶斯信息准则。第23届神经信息处理系统国际会议论文集-第1卷，NIPS，第604-612页，美国。Curran Associates Inc.Friedman,J.,Hastie,T.和Tibshirani,R.（2008）。稀疏逆协方差估计与图形套索。生物统计学，9(3):432-441.汉森，B.E.(2008)。最小二乘预测平均。计量经济学学报，146(2):342-350.霍茨奇，N.，Kyj，L.M.，Oomen，R.(2012).一种实现高维协方差估计的分块正则化方法。应用计量经济学杂志，27(4):625-645.Jankova，J.和van de Geer，S.(2018)。高维图形模型中的推理。图形模型手册，第14章，第325-351页。CRC出版社，Y.Koike(2020)。高频数据的去偏图形套索。熵，22(4):456.Ledoit,O.和Wolf,M.（2004）.大维协方差矩阵的一个良好条件估计。多元分析杂志，88(2):365-411.和E.Seregina(2020)。

使用因子图形拉索的最优投资组合。ARXIV:2011.00435。刘，H.，Roeder，K.和Wasserman，L.(2010).高维图形模型正则化选择（星）的稳定性方法。第23届神经信息处理系统国际会议论文集-第2卷，NIPS\'10，第1432-1440页，美国。CurranAssociates Inc.McCracken，M.W.和Ng，S.(2016)。《宏观经济研究月刊》。商业与经济统计学报，34(4):574-589.梅斯豪森和伯乌尔曼出版社（2006）。高维图与套索变量选择。《统计年鉴》，34(3):1436-1462.迈因斯豪森，N.和Béuhlmann,P.（2010）.稳定性选择。《皇家统计学会学报》，B辑，72:417-473.塞雷吉纳，E.(2020)。半满的篮子：稀疏的投资组合。arXiv预印本arXiv:2011.04278.史密斯，J.和沃利斯，K.F.(2009)。预测组合拼图的简单解释。牛津经济学与统计学通报，71(3):331-355.斯托克，J.H.和沃森，M.W.(2002)。从大量预测因子中使用主成分进行预测。美国统计协会学报，97(460):1167-1179.范德格尔，S.，Buhlmann,P.Ritov,Y.和Dezeure,R.（2014）。关于高维模型的渐近最优区域和检验。《统计年鉴》，42(3):1166-1202.赵东，刘海，罗德尔，罗丹，罗杰，瓦瑟曼，罗丹（2012）.《高维无向图估计的大包》，载机器学习研究杂志，13(1):1059-1062.朱，Y.和Cribben，I.(2018).函数连通网络的稀疏图形模型：Bestmethods和自相关问题。大脑连通性，8(3):139-165。PMID:29634321。图1：欧洲央行(ECB)对专业预测师(SPF)的调查。每个圆圈表示SPF中每个专业预测者对欧元区实际GDP增长的季度预测，即1年前的同比百分比变化。Actualseries是蓝线。资料来源：欧洲中央银行。图2：人口部分相关的热图和直方图。T=1000,p=50,q=2。图3：用Glasso无因子估计样本偏相关的热图和直方图。T=1000,p=50,q=2,q=0。图4：用FactorGLASSO和1个统计因子估计样本偏相关的热图和直方图。T=1000,p=50,q=2,q=1。图5：用FactorGLASSO和2个统计因子估计样本部分相关性的热图和直方图。T=1000,p=50,q=2,q=2。图6：用FactorGLASSO和3个统计因子估计样本部分相关性的热图和直方图。T=1000,p=50,q=2,q=3。图7：对数尺度上θ估计量的平均误差（基数2）。p=t0.85,q=2(log(T))0.5,st=O(t0.05)。图8：对数尺度上w（基数2）估计量的平均误差。p=t0.85,q=2(log(T))0.5,st=O(t0.05)。图9：MSFE在样本大小T上的曲线。

C=0（左），C=0.75（右），C=0.9，N=100，r=5，σζ=1，L=7，K=2，p=24，q=5，ρ=0.9,φ=0.8.Indproh EW GLASSO因子GLASSO MB因子MB1 2.77 E-04 1.51 E-04 1.24 E-04 2.23 E-04 1.28 E-042 3.26 E-04 1.79 E-04 5.59 E-05 1.61 E-04 1.38 E-043 1.55 E-04 9.77 E-05 6.54 E-054 1.18 E-04 7.60 E-05 2.39 E-03 1.37 E-03 1.37 E-03 1.37 E-03 1.37 E-03 1.34 E-03 1.71 E-03 1.44 E-03 8.95 E-04 1.55 E-03 1.71 E-03 1.44 E-03 1.95 E-04 1.55 E-03 1.01 E-03 1.33 E-03 03 3.48 E-04 1.43 E-03 6.69 E-044 1.27 E-03 1.06 E-03 3.95 E-04 9.55 E-04 7.91 E-04CPI:所有项目1 6.88 E-06 6.75 E-06 5.84 E-06 6.46 E-06 8.98 E-062 1.05 E-05 1.06 E-05 8.39 E-06 9.93 E-06 9.93 E-063 1.52 E-05 1.47 E-05 9.36 E-06 1.56 E-05 1.34 E-05 1.63 E-05 1.00 E-05 1.60 E-05 1.50 E-05 4.18 E-05 2.70 E-05 2.70 E-05 4.18 E-05 2.88 E-05 2.74 E-05 2.52 E-05 2.52 E-05 2.79 E-05 8.11 E-05 2.79 E-05 2.11 E-05 2.39 E-05 2.53 E-04 1.41 E-04 2.91 E-05 6.42 E-05 2.84 E-05 054 8.65 E-04 7.87 E-04 2.61 E-05 6.42 E-05 2.63 E-05M1货币股票1 5.42 E-05 5.18 E-05 4.99 E-05 5.40 E-05 5.47 E-052 5.82 E-05 1.58 E-047.27 E-05 5.86 E-05 5.40 E-053 5.97 E-05 1.56 E-04 7.44 E-05 5.96 E-05 5.64 E-05 5.97 E-05 1.63 E-05 6.97 E-05 5.94 E-05 5.78E-05 5.78 E-05 5.94E-05 5.78 E-05 5.752 0.3758 0.1334 0.0066 0.0548 0.00813 0.0743 0.0551 0.00514 2.1999 0.6871 0.1578 1.0973 0.2510 FedFunds1 0.0609 0.1813 0.0233 0.0673 0.00513 0.00532 0.00514 0.00514 0.00514 0.00514 0.1426 1.2230 0.0288 0.00673 0.04482 0.1426 1.2230 0.0228 0.0675 0.04482 0.4482.702 1.4672 0.0592 0.2470 0.1962表1：月度宏观经济变量预测。这些数字是MSFE，每行中最小的MSFE用粗体字体表示。h表示预测时域，EW表示“等权”预测，GLASSO和MB是在预测误差中不使用因子结构的模型。Factor GLASSO和Factor MB是我们提出的因子图形模型。补充附录附录A附加模拟图A.1-A.5显示了在MSFE方面的性能，预测数n和c、φ、ρ、Q的Di值：基于因子的模型（Factor GLASSO和MB）优于等权重预测组合以及标准的GLASSO和nodewiseregression，没有任何因子结构。从这些数据中可以看出，这些数据对于模型参数的变化是稳健的。重要的是，图A.5显示了当主成分数目r等于5时的情景，而没有一个预报员使用主成分分析进行预测：在这种情况下，包括至少2个预测误差减少的共同成分MSFE，这样因子GLASSO和因子MB优于EW预测组合。图A.1:MSFE与预测因子数目N的关系图。C=0.75,C=0.9,T=800,r=5,σζ=1,L=7,K=2,p=24,q=5,ρ=0.9,φ=0.8。C=0.75,C∈0.6,0.7,0.8,0.9},T=800,N=100,r=5,σζ=1,L=7,K=2,p=24,q=5,ρ=0.9,φ=0.8。图A.3:MSFE随φ值的变化曲线。c=0.75,c=0.8,T=800,N=100,r=5,σζ=1,L=7,K=2,p=24,q=5,ρ=0.9,φ∈0,0.1,..,0.9}。图A.4:MSFE随ρs值变化的曲线。c=0.75,c=0.8,T=800,N=100,r=5,σζ=1,L=7,K=2,p=24,q=5,ρ∈0,0.1,...,0.9},φ=0.7。图A.5:MSFE随q值变化的曲线。c=0.75,c=0.9,T=800,N=100,r=5,σζ=1,L=12,K=0,p=13,q∈0,1,..,10},ρ=0.9,φ=0.8。