关于预测组合难题

相似文件 换一批

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

英文标题：
《On the Forecast Combination Puzzle》
---
作者：
Wei Qian, Craig A. Rolling, Gang Cheng, Yuhong Yang
---
最新提交年份：
2015
---
英文摘要：
  It is often reported in forecast combination literature that a simple average of candidate forecasts is more robust than sophisticated combining methods. This phenomenon is usually referred to as the \"forecast combination puzzle\". Motivated by this puzzle, we explore its possible explanations including estimation error, invalid weighting formulas and model screening. We show that existing understanding of the puzzle should be complemented by the distinction of different forecast combination scenarios known as combining for adaptation and combining for improvement. Applying combining methods without consideration of the underlying scenario can itself cause the puzzle. Based on our new understandings, both simulations and real data evaluations are conducted to illustrate the causes of the puzzle. We further propose a multi-level AFTER strategy that can integrate the strengths of different combining methods and adapt intelligently to the underlying scenario. In particular, by treating the simple average as a candidate forecast, the proposed strategy is shown to avoid the heavy cost of estimation error and, to a large extent, solve the forecast combination puzzle.
---
中文摘要：
预测组合文献中经常报道，候选预测的简单平均比复杂的组合方法更稳健。这种现象通常被称为“预测组合难题”。受这一难题的启发，我们探讨了其可能的解释，包括估计误差、无效加权公式和模型筛选。我们表明，现有的对这个谜题的理解应该通过区分不同的预测组合场景来补充，这些场景被称为适应组合和改进组合。在不考虑潜在场景的情况下应用组合方法本身可能会造成困惑。基于我们的新认识，我们进行了模拟和真实数据评估，以说明谜题的原因。我们进一步提出了一种多层次的后处理策略，该策略可以集成不同组合方法的优点，并智能地适应底层场景。特别是，通过将简单平均值作为候选预测，该策略避免了估计误差带来的巨大代价，并在很大程度上解决了预测组合难题。
---
分类信息：

一级分类：Statistics        统计学
二级分类：Methodology        方法论
分类描述：Design, Surveys, Model Selection, Multiple Testing, Multivariate Methods, Signal and Image Processing, Time Series, Smoothing, Spatial Statistics, Survival Analysis, Nonparametric and Semiparametric Methods
设计，调查，模型选择，多重检验，多元方法，信号和图像处理，时间序列，平滑，空间统计，生存分析，非参数和半参数方法
--
一级分类：Quantitative Finance        数量金融学
二级分类：Economics        经济学
分类描述：q-fin.EC is an alias for econ.GN. Economics, including micro and macro economics, international economics, theory of the firm, labor economics, and other economic topics outside finance
q-fin.ec是econ.gn的别名。经济学，包括微观和宏观经济学、国际经济学、企业理论、劳动经济学和其他金融以外的经济专题
--

---
PDF下载：
--> On_the_Forecast_Combination_Puzzle.pdf (1.37 MB)

2022-5-8 04:34:20 上传

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：explanations Quantitative Multivariate combination Evaluations

关于预测组合，魏倩，克雷格·A·罗琳*, 程刚，杨宇红。预测组合文献中经常报道，候选预测的简单平均值比复杂的组合方法更稳健。这种现象通常被称为“预测组合难题”。受这一难题的启发，我们探讨了其可能的解释，包括估计误差、无效权重公式和模型筛选。我们表明，对这个谜题的现有理解应该通过区分不同的预测组合场景来补充，这些场景被称为适应组合和改进组合。在不考虑潜在场景的情况下应用组合方法本身可能会造成困惑。基于我们的新理解，我们进行了模拟和真实数据评估，以说明谜题的原因。我们进一步提出了一个多层次的事后策略，可以整合不同组合方法的优势，并智能地适应潜在场景。特别是，通过将简单平均值作为候选预测，所提出的策略可以避免估计误差带来的巨大成本，并在很大程度上解决预测组合难题。关键词：结合适应、结合改进、多层次后处理、模式选择、结构突破1。引言自Bates和Granger（1969）的开创性工作以来，经验和理论研究都支持，当分析员可以对一个目标变量进行多个候选预测时，预测组合通常在均方预测误差（MSFE）方面提供比使用单个候选预测更准确、更稳健的预测性能。

预测组合的好处可归因于个别预测经常使用不同的信息集，受到不同但未知的模型错误的模型偏差的影响，和/或受到结构突变的不同影响。Timmermann（2006）的综述提供了各种预测组合方法的综合计算。特别是，一种流行的方法是*第一作者通过最小化均方误差（MSE）来估计理论上的最佳权重，从而进行组合预测。例如，Bates和Granger（1969）建议使用单个预测的误差方差协方差结构确定最佳权重。Granger和Ramanathan（1984）在线性回归框架下构造最优权重。尽管组合方法越来越流行，也越来越复杂，但过去的文献反复报道，简单平均法（SA）是一种非常有效且稳健的预测组合方法，其性能往往优于更复杂的组合方法（一些早期示例见Winkler和Makridakis（1983）、Clemen和Winkler（1986）以及Diebold和Pauly（1990））。在对早期研究的回顾和注释中，克莱门（1989）提出了一个问题：“预测简单平均值的稳健性的解释是什么？”。具体地说，他提出了两个有趣的问题：“（1）为什么简单平均法效果如此好，（2）在什么条件下其他特定方法效果更好？”SA isalso的健壮性在最近的文献中得到了回应。例如，Stock和Watson（2004）建立了具有单变量预测因子（宏观经济变量）的自回归模型，作为七个发达国家产出增长的候选预测，并发现SA和其他数据适应性最低的方法，是表现最好的预测组合方法之一。

Stock和Watson（2004）进一步提出了“预测组合难题”（为简洁起见，我们在下文中称之为FCP），它指的是“重复发现简单组合预测在实证应用中优于复杂的自适应组合方法”。在最近的另一个例子中，Genreet al.（2013）使用专业预测人员的调查数据作为个体候选人，为三个目标变量构建组合预测。尽管复杂方法取得了一些有希望的结果，但他们进一步指出，当分析中包括一段时间的金融危机时，观察到的对SAI的改善相当模糊。巴氏实证证据似乎支持FCP的神秘存在，Timmermann（2006年，第7.1节）也对其进行了总结。人们曾多次试图揭开FCP的神秘面纱。对于FCP，一个流行且可以说是研究得最充分的解释是组合方法的估计误差，该方法依赖于MSE最小化的最优权重估计。Smith和Wallis（2009）严格研究了估计误差问题。使用预测误差方差方差结构，他们在理论和数值上都表明，以最佳权重为目标的估计器可能具有较大的方差，因此，估计的最佳权重可能与真正的最佳权重非常不同，通常甚至比简单的等权重更大。Elliott（2011）通过优化误差-方差-协方差结构，研究了SA上最优权重的理论最大性能，并指出增益通常很小，足以被估计误差掩盖。Timmermann（2006）和Xiao and Wan（2014）也说明了最佳重量接近相等重量的条件，因此最佳重量相对于SA的相对增益很小。Claeskens等人。

（2014）考虑随机权重，并表明当考虑权重方差时，SA的表现优于使用“最优”权重。在线性回归设置下，Huang和Lee（2010）讨论了最佳权重的估计误差和相对增益。除了估计误差外，数据生成过程（DGP）中的非平稳性和结构性中断也被认为是导致估计的“最佳”权重性能不稳定的原因。例如，Hendry和Clements（2004）证明，当候选预测模型都被错误指定，并且信息变量出现中断时，以最佳权重为目标的预测组合方法可能无法像SA那样发挥作用。此外，Huang和Lee（2010）提出，候选预测往往很弱，也就是说，它们对目标变量的预测内容较低，使得最佳权重类似于简单的等权重。尽管上述观点有效且有价值，但它们并没有描绘出谜题的完整画面。在本文中，我们提供了我们对FCPto的看法，以帮助其解决。在我们看来，除了提供FCP的解释外，指出推荐SA广泛和滥用的潜在危险也是非常重要的。这里，我们重点讨论均方误差（MSE）。应该指出的是，要点预计也代表其他损失（如绝对误差），一些组合方法（如AFTER）可以处理一般函数。本文的其余部分组织如下。在第2节中，我们列出了一些没有得到太多讨论的方面，但在我们看来对理解FCP很重要。我们正式介绍了我们在第3节中考虑的预测组合问题的问题设置。第4-8节详细阐述了我们对FCP的理解。

特别是，第5节提出了一种解决FCP的多层次后处理方法。第9节还使用美国专业预报员调查（SPF）数据评估了该方法的性能。第10.2节给出了简要结论。FCP的其他方面之前的工作已经很好地指出，估计误差是FCP的一个重要来源，并且描述了理想情况下估计误差的影响。事实上，一般来说，当预测组合权重公式在某种意义上有效时，通过最小化MSE可以正确估计最佳权重，不足的小样本量可能不支持可靠的权重估计，从而导致组合预测的变化。结构断裂的解释也适用于某些情况。然而，在我们看来，理解FCP还需要考虑几个方面。1.解决FCP中缺少的一个关键因素是候选预测可改进性的真实本质。虽然我们都在努力获得比候选人更好的预测性能，但这可能不可行（至少对于所考虑的方法而言）。因此，我们有两种情况（Yang，2004）：我）其中一个候选人是我们所能期望的最好人选（当然是在考虑范围内），因此任何试图击败它的尝试都不会成功。我们将这种情况称为“适应组合”（CFA），因为在这种情况下，预测组合方法的正确目标应该是针对最佳候选预测的性能，这是未知的。ii）另一个是可以实现对所有候选人的准确度的显著提高。

我们将这种情况称为“为改进而组合”（CFI），因为在这种情况下，预测组合方法的正确目标应该是使候选预测的最佳组合的性能超过候选预测的效果。根据我们的经验，这两种情况通常发生在实际问题中。如果不考虑这一点，比较不同的组合方法可能会产生严重的误导，因为将苹果与橙子进行比较是众所周知的罪过。在我们看来，对未来预测组合的实证研究需要将这一潜在方面纳入分析。在上述预测组合场景中，一个自然的问题如下：我们能否设计一种组合方法，将分别针对这两种场景提出的两种方法连接起来，从而帮助解决FCP？2.关于FCP的文献中研究的方法大多是特定的选择（例如，最小二乘估计）。我们能用其他方法（市长可能还没有发明）来避免高昂的估计价格吗？此外，目前研究的方法通常假设预测是无偏的，预测误差是平稳的，这可能不适合于许多应用。当这些假设失败时会发生什么？3.文献中指出，基于实证研究，简单方法（如SA）是稳健的。我们觉得这在通常的统计学意义上（严格地或松散地）并不一定是正确的。在许多已发表的实证结果中，对气候变化的预测是经过仔细挑选/构建的，因此表现良好。因此，有利于SA稳健性的结论可能只适用于数据分析师在预测问题上拥有广泛专业知识，并且在筛选出差/无用候选人方面做了一些工作的情况。

我们认为，更可取的做法是对FCP进行广泛的调查，以便为更广泛和更现实的应用提供潜在的/多余的候选对象。应该指出的是，在各种情况下，预测筛选远不是一项容易的任务，其复杂性很可能与模型选择/平均相同。因此，即使对于顶级专家来说，认为我们可以很好地筛选候选人预测，然后简单地招募SA的观点也过于乐观。综上所述，一个重要的问题是在更广泛的背景下检验SA的稳健性。如第一项所述，有两种不同的情况：CFA和CFI。如果一个候选预测基于一个足够复杂的模型来捕捉真实的DGP（但仍然相对简单），和/或其他候选预测仅添加冗余信息，则可能出现CFA场景。当不同的候选预测使用不同的信息，和/或其基础模型以不同的方式存在误判时，CFI场景通常会发生。针对这两种场景设计了不同的现有组合方法。CFI场景的方法通常寻求积极地估计最佳权重，其示例包括基于方差-协方差的优化（Bates和Granger，1969）和线性回归（Granger和Ramanathan，1984）。这些方法可能会受到估计误差的影响，导致性能相对于SA不稳定。另一方面，CFA情景的组合方法在理想情况下的表现应与最佳个体候选预测类似，并且不应像CFI方法那样受到严重的估计误差影响。适用于CFA情景的典型方法包括deaic模型平均法（Buckland等人，1997年）和贝叶斯模型平均法（如Garratet等人，2003年），这两种方法均采用参数设置。

AFTER（Yang，2004）的方法可以更广泛地应用于参数和非参数设置，无论候选预测的性质如何。作为本文的主要贡献之一，我们将说明这两种场景之间的区别是理解FCP的关键之一。我们将在第4节中看到，如果分析师在选择组合方法时未能理解并引入基础场景和特定类型的数据，那么他们可能会错误地应用一种不适用于基础场景的组合方法，从而产生比其他方法（如SA）更糟糕的预测结果。对于第二项中提出的关于我们是否可以避免估算价格的问题，如果没有适当的框架，我们无法完全解决这些问题，因为对于任何合理的方法，我们总能找到一种有利于竞争对手的情况。我们考虑的具有良好理论支持的框架是通过一个极小极大的观点：如果一个人心中有一个特定的预测组合类别，并且想要在这个类别中找到最佳组合，那么就不需要对候选预测的无偏性和预测误差的平稳性进行任何限制/假设，minimax视图寻求对我们必须支付的最低价格的清晰理解，无论使用何种方法（现有或不存在）进行组合。事实证明，minimax视图中的框架与第一项中讨论的预测组合情景密切相关，Yang（2004）对预测组合情景和相关的minimax结果进行了详细的理论阐述。事实上，Yang（2004）表明，从极小极大的角度来看，由于CFI情景下设定的激进目标，我们不得不支付比CFA情景下设定的目标不可避免地更高的成本。

具体地说，如果我们让K表示预测数量，T表示预测范围，Yang（2004）表明，当目标是在满足凸约束的一组权重上找到最佳权重以最小化一般经验风险（这在CFI情景下是合适的），相对较大的T（T>K）的估计成本为O（K log（1+T/K）T），而O（log（K）/√对于相对较小的T（T≤ K） 。相反，如果目标是与最佳个人预测的性能相匹配（这在CFA情景下是合适的），则估计成本仅为O（log（K）/T）。由于在CFI情况下不可避免的高成本，追求最佳重量的激进目标并非总是必然的。事实上，即使最佳权重比最佳个体候选人的表现更好，改进也可能不足以准确地（以最小最大比率）设定杨文杰（2004）和王文杰（2014）确定的额外估计成本（即增加的方差）。作为我们工作的另一个贡献，我们在第6节中展示，根据潜在的CFI或CFA场景，适当构造的预测组合策略可以以智能方式执行。如果CFI是正确的情景，则建议的策略可以表现为渐进和保守，以便在SA比线性回归方法更好时，其表现类似于SA。除了前两项中讨论的估计误差和基础场景的必要区别外，以下三个原因也可能导致FCP。首先，复杂方法使用的加权推导公式往往不适合这种情况。例如，在结构突变的情况下，旧的历史数据不再支持有效的最佳加权方案，而已知的合理组合方法也因此失败。