走向稳健的预警模型：赛马、团队和模型

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

英文标题：
《Toward robust early-warning models: A horse race, ensembles and model
  uncertainty》
---
作者：
Markus Holopainen, Peter Sarlin
---
最新提交年份：
2016
---
英文摘要：
  This paper presents first steps toward robust models for crisis prediction. We conduct a horse race of conventional statistical methods and more recent machine learning methods as early-warning models. As individual models are in the literature most often built in isolation of other methods, the exercise is of high relevance for assessing the relative performance of a wide variety of methods. Further, we test various ensemble approaches to aggregating the information products of the built models, providing a more robust basis for measuring country-level vulnerabilities. Finally, we provide approaches to estimating model uncertainty in early-warning exercises, particularly model performance uncertainty and model output uncertainty. The approaches put forward in this paper are shown with Europe as a playground. Generally, our results show that the conventional statistical approaches are outperformed by more advanced machine learning methods, such as k-nearest neighbors and neural networks, and particularly by model aggregation approaches through ensemble learning.
---
中文摘要：
本文介绍了建立稳健的危机预测模型的第一步。我们将传统的统计方法和最新的机器学习方法作为早期预警模型进行了一场赛马。由于文献中的单个模型通常是在与其他方法隔离的情况下建立的，因此该练习对于评估各种方法的相对性能具有高度相关性。此外，我们还测试了各种集成方法，以聚合构建模型的信息产品，为衡量国家级脆弱性提供了更可靠的基础。最后，我们提供了在预警练习中估计模型不确定性的方法，特别是模型性能不确定性和模型输出不确定性。本文提出的方法以欧洲为例进行了展示。一般来说，我们的结果表明，传统的统计方法优于更先进的机器学习方法，如k近邻和神经网络，尤其是通过集成学习的模型聚合方法。
---
分类信息：

一级分类：Quantitative Finance        数量金融学
二级分类：Statistical Finance        统计金融
分类描述：Statistical, econometric and econophysics analyses with applications to financial markets and economic data
统计、计量经济学和经济物理学分析及其在金融市场和经济数据中的应用
--
一级分类：Computer Science        计算机科学
二级分类：Computational Engineering, Finance, and Science        计算工程、金融和科学
分类描述：Covers applications of computer science to the mathematical modeling of complex systems in the fields of science, engineering, and finance. Papers here are interdisciplinary and applications-oriented, focusing on techniques and tools that enable challenging computational simulations to be performed, for which the use of supercomputers or distributed computing platforms is often required. Includes material in ACM Subject Classes J.2, J.3, and J.4 (economics).
涵盖了计算机科学在科学、工程和金融领域复杂系统的数学建模中的应用。这里的论文是跨学科和面向应用的，集中在技术和工具，使挑战性的计算模拟能够执行，其中往往需要使用超级计算机或分布式计算平台。包括ACM学科课程J.2、J.3和J.4（经济学）中的材料。
--
一级分类：Quantitative Finance        数量金融学
二级分类：Computational Finance        计算金融学
分类描述：Computational methods, including Monte Carlo, PDE, lattice and other numerical methods with applications to financial modeling
计算方法，包括蒙特卡罗，偏微分方程，格子和其他数值方法，并应用于金融建模
--
一级分类：Quantitative Finance        数量金融学
二级分类：Economics        经济学
分类描述：q-fin.EC is an alias for econ.GN. Economics, including micro and macro economics, international economics, theory of the firm, labor economics, and other economic topics outside finance
q-fin.ec是econ.gn的别名。经济学，包括微观和宏观经济学、国际经济学、企业理论、劳动经济学和其他金融以外的经济专题
--

---
PDF下载：
--> Toward_robust_early-warning_models:_A_horse_race,_ensembles_and_model_uncertainty.pdf (4.56 MB)

2022-5-7 08:48:24 上传

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：Applications Quantitative Conventional Econophysics Mathematical

走向稳健的早期预警模型：赛马、合奏和不确定性模型Imarkus Holopainenc和彼得·萨利纳，b，法兰克福歌德大学安全卓越中心，德国经济系，赫尔辛基汉肯经济学院，芬兰赫尔辛基阿卡达应用科学大学芬兰克里斯克拉布，FinlandAbstracts本文介绍了建立稳健的危机预测模型的第一步。我们对传统的统计方法和最新的机器学习方法进行了一场赛马，作为预警模型。由于文献中的单个模型通常是在与其他方法隔离的情况下建立的，因此，该练习对于评估各种方法的相对性能具有高度相关性。此外，我们还测试了各种集成方法来聚合构建模型的信息产品，为衡量国家级漏洞提供了更可靠的基础。最后，我们提供了在预警练习中估计模型不确定性的方法，特别是模型性能不确定性和模型输出不确定性。本文提出的方法以欧洲为例。一般来说，我们的结果表明，传统的统计方法优于更先进的机器学习方法，如k近邻和神经网络，尤其是通过集成学习的模型聚合方法。关键词：财务稳定性、早期预警模型、赛马、组合、模型不确定性Jel代码：E440、F300、G010、G150、C430IWe感谢约翰内斯·贝特尔、安德拉斯·富洛普、本杰明·克劳斯、扬·汉内斯·朗、图马斯·A·佩尔顿、罗伯托·萨沃纳、格雷戈·冯·施韦尼茨、埃罗·托洛、彼得·韦尔茨和玛丽卡·维佐利对论文之前版本的有用评论。

2014年10月13日在赫尔辛基举行的BITA 2014年商业、IT和分析当前主题研讨会上，2014年11月21日和2015年1月12日在法兰克福欧洲央行金融稳定监督司举行的研讨会上，2014年11月28日在芬兰银行赫尔辛基举行的研讨会上，发表的评论也使该论文受益匪浅，2014年12月4日至5日在吉隆迪肯大学举行的第一届金融计量经济学和应用最新发展会议，2015年2月12日在赫尔辛基举行的芬兰经济协会第三十七届年会，2015年3月30日至31日在巴黎举行的第八届金融风险国际论坛，2015年4月13日在伊斯普拉的欧盟委员会联合研究中心举行的研讨会，2015年4月14日在布雷西亚大学举行的研讨会，2015年5月21日在德国联邦银行美因河畔inFrankfurt举行的金融稳定研讨会，2015年6月5日在阿姆斯特丹举行的SYRTO会议“系统风险的经济计量措施的关键评估”，以及在卢布尔雅那举行的英菲尼迪会议，2015年6月9日斯洛文尼亚，2015年6月30日爱沙尼亚银行金融稳定研讨会，2015年9月3日帕维亚大学研讨会，2015年9月16日巴塞尔大学第五届CCCS学生科学博览会主题演讲，以及2016年1月11日阿尔托大学研讨会。本文中的赛马是对2012年Lamfalussy奖学金提案的实施。本文中介绍的几种方法和练习也已在交互式建模的在线平台上实现（与infolytika联合生产，是infolytika的财产）：http://cm.infolytika.com.有关更多信息，请参见Holopainen和Sarlin[43]。第二作者感谢金融服务业的GRI和路易斯巴切利耶研究所提供的金融支持。所有的错误都是我们自己的。

通讯作者：彼得·萨林，芬兰赫尔辛基汉肯经济学院，阿尔卡迪亚卡图2200100，电话+358405727670。电子邮件：peter@risklab.fi.非技术性总结金融危机在21世纪之交的反复发生，刺激了对这一现象的理论和实证研究，尤其是早期预警模型。然而，这些模型的历史可以追溯到很久以前。尽管不总是指宏观审慎分析，但早期的风险分析依赖于手工评估财务比率，而不是使用先进的计算机统计方法。20世纪60年代，出现了判别分析，直到20世纪80年代，判别分析一直是最主要的技术。20世纪80年代后，DA主要被logit/probit模型取代。这些模型的应用范围从早期的货币危机模型到近期的系统性金融危机模型。同时，简单而直观的信号提取方法也得到了广泛的应用，这种方法可以简单地发现单个指标的阈值。随着技术的进步、数据可用性的飙升以及对系统风险识别进展需求的旺盛，一组灵活的非线性机器学习技术已被引入到各种形式的金融稳定监控中。最近的文献表明，这些新方法有希望进行系统风险识别，因为它们能够识别和映射复杂的依赖关系。前提和多个线性指标与绩效之间的关系。

虽然最简单的方法将单个指标与危机线性联系起来，但更先进的技术同时考虑了多个指标和不同类型的非线性，例如将一个指标映射到危机以及多个指标之间的相互作用。尽管有些方法比其他方法更有希望，但它们的使用和排名并不是一项不成问题的任务。本文涉及三个问题领域。首先，对传统方法和新方法几乎没有客观和深入的比较，因此，既没有对方法的总体排名达成一致，也没有对单一的最佳执行方法达成一致。其次，如果进行客观比较，目前尚不清楚是否可以推广一种方法，使其在每个数据集上都优于其他方法。不同的方法捕获不同类型的漏洞，因此可以相互补充，这种情况并不罕见。尽管在性能上存在潜在差异，但这将与单一最佳方法的存在相矛盾，相反，这表明同时使用多个方法或所谓的集合是有价值的。然而，早期预警文献缺乏使用多种方法的结构化方法。第三，即使可以找出表现最好的方法，并提出一种同时使用多种方法的方法，关于早期预警模型的文献也缺乏统计意义或不确定性的度量。尽管危机概率可能会突破阈值，但没有任何工作测试仅因取样错误而发生超标的可能性。同样，很少或根本没有注意到测试两种方法的预警性能或个体概率和阈值是否相等。本文旨在为上述三大挑战提供解决方案。

首先，我们对早期预警模型的方法进行了一场客观的赛马，包括传统统计学和机器学习中的大量常用技术，并将该问题作为一项分类任务予以特别关注。练习的客观性来源于每种方法的相同样本内和样本外数据、相同的模型选择和相同的模型规格。为了推广和可比性，我们使用交叉验证和递归时间估计来确保和评估结果如何推广到样本外数据。两人在数据采样方面存在差异，尤其是用于每次估计的样本内和样本外分区。虽然交叉验证在机器学习中很常见，可以有效地使用小样本，但尽管最有可能表现出时间依赖性，但数据是随机抽样的，这可能会让练习受益。相反，递归练习通过严格使用样本外预测的历史样本来解释数据中的时间依赖性，然而这需要更多数据，尤其是在时间序列维度。这两个练习允许探索绩效交叉方法，以及评估练习对绩效的影响。第二，承认没有一种方法可以被推广到优于所有其他方法的情况下，我们提出了两种同时使用多种方法的方法。一个自然的起点是收集赛马中所有方法的模型信号，以便评估在给定时间点为给定国家发出信号的方法的数量。两种结构化方法涉及选择最佳方法（样本内）进行样本外使用，并共同依赖所有方法的多数票。

然后，转向使用多种方法的更标准的集成方法，我们将模型输出概率合并为所有方法的算术平均值。由于在聚合中可能获得进一步的收益，我们采用性能加权平均值，让样本内性能更好的方法对聚合模型输出贡献更大。第三，我们提供了在预警练习中测试统计重要性的方法，包括模型性能和输出不确定性。通过重复交叉验证和自举的抽样技术，我们可以估计模型性能的特性，因此可以在建立模型时测试统计显著性。此外，通过采样技术，我们还可以使用模型输出和阈值的变化来计算属性，以获取单个观测值的可靠性。除了表示不确定性的置信区间外，这也为假设检验提供了基础，在假设检验中，重要的是模型输出是否在统计上显著不同于临界值。本文提出的方法在欧洲环境中得到了说明，为此，我们使用了20世纪80年代以来15个欧洲经济体的大量宏观金融指标。首先，我们展示了目标赛马的所有方法的排名，然后进行汇总和统计显著性测试。一般来说，我们的结果表明，在有用性和曲线下面积（AUC）度量方面，经典方法优于更先进的机器学习方法，如k近邻和神经网络。这对两种赛马运动都适用。虽然排名中的一些差异在统计上并不显著，但一个特别的发现是整体模型的表现，这在两个练习中都是显著的。

更重要的是，本文中的客观实践提供了强有力的证据，表明预警建模通常是早期识别系统性风险的有用工具。1.引言系统性风险测量是宏观审慎监管的核心，但预测金融危机和发布早期预警本质上是困难的。然而，有关早期预警模型的文献表明，这不是一项不可能完成的任务。本文对预警文献做出了三方面的贡献：（i）预警方法的竞赛，（ii）从多种方法中聚合模型输出的方法，以及（iii）模型性能和输出不确定性。21世纪之交金融危机的反复发生刺激了对这一现象的理论和实证研究，尤其是早期预警模型。然而，这些模型的历史可以追溯到很久以前。尽管不总是指宏观审慎分析，但早期的风险分析依赖于手工评估财务比率，而不是使用先进的计算机统计方法（如Ramser和Foster[66]）。在Beaver[9]开创性地研究了单变量判别分析（DA）方法之后，Altman[4]进一步发展了用于多变量分析的DA。尽管受到经常违反的假设（如指标的正常性）的影响，但直到20世纪80年代，它一直是主导技术。例如，Frank和Cline[38]以及Taêer和Abassi[83]使用DA预测主权债务危机。20世纪80年代后，DA主要被logit/probit模型取代。这些模型的应用范围从Frankel和Rose[39]的早期货币危机模型，到Lo Duca和Peltonen[62]的近期系统性金融危机模型。

与此同时，简单的Yetinuitive signal extraction（信号提取）方法（即简单地确定单个指标的阈值）也越来越受欢迎，从Kaminsky等人[51]对货币危机的早期研究，到Alessi和Detken[1]对高成本资产繁荣的后期研究。然而，这些方法受到经常违反的假设的影响，例如指标和响应之间的固定分布关系（如逻辑/正常），以及指标之间缺乏相互作用（如，危机概率的非线性与脆弱性的增加）。随着技术的进步、数据可用性的飙升以及对系统风险识别进展的迫切需求，一组新的灵活和非线性机器学习技术已被引入到各种形式的金融稳定性监控中。最近的文献表明，这些新方法有望用于系统性风险识别（例如，如Demyanyk和Hasan[24]以及Sarlin[71]所述）。绩效差异的前提与方法如何处理两个方面有关：个人与多个风险指标以及线性与非线性关系。虽然最简单的方法将单个指标与危机线性联系起来，但更先进的技术同时考虑了多个指标和不同类型的非线性，例如将一个指标映射到危机以及多个指标之间的相互影响。尽管有些方法比其他方法更有希望，但它们的使用和排名并不是一项不成问题的任务。本文涉及三个问题领域。首先，对传统方法和新方法几乎没有客观和深入的比较，因此，既没有对方法的总体排名达成一致，也没有对单一的最佳执行方法达成一致。

尽管欧洲央行体系宏观审慎研究网络成员之间的赛马是一场预测竞赛，但它并不能为客观绩效比较提供坚实的基础[3]。尽管传播自由裁量政策讨论模型的信息是一项有价值的任务，但所提出的方法小组是在不同的背景下建立和应用的。这更像是一场赛马表演，而不是一场赛马。其次，如果进行客观比较，目前尚不清楚是否可以推广一种方法，使其在每个数据集上都优于其他方法。不同的方法捕获不同类型的漏洞的情况并不罕见，因此可以被视为相互补充。尽管在性能上存在潜在差异，但这将与单一最佳方法的存在相矛盾，相反，这表明同时使用多个方法或所谓的集合是有价值的。然而，早期预警文献缺乏使用多种方法的结构化方法。第三，即使可以找出表现最好的方法，并提出一种同时使用多种方法的方法，关于早期预警模型的文献也缺乏统计意义或不确定性的度量。除了贝西的开创性工作，他还提出了一些应用，如纳格和米特拉[63]、弗兰克和施密德[37]、佩尔顿[64]、萨林和马尔盖斯库[76]、萨林和佩尔顿[77]、萨林[73]以及阿莱西和德特肯[2]。El Shagi等人[33]，作者提出了评估模型是否有用的方法，但缺乏对绩效方法的统计显著差异进行评估的工作。同样，尽管危机概率可能会突破阈值，但没有工作证明仅由于抽样误差就可能发生超标。