走向稳健的预警模型：赛马、团队和模型

本节超越了对分类绩效的纯粹测量，首先从更定性的角度阐述了表示预警模型不确定性的价值。根据第3.3节，我们提供置信区间（CI）作为危机概率及其阈值的不确定性估计。在计算聚合时，我们还捕获了由于方法之间的模型输出不一致而导致的样本概率方差的增加，以及重新采样引起的变化。在图2中，我们展示了英国和瑞典2004年第一季度至2014年第一季度一种单独方法（KNN）的危机概率和阈值折线图，其中管状环线代表CIs。未发现与阈值（即高于或低于阈值）存在统计显著差异的概率观测值用圆圈表示。这代表着不确定性，因此需要进一步审查，而不是机械地将其划分为脆弱的奥特兰基尔时期。

因此，这种解释可能表明观察值的脆弱性低于阈值，反之亦然。2000年2002年2004年2008年2010年2012年20140.0 0.2 0.4 0.6 0.8 1.0联合概率和阈值，方法：KNN●●●●●●概率ci不显著概率阈值cicrispre-crisis2003 2005 2007 2009 2011 20130.0 0.2 0.4 0.6 0.8 1.0瑞典概率和阈值，方法：KNN●●●概率ci不显著概率阈值cicrispre-crisis图2：英国KNN和瑞典KNN的概率和阈值及其CI图2中的左图显示了2002年已经出现的第一个升高信号（但没有超过阈值），然后在危机前时期，升高概率的较大变化，这会导致与阈值之间的细微差异，从而表明潜在的脆弱性。这将比不考虑不确定性的情况下提前四个季度表明脆弱性。另一方面，图2中的右图显示，瑞典在APAST危机期后的两个观察值升高，但低于阈值。在正确的背景下，再加上专家的判断，这很可能与繁荣-萧条类型的失衡无关，而是与危机后的价值提升有关。作为展示将不确定性纳入模型有用性的下一步，我们进行了一次早期警告练习，其中我们忽略了概率Pm和pando分别与阈值τmn和τan在统计上没有显著差异的观察结果。由于草书练习需要更大的数据，这会给我们留下小样本，我们只进行交叉验证的方法赛马，并将其与表9中的练习进行比较。

在这种情况下，交叉验证练习的功能，以及测试忽视不重要的观察对早期预警绩效的影响。在表11中，我们没有关注具体的方法排名，而是将新的绩效评估结果与表9中的完整结果进行了比较。我们可以观察到，除了信号提取（不管怎样，它的有用性很低）之外，所有方法在去除不重要的观测值时都能产生更好的性能。虽然这是直观的，因为下降的观察值是临界情况，结果主要作为我们的模型输出不确定性度量的通用证据，以及考虑统计显著性相对于阈值的有用性。不考虑投票，因为没有直接的方法得出二元多数票的统计意义。表11：交叉验证估计的稳健且显著的赛马。RankMethod Precision Recall Precision RecallacuracYFP rate FN rateUa（μ）S.E.Ur（μ）S.E.AUC S.E.1 ELM 54 0 233 0 1.00 1.00 1.00 1.00 1.00 0 00 0 0.00 100 100%0.003 1.000 0.0002支持向量机72 0 650 0 1.00 1.00 1.00 1.00 0 0 0 0 0 0 0 0 0 0 0 0 0 0.00 0 0 0 0.00 0 0.00 0.00 0 0.00 0.00 0 0 0.00 0.00 0.00 0.00 100%0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100%0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.001.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1.1 00 0.99 0.98 0.02 0.04 0.060.001 92%0.011 0.996 0.0009 QDA 60 7 1023 6 0.89 0.91 0.99 0.99 0.01 0.09 0.04 0.000 88%0.008 0.986 0.00110分类。

0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 9 9 9 9 9 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 0.00714 LDA 64 90 899 12 0.42 0.84 0.990.91 0.90 0.09 0.16 0.03 0.000 55%0.006 0.942 0.00215信号提取。0 23 987 77 0.02 0.01 0.93 0.98 0.91 0.02 1.00 0.00 0.000-7%0.008 0.690 0.000负面注释：该表报告了所有方法在500次重复交叉验证中的样本外性能，最佳阈值为0.8，预测期为5-12个季度。该表根据相对有用性对方法进行排序。该表还在列中报告了评估模型总体性能的以下指标：TP=真阳性，FP=假阳性，TN=真阴性，FN=假阴性，精确阳性=TP/（TP+FP），召回阳性=TP/（TP+FN），精确阴性=TN/（TN+FN），召回阴性=TN/（TN+FP），准确度=（TP+TN）/（TP+TN+FP+FN），绝对和相对有用性Ua和Ur（见公式1-3），AUC=ROC曲线下的面积（TP率到FP率），OT=最佳阈值，以及S.E.=标准误差。有关这些措施的更多详细信息，请参见第2.2节。TPFPTNFN5呈阳性。结论本文介绍了稳健预警模型的第一步。由于预警模型通常是在与其他方法隔离的情况下建立的，因此该练习对于评估各种方法的相对性能具有高度相关性。我们对传统的统计方法和最新的机器学习方法进行了交叉验证和递归赛马。

这提供了关于最佳方法的信息，以及预警方法的总体排名。赛马的价值源于它的稳健性和客观性。此外，我们还测试了四种结构化方法，用于聚合已建立的预警模型的信息产品。两种结构化方法涉及选择最佳方法（样本内）用于样本外使用，并依赖所有方法的多数票。然后，转向使用多种建模技术的更标准的集成方法，我们将模型输出组合成所有方法的算术平均值和性能加权平均值。最后，我们提供了在预警练习中估计模型不确定性的方法。解决模型性能不确定性并提供可靠方法排名的一种方法是对模型性能进行均值比较测试。此外，我们还可以测试模型输出和阈值之间的差异是否在统计学上显著不同，并表明在信号传递练习中考虑这一点会产生附加值。本文提出的所有方法都已在欧洲环境中得到应用，尤其是在使用一系列广泛的指标预测仍在持续的金融危机时。一般来说，我们的结果表明，传统的统计方法优于更先进的机器学习方法，如k近邻和神经网络，尤其是通过集成学习的模型聚合方法。本文的价值和意义是多方面的。首先，我们提供了一种进行稳健客观的赛马的方法，以及在欧洲的应用。

与之前的工作相比，这提供了模型性能的第一个客观比较，因为我们确保在评估时每个方法都有类似的设置，包括数据、预测范围、危机后偏差、损失函数、决策者的偏好和整体实施。稳健性源于使用重采样来评估性能，这不仅保证了数据微小变化的稳定结果，也保证了非确定性建模技术的稳定结果。在控制非线性函数逼近器对数据进行拟合的递归实时练习中，我们仍然发现最近的机器学习方法优于传统的统计方法。除了表明机器学习方法在这些类型的练习中具有潜力之外，这还表明了使用适当的重采样技术的重要性，例如考虑时间依赖性。其次，考虑到不同可用方法的数量，为了收集不同类型漏洞的信息，有必要使用多种建模技术。这可能涉及同时并行使用多个模型或某种类型的聚合。除了在性能和鲁棒性方面的改进，这可能是有价值的，因为最近的一些机器学习技术通常被认为在功能上不透明，不易解释。例如，如果一组模型的多数投票表明存在漏洞，那么针对一种单独建模方法的偏好就不那么重要了。因此，由于集成模型在赛马中表现良好，并且减少了模型性能的可变性，因此，聚合模型输出的结构化方法应该成为稳健预警工具箱的一部分。

第三，尽管早期预警分析的技术和数据正在进步，性能也在进步，但理解模型中的不确定性至关重要。一个关键主题是确保突破阈值不仅仅是因为采样错误。同样，我们应该关注低于临界值但接近临界值的观察结果，尤其是当差异不显著时。对于未来，我们希望以一种更加结构化和用户友好的方式实施大量系统性风险度量方法，包括本文介绍的方法。尤其是，广泛的测量技术需要一个通用平台来建模SystemRick和可视化信息产品，以及与模型参数和可视化界面交互的方法。例如，这可能涉及使用VisRisk平台提供的可视化和交互技术进行可视化系统风险分析[72]，以及更先进的数据和降维技术[73,75]。结合这些类型的接口，我们希望这篇论文能促进广泛的方法和它们的分类的同时使用，并在解释结果时考虑不确定性。参考文献[1]L.Alessi和C.Detken。高成本资产价格繁荣/萧条周期的准实时预警指标：全球流动性的作用。《欧洲政治经济学杂志》，27（3）：520–533，2011年。[2] L.Alessi和C.Detken。识别过度信贷增长和杠杆。欧洲央行第17232014号工作文件。[3] L.阿莱西、A.安图内斯、J.巴贝基、S.巴尔图森、M.贝恩、D.邦菲姆、O.布什、C.德特肯、J.弗罗斯特、R.吉马拉斯、T.哈夫拉内克、M.乔伊、K.考科、J.马特朱、N.蒙泰罗、B.纽多弗、T.佩尔顿、P.罗德里格斯、M.鲁森阿克、W.舒德尔、M.西格蒙德、H.斯特雷梅尔、K.斯米德科娃、R.范·蒂尔堡、B.瓦西塞克和D。

齐格拉伊娃。比较不同的预警系统：宏观审慎研究网络成员之间的赛马比赛结果。欧洲央行，mimeo，2014年。[4] E.I.奥特曼。财务比率、判别分析和企业破产预测。《金融杂志》，23（4）：589-6091968年。[5] N.S.奥特曼。介绍核和最近邻非参数回归。《美国统计学家》，46（3）：175-1851992。[6] S.阿洛和A.塞利斯。模型选择交叉验证程序的调查。统计调查，4:40-792010。[7] J.巴贝基、T.哈夫拉内克、J.马特朱、M.拉斯纳克、K.斯米德科娃和B.瓦西塞克。银行、债务和货币危机：发达国家的早期预警指标。欧洲央行2012年第1485号工作文件。[8] R.巴雷尔、P.E.戴维斯、D.卡里姆和I。。利亚兹。经合组织国家的银行监管、房地产价格和银行危机早期预警系统。《银行与金融杂志》，34（9）：2255-22642010。[9] W·H·海狸。财务比率是失败的预测因素。《会计研究杂志》，1966年4:71-111。[10] A.伯格和C.帕蒂略。预测货币危机——指标方法和替代方法。《国际货币与金融杂志》，18（4）：561-5861999。[11] A.伯格、E.博伦斯泰因和C.帕蒂略。评估早期预警系统：它们在实践中如何运作？国际货币基金组织统计文件，52（3），2005年。[12] 鲍里奥和德雷曼。评估银行危机的风险——重温。国际清算银行季度审查（2009年3月）。[13] 布莱曼。装袋预测因子。机器学习，24（2）：123-1401996。[14] 布莱曼。模型选择中的不稳定性和稳定性试探法。《统计年鉴》，24:2350–2383，1996年。[15] 布莱曼。随机森林。机器学习，45（1）：5-322001。[16] 布莱曼和斯佩克特。回归中的子模型选择和评估：x-随机案例。

《国际统计评论》，60:291-31992。[17] L.布雷曼、J.H.弗里德曼、R.A.奥尔申和C.J.斯通。分类和回归树。沃兹沃斯，加利福尼亚州贝尔蒙特，1984年。[18] 布西埃先生和弗拉茨彻先生。建立新的金融危机预警系统。《国际货币和金融杂志》，25（6）：953-9732006。[19] 卡普里奥和克林格贝尔。系统性和边缘性金融危机。银行危机数据库，世界银行，华盛顿特区，2003年1月。[20] 还有卡普里·A·卡普里诺。附录：银行危机数据库”，发表于。P.Honohan和L.Laeven，《系统性金融危机》编辑，第307-340页。剑桥：剑桥大学出版社，2005年。[21]M.Chamon、P.Manasse和A.Prati。我们能预测下一次资本账户危机吗？国际货币基金组织统计文件，54:270–305，2007年。[22]C.-K.朱和J.S.马伦。比较两个具有相关错误的带宽选择器。《统计学年鉴》，19（4）：1906-19181991。[23]C.Cortes和V.Vapnik。支持向量网络。机器学习，20（3）：273-2971995。[24]Y.S.Demyanyk和I.Hasan。金融危机与银行倒闭：预测方法综述。欧米茄，38（5）：315-3242010。[25]M.Drehmann、C.Borio和K.Tsatsaronis。锚定反周期资本缓冲：信贷总量的作用。《国际中央银行杂志》，7（4）：189–240，2011年。[26]R.Duttagupta和P.Cashin。剖析发展中国家和新兴市场国家的银行危机。《国际货币与金融杂志》，30（2）：354–376，2011年。[27]B.埃夫隆。Bootstrap方法：再看一看jackknife。《统计年鉴》，7（1）：1979年1月1日至26日。[28]B.埃夫隆。标准误差的非参数估计：刀切法、自举法和其他方法。生物医学杂志，68:589-5991981。[29]B.埃夫隆。Jackknife引导后的标准错误和影响函数。

《皇家统计杂志》（B辑），54:83–1271992。[30]B.Efron和R.Tibshirani。标准误差、置信区间和其他统计准确性度量的自举方法。统计科学，1（1）：1-351986。[31]B.Efron和R.Tibshirani。引导的介绍。佛罗里达州博卡拉顿：查普曼和霍尔/华润，1993年。[32]B.艾肯格林和A.K.罗斯。风向改变时保持漂浮：外部因素和新兴市场银行危机。NBER工作文件，第63701998号。[33]M.El Shagi、T.Knedlik和G.von Schweinitz。预测金融危机：信号方法的（统计）意义。《国际货币与金融杂志》，35:76–103，2013年。[34]M.Fioramanti。使用人工神经网络预测主权债务危机：一种比较方法。《金融稳定杂志》，4（2）：149-164，2008年。[35]R.A.费舍尔。实验设计。奥利弗和博伊德，伦敦，第三版，1935年。[36]R.A.费舍尔。在分类学问题中使用多种度量。优生学年鉴，7（2）：179-1881936。[37]R.弗兰克和A.施密德。预测从东亚到俄罗斯和巴西的货币危机传染：一种人工神经网络方法。IMCB第2号工作文件，2003年。[38]C.弗兰克和W.克莱恩。偿债能力的衡量：判别分析的应用。《国际经济学杂志》，1（3）：327-344，1971年。[39]J.A.弗兰克尔和A.K.罗斯。新兴市场的货币崩溃：一种经验治疗。《国际经济学杂志》，41（3-3）：351-3661996。[40]上午-M.富尔提斯和E.卡洛蒂周。主权债务危机预警系统：异质性的作用。计算统计与数据分析，5:1420–14412006。[41]T.黑斯蒂、R.蒂布什拉尼和J.弗里德曼。统计学习的要素：数据挖掘、推理和预测。斯普林格，2011年。[42]T.Ho。