走向稳健的预警模型：赛马、团队和模型

虽然Hurlin等人[47]为企业的风险度量提供了一个通用的平等测试，但很少或根本没有关注两种方法的预警性能或个体概率和阈值的平等性。本文旨在为上述三大挑战提供解决方案。首先，我们对早期预警模型的方法进行了一场客观的赛马，包括传统统计学和机器学习中的大量常用技术，并将该问题作为一项分类任务予以特别关注。练习的客观性来源于每种方法的相同样本内和样本外数据、相同的模型选择和相同的模型规格。为了具有普遍性和可比性，我们利用交叉验证和递归实时估计来确保这一点，并评估结果如何推广到样本外数据。这并不是一个可以推广到任何背景下的绝对排名，而是提供了在这类练习中更先进的机器学习方法的潜在证据，并指出了使用适当的重采样技术的重要性，例如考虑时间依赖性。其次，认识到没有一种方法可以被推广到优于所有其他方法，我们提出了两种同时使用多种方法的方法。一个自然的起点是收集赛马中所有方法的模型信号，以便评估在给定时间点特定国家的信号方法数量。两种结构化方法涉及选择最佳方法（样本内）用于样本外使用，并依赖所有方法的多数票。然后，转向使用多种方法的更标准的集成方法，我们将模型输出概率合并为所有方法的算术平均值。

考虑到聚合的潜在进一步收益，我们采用性能加权平均值，让样本内性能更好的方法对聚合模型输出贡献更多。第三，我们提供了在预警练习中测试统计重要性的方法，包括模型性能和输出不确定性。通过重复交叉验证和自举的抽样技术，我们估计了模型性能的特性，因此可以在对模型进行评级时测试统计显著性。此外，通过抽样技术，我们还可以使用模型输出和结果的变化来计算属性，以获取其对单个观测的可靠性。除了表示不确定性的置信区间外，这也为假设检验提供了基础，在假设检验中，重要的是模型输出是否在统计上显著不同于临界值。本文提出的方法在欧洲环境中得到了说明，为此，我们使用了20世纪80年代以来15个欧洲经济体的大量宏观金融指标。首先，我们展示了目标赛马的所有方法的排名，然后进行汇总和统计显著性测试。一般来说，我们的结果表明，在有用性和曲线下面积（AUC）度量方面，经典方法优于更先进的机器学习方法，如k近邻和神经网络。这对两种赛马运动都适用。虽然排名中的一些差异在统计上并不显著，但一个特别的发现是整体模型的表现，这在两个练习中都是显著的。

更重要的是，本文中的客观实践提供了强有力的证据，表明预警建模通常是早期识别系统性风险的有用工具。本文的组织结构如下。在第2节中，我们描述了使用的数据，包括指标和事件、预警模型的方法以及评估策略。然后，我们介绍了赛马的集合，以及聚合模型输出和计算模型不确定性的方法。在第4节中，我们展示了欧洲背景下的赛马结果、其聚合和模型不确定性。最后，我们在第5.2节中得出结论。数据和方法本节介绍了本文使用的数据和方法。尽管数据集涵盖了危机事件定义和脆弱性指标，但这些方法包括从传统统计建模到最新机器学习算法的分类技术。2.1. 数据本文中使用的数据集收集的目的是尽可能多地覆盖欧洲经济体。虽然关注类似经济体可能会改善早期预警模型的同质性，但我们的目标是收集一个尽可能大的数据集，用于需要估计的数据。本文使用的数据为季度数据，范围为1976年第一季度至2014年第三季度。样本来自15个欧盟国家：奥地利、比利时、丹麦、芬兰、法国、德国、希腊、爱尔兰、意大利、卢森堡、荷兰、葡萄牙、西班牙、瑞典和英国。总体而言，样本包括15个危机事件，涵盖系统性银行危机。该数据集由两部分组成：危机事件和脆弱性指标。下面，我们将对这两部分进行更详细的描述。危机事件。本文中使用的危机事件被选为涵盖国家一级金融部门危机的事件。

我们关注具有系统性影响的银行危机，因此主要关注Laeven和Valencia提出的IMF危机事件倡议[59]。然而，由于他们的数据库部分是年度的，我们用欧洲中央银行系统（ESCB）研究小组负责人收集的季度数据库中的开始日期来补充我们的活动，如Babeckyet等人[7]所述。该数据库包括1970年至2012年全球先进经济体的银行、货币和债务危机事件，其中我们仅使用系统性银行危机事件。总的来说，上述两个数据库都是大量有效论文中危机事件的汇编，ESCB研究负责人对这些文件进行了补充和交叉检查。对事件进行交叉检查的论文包括Kindleberger和Aliber[53]、IMF[48]、Reinhart和Rogo Off[67]、Caprio和Klingebiel[19]、Caprio等人[20]以及Kaminsky和Reinhart[50]等。预警指标。国家脆弱性数据集的第二级指标部分。一般来说，这些数据涵盖了一系列宏观金融失衡。我们包括衡量资产价格（如房价和股价）、杠杆率（如抵押贷款、私人贷款和家庭贷款）、商业周期指标（GDP和通货膨胀）、欧盟宏观经济平衡程序（如经常账户赤字和政府债务）和银行业（如存款贷款）。在大多数情况下，我们依赖于最常用的转换，例如与GDP或收入的比率、增长率以及与趋势的绝对和相对偏差。指标来源于欧盟统计局、经合组织、欧洲央行统计数据仓库和国际清算银行统计数据。为了消除趋势，使用单面Hodrick–Prescott过滤器（HP过滤器）提取趋势。

这意味着趋势线的每个点对应于从系列开始到每个时间点递归计算的普通HP趋势。通过这样做，我们在计算趋势时不使用未来信息，而是使用决策者在每个时间点可用的信息集。根据byDrehmann等人[25]的建议，HP过滤器的平滑度参数规定为40万。有人建议，这可以在季度数据中恰当地反映财务周期的性质。增长率被定义为年度增长率，而我们遵循Lain\'a等人[60]的方法，使用了与趋势的绝对和相对偏差，后者通过将偏差与趋势值相关联而与前者不同。本文中使用的指标结合了多个来源，用于广泛覆盖和得出适当变量的比率，如表1所示。他们的描述性统计数据如表2所示。为了包括2012年之后的事件，以及Babecky等人（2013年）对原始事件数据库的一些小修改，我们依靠ESCB内的反周期资本缓冲工作组的更新。由于正确使用数据对于获得任何建模方法有用性的客观指示至关重要，因此，关于危机事件和指标之间关系的说明是有序的。虽然关于危机事件定义的不确定性是无可争议的，但这一点适用于任何实证研究。为了可视化实际危机事件和指标之间的关系，以及它们的提前期，我们为t- 图A.1中的12至t+8危机事件。

该图说明了几个指标的模式，例如信贷缺口和资产价格变化，在危机事件发生之前，其值会升高，这与早期预警文献相符。表1：指标清单。可变名称定义转换和附加信息房价与收入名义房价和人均名义可支配收入比率，基于2010年经常账户对GDP的名义经常账户余额和名义GDP比率ZF债务对GDP的名义一般ZF综合总债务和名义GDP比率家庭和非金融公司的服务成本和名义收入对收入的名义家庭贷款和可支配总收入对名义GDP的比率私人非金融部门信贷总额和名义GDP比率债券收益率实际长期ZF债券收益率水平GDP增长实际国内生产总值1年增长率信贷增长实际私人非金融部门信贷总额1年增长率通货膨胀实际消费物价指数1年增长率房价增长实际住宅房地产价格指数1年增长率股票价格增长实际股价指数1年增长率信贷占GDP之比名义银行对私营非金融部门的信贷和名义GDP溶质趋势偏差，λ=400000房价差距与不动产住宅价格指数趋势偏差相对趋势偏差，λ=400000表2：指标描述性统计。可变观测值最小值最大值最小值。

Ske w Kurtos isHouse物价与收入之比2752-22.00 48.23 0.44 5.16 1.31 11.84经常项目与国内生产总值之比2549 0.16 52.36 6.29 4.97 1.28 3.32政府债务与国内生产总值之比2542 0.36 9584.36 848.53 1323.18 3.08 12.75债务与服务之比2510 0.30 4999.22 549.99 811.91 2.38 6.626贷款与收入之比2489-36.16 23.92 2.92 2.92 3.33-1.34 13.14信贷与国内生产总值之比2479 19.84 21.24-0.24.24 0.867增长率-0.21.77.2871.75 9.02 1.12 6.27债券收益率2377-30.64 28.07 0.09 6.21-0.18 2.96信贷增长2371-33.07 65.15 9.24 12.89 0.78 1.61通货膨胀2318-30.43 32.33 3.81 6.22-0.33 3.73房价增长2311-38.75 110.54 14.64 19.09 1.02 2.20股票价格增长2303 1.52 171.25 55.44 36.52 0.28-1.10信贷与国内生产总值的差距2185-75.06 433.95-20.60.68.60.61房价差距3150.622.2. 预警作为一个分类问题预警模型需要考虑潜在问题性质的评估标准，该问题与低概率、高影响事件有关。评估框架类似于决策者面临的决策问题，这一点至关重要。信号评估框架关注的是一个决策者对I型和II型错误的相对偏好，以及她通过使用模型而得出的与不使用模型相关的有用性。根据Alessi和Detken[1]提出的损失函数法，此处应用的框架遵循Sarlin[74]中的更新和扩展版本。为了模拟一个理想的先行指标，我们构建了一个二元状态变量Cn（h）∈ {0，1}对于给定特定预测期h的观测n（其中n=1，2，…，n）。设Cn（h）为二元指标，在危机前期间为1，否则为零。为了使用指示器中的信息检测事件，我们需要估计处于易受攻击状态的概率∈ [0, 1].

在此，我们使用了许多不同的方法来估计pmn，从简单的信号提取方法到机器学习中更复杂的技术。概率Pn转化为二元预测Bn，如果Pn超过特定阈值τ，则取值1∈ [0,1]否则为零。然后，可将预测BN和理想领先指标Cn之间的对应关系总结为所谓的权变矩阵，如表3所述。表3：应急矩阵。实际等级Cpre危机期平静期预测等级PnSignalCorrect呼叫假警报真阳性（TP）假阳性（FP）无信号错过危机纠正沉默真阴性（FN）真阴性（TN）应急矩阵中预测实现组合的频率可用于计算分类性能的度量。可以认为决策者主要关心两种类型的错误：发出错误警报和错过危机。下面描述的评估框架基于Sarlin[74]中的评估框架，用于将决策者的偏好转化为损失函数，其中决策者在I型和II型错误之间有相对偏好。而I型错误代表错过危机的比例与危机发生的频率T∈ [0,1]=FN/（TP+FN），II型错误代表发出的假警报占平静期T频率的比例∈ [0,1]=FP/（FP+TN）。给定模型的概率，决策者然后找到一个最佳阈值τ*这样她的损失就最小化了。决策者的损失包括Tand T，由减少危机（u）和发出假警报（1）之间的相对偏好加权- u).

通过考虑上升P=Pr（C=1）和平静期P=Pr（C=0）=1的无条件概率- P、 由于类的大小不相等，并且误差随类的大小而缩放，因此损失函数可以写为：L（u）=uTP+（1- u）TP。（1） 此外，可以更直观地定义模型的有用性。首先，绝对有用性（Ua）由以下公式给出：Ua（u）=min（uP，（1- u）P）- L（u），（2）计算模型相对于不使用任何模型的优越性。由于无条件概率通常是不平衡的，决策者可能更关心稀有类，因此决策者可能会损失min（uP，（1- u）P）通过始终或从不发出刺痛信号。这种困境突显了建立有用的预警模型的挑战：如果模型不完善，政策制定者总是向高频信号发出信号，这将很容易产生效果。其次，我们可以计算相对有用性Uras如下：Ur（u）=Ua（u）min（uP，（1- u）P），（3）将模型的最大可用性与模型的最大可用性进行比较。也就是说，忽略模型是最大的可用性。因此，URR报告说，UAP是决策者通过完美执行的模型获得的有用性的一部分，该模型支持该措施的实施。值得注意的是，UABERTER有助于对不同u进行比较。除上述措施外，权变矩阵还可用于计算范围广泛的其他定量措施。接收机工作特性（ROC）曲线和theROC曲线下面积（AUC）也用于比较预警模型和指标的性能。整个τ范围内的ROC曲线图∈ [0,1]，条件正概率与条件负概率之比：ROC=Pr（P=1 | C=1）1- Pr（P=0 | C=0）。

分类方法任何分类算法的目的都是基于一个或多个预测变量，确定新观测值属于哪一类。分类被认为是监督学习的一个例子，在这种情况下，可以获得一组正确识别的观察结果。在本文中，使用了许多概率分类器，其输出是表明观测所属定性类别的概率。在我们的例子中，因变量（或结果变量）代表两类危机前时期（1）和平静时期（0）。通常，分类师会根据预测值将每个观察结果分配给最可能的类别。对于只有两种可能的类别的二元情况，如果Pr（Y=1 | X=X）>0.5，则最佳类别（使错误率最小化）预测类别一，否则预测类别零。该分类器被称为贝叶斯分类器。理想情况下，人们希望使用贝叶斯分类法预测定性响应，但对于实际数据，给定的Y轴的条件分布未知。因此，许多方法的目标是估计这种条件分布，并将观察结果分类为具有最高估计概率的类别。对于实际应用，还可以注意到，类之间的最佳阈值τ并不总是0.5，而是不同的。这个最佳阈值可能是优化上述有用性的结果，本文稍后将对其进行更详细的研究。本文旨在收集一套多功能的不同分类方法，从简单的信号提取方法到计算量大得多的神经网络和支持向量机。