基于机器学习的金融信用风险分析

在低维D中（即D<20；换句话说，当只有少数财务因素用于破产预测时），K-D树可以是一种非常有效的算法，即使在对大量公司（N>百万）进行分类器培训时也是如此。这种效率的主要原因在于其二叉树结构，它将公司数据细分为高于或低于所有维度中位数定义的超平面（图3）。K-D树模型的另一个很好的特性是，它是一种非泛化方法（即，它简单地记忆所有以前的示例，而不学习任何参数），因此可以处理任何第2章：背景Jacky C.K.Chow-2018年2月11模型中的概率分布和非线性。该方法的大部分计算工作都是建立树结构。一旦根据培训样本建立了搜索树，将新公司分类为破产或非破产只需检索其k个最近邻居并使用多数投票方案来决定标签。直觉上，这是有道理的：如果大多数具有类似财务因素的公司没有破产，那么被调查的新公司也很可能不会破产，反之亦然。衡量两家公司之间密切程度最常用的距离指标是欧几里德标准。与寻找k近邻的蛮力方法相比，k-D树可以将计算复杂度从O（DN2）降低到O（log（N））。然而，只有当尺寸D足够低时，才能实现这种减少；在高维空间中，由于维数灾难，K-D树的效率会降低。

即使K-D树不学习任何参数，它仍然有一个需要调整的参数：要搜索的邻居“K”的数量。较大的“k”通常可以减少随机噪声的影响，但边界变得不那么清晰。较小的“k”可以减少偏差，但会增加方差。因此，选择“k”可以有效地平衡偏差-方差困境/权衡。图3：二维K-D树的图形表示。左侧显示了空间分区（使用超平面 绘制），右侧显示相应的树结构。（Berg、Cheong、Kreveld和Overmars，2008）使用机器学习分析金融信贷风险12 Jacky C.K.Chow-2018年2月2.2.3支持向量机在各种核机器中，支持向量机（SVM）是最广泛用于分类任务的机器之一。数学公式可能非常复杂，但从几何角度来看，它可以非常简单地可视化和解释。当二维特征空间中有两个线性可分的类（O和X）时，可能会有许多不同的解决方案，这些解决方案都会对训练数据产生良好的精度（或类似的最小误差）（图4）。SVM解决方案与智能人代理自然选择的决策边界相匹配，即距离任一集群最远的边界（以紫色显示）。这使得SVM做出的决策对错误（随机和系统）更具鲁棒性。例如，某些财务比率（如债务股本比）依赖于会计人员对无形资产的主观评估，这很容易出错。图4：在2D中使用SVM对O和X进行二元分离。蓝色虚线表示零训练错误的潜在决策边界（即。

线的错误一侧没有标签），紫色实线显示SVM决策边界。选择边距最大的决策边界是支持向量机的一个显著特征。与更关注两类概率最大化的logistic回归相比，SVM专注于最大化支持向量之间的分离，从而实现分类第2章：背景Jacky C.K.Chow-2018年2月13精度（即最小化泛化误差）。由于只有支持向量（最接近边界的训练点子集）对决策边界有显著影响，因此可以认为该解是稀疏的，不需要充分了解后验概率/类概率；这提高了算法的效率。为了让SVM从训练数据中学习，方程式5中给出的原始问题通常会转换为方程式6中提供的等效对偶问题。在这种情况下，标签 是{1，1}，而不是逻辑回归公式中的{0，1}。虽然对偶问题似乎比原始问题更复杂，但有许多优点可以降低此公式的复杂性。当输入特征空间的维数（D）远大于训练点数（N）时，对偶问题只需估计N个 而不是D编号.  尽管通常情况并非如此（即N通常大于D），但只有支持向量具有非零,  因此，它仍然可以更有效。

此外 可以内核化为 直接计算，无需显式求解. 最后，由于目标函数的这种形式是凸的，因此始终可以确定全局最优解（即算法不会收敛到局部最优）。请注意，方程中的C是一个超参数，用于设置正则化程度。这允许在存在异常值且两个类不能完全分离的情况下，模型中存在一些“松弛”。当C较大时，两个类之间会获得一个硬而窄的边距，而小C返回一个软而宽的边距。   NiiTiTwbxwyCww1,0maxmin  jkkTjkjkjiixxyyi21max000。。iiiiyiCts公司使用机器学习分析金融信贷风险14 Jacky C.K.Chow-2018年2月2.2.4决策树类似于K-D树，决策树具有二叉树结构和易于解释的决策逻辑。这是一种有监督的机器学习算法，被认为是非参数的（即使每个节点的阈值都被学习为参数），因为树的大小可以增长以适应分类问题的复杂性（Alpaydin，2010）。从所有训练数据所在的单个节点开始，通过询问二进制“if and else”问题将数据拆分为两个节点。例如，如果公司上一季度的净利润低于100万美元，请向左走，否则请向右走。

拆分后，两个节点中类别标签的纯度都应该得到提高，这意味着大多数财务状况良好的公司都在一个节点中，而破产风险较高的公司则在另一个节点中（图5）。然而，有时熵的减少在当前二元决策时不是立即的，而是在几个节点之后（Bishop，2006）。对于每个输入特性，不断地询问这些“if和else”问题，导致树不断增长。一旦叶节点的纯度满足一些质量指标，如基尼指数和/或交叉熵，就可以停止这一分支过程，可以通过修剪和合并信息量较小的节点来简化树（即删除没有提供显著新见解的问题）。当完成培训并通过此决策树对新公司进行分类时，分析员或经理可以跟踪该公司的特征（如财务比率）所回答的所有问题，以潜在地查明该公司的优势和劣势，从而将其分配给特定组。例如，如果该公司被标记为破产候选公司，则遍历该公司的节点可能表明其杠杆比率对于其业务而言过高。与人工神经网络等黑箱机器学习技术不同，决策树可以为其推理/决策提供易于理解的解释。

不幸的是，将二元决策局部化（轴对齐）到单个特征也有其缺点：由于特征在特征空间中相互正交，45度处的直接线性决策边界将需要许多节点。第2章：背景Jacky C.K.Chow-2018年2月15图5：使用一个级别进行二元分类的决策树2.2.5 AdaBoost的动机是委员会可以比单个个人做出更好的判断，适应性提升（AdaBoost）是一种将许多弱学习者的决策（例如，只有一个或两个层次的决策树）结合起来，形成模仿强学习者的共识的技术（Freund&Schapire，1997）。这与机器学习中的Bootstrap聚合（又称bagging）方法有一些相似之处，在机器学习中，不同委员会成员的决策变化是偶然的，只需提交随机抽取的训练样本子集，替换不同的弱学习者即可。随后将各个决策合并形成最终决策。但装袋和增压是两种截然不同的方法。在AdaBoost中，第一个基本分类器对所有训练样本使用统一的权重。所有后续的弱学习者都使用前一个分类器的错误作为权重，其中不正确标记点的权重会增加。如果这些分数在训练中再次被错误标记，那么对于随后的弱者来说，它们的权重会增加得更多，否则它们的权重会减少。把事情放在上下文中，想象一下人力资源部的一个团队决定是否雇用申请人。在装袋的情况下，每位员工将看到关于申请人的略有不同的信息（例如。

员工A可以看到他们的志愿服务经验和教育背景，员工B可以看到他们的志愿服务经验和工作经验）。团队成员将独立提出他们的建议，委员会的最终聘用决定将反映所有团队成员的决定。在AdaBoost的案例中，使用机器学习分析金融信贷风险16 Jacky C.K.Chow-2018年2月员工A将查看完整的简历并提出建议。然后，这些建议将转发给员工B，员工B将根据完整的简历和员工A的决定提出建议。当这些报告在委员会中传阅时，整个团队的反馈将被纳入最终的招聘决定中。2.2.6人工神经网络顾名思义，神经网络的灵感来自人脑。我们大脑中的单个神经元可以做出简单的决定，但它们共同控制着我们复杂的运动功能、认知能力等。单个神经元可以通过逻辑回归进行数学近似，因此，可以将人工神经网络（ANN）视为多层连接的逻辑回归分类器。图6显示了称为多层感知器的两层神经网络的典型结构。具有这种体系结构的ANN可以被视为通用近似器，具有建模任何连续函数的能力/灵活性。随着现代计算机的发展，趋势是有更多的隐藏单元和隐藏层，这给了它一个深入的网络架构。

虽然一个具有许多边和节点的互连网络起初可能令人望而生畏，但当分解为其基本构建块时，人工神经网络只是计算几个输入特征的加权和。如果该值大于阈值，则激活函数“激发”（即返回值1而不是0）。第2章：背景Jacky C.K.Chow-2018年2月17日图6：完全连接的两层人工神经网络的结构与前面讨论的许多其他机器学习算法有相似之处。例如，它将许多简单的决策组合成一个复杂的非线性决策边界。然而，与支持向量机不同（支持向量机是凸的），神经网络对初始参数很敏感，常常陷入局部极小值。但人工神经网络的一个显著优点是它支持顺序学习；这意味着随着时间的推移，当新数据可用时，ANN可以不断更新自己，而无需从头开始重新训练整个模型，如SVM和K-D树。人工神经网络的这一属性在股市预测中至关重要。此外，由于模型通常更紧凑，因此ANN可以比SVM更快。2.2.7高斯过程高斯过程是一种有趣的机器学习方法，近年来在破产预测中越来越流行。过去它没有被广泛采用的一个主要原因是它的学习复杂性很高（方程式7），即O（N3）。但随着现代计算机和改进的数值近似，这一瓶颈正在慢慢消失。不仅是高斯过程分析金融信用风险使用机器学习18杰基C.K。

Chow-2018年2月贝叶斯非参数回归和分类技术（这意味着它可以无限灵活地拟合任何数据，而无需过度拟合），它为所有输出分配适当的概率度量。此外，当与特定内核一起使用时，它可与具有无限个神经元的单层神经网络相比较（方程式8）（Rasmussen&Williams，2006）。不过度拟合的能力与奥卡姆剃须刀的原理有关，奥卡姆剃须刀天生就内置于GP的最大似然公式中。由于可以同时进行训练和模型选择，决策边界可以尽可能复杂，但不能再复杂。GP用于破产预测的最大优势可能是能够给出预测的概率置信水平。例如，如果A公司和B公司分别以51%和99%的概率被归类为破产候选公司，那么我们可以进一步说，A公司的状况比B公司好，只是一个濒临破产的候选公司，而B公司宣布破产的可能性非常高。         21211Log），（loglog21log，21MiniIIinIItwysigmxkwysigmiwysigmwxkw  \'\'2121\'2sin2\'（1xxxxxxktt第3章：目标Jacky C.K.Chow-2018年2月19 3目标本论文的目的是使用机器学习算法诊断企业的财务健康状况。对使用几种数据驱动模型预测公司破产（公司违约）进行了详细研究。

预测金融信贷风险的培训模型将考虑金融专家的定性评估和定量计量经济因素。使用机器学习分析金融信贷风险20 Jacky C.K.Chow-2018年2月4方法为了便于将应用的机器学习方法与其他技术进行比较，并允许其他研究人员进行验证，本项目使用了二次数据。处理了加利福尼亚大学欧文分校机器学习和智能系统中心托管的机器学习库中的两个公开可用数据集。第一个数据集（称为数据集1）包含250条不同公司的六项定性指标记录，这些记录来自具有大约九年经验的贷款专家。注：在Kim&Han（2003）的原始论文中，他们使用遗传算法预测了韩国772家制造和服务公司的破产，其中只有250家记录被共享。以下六项定性指标由韩国最大的银行之一制定（Kim&Han，2003）：o工业风险o管理风险o财务灵活性o可信度o竞争力o运营风险第4章：方法论Jacky C.K.Chow-2018年2月21附录1提供了有关这些指标的更多详情。基本上，行业风险衡量的是行业的健康和未来潜力，管理风险衡量的是组织结构和管理者的能力，财务灵活性衡量的是公司的现金流，信誉衡量的是公司的声誉和信用评分，竞争力衡量的是公司的市场地位和竞争优势，而操作风险是衡量其生产效率的一个指标。