基于机器学习技术的CDS速率构造方法

对于使用神经网络的回归，这些将是最终输出，但对于分类问题，我们通过定义πk=ewTkuf+wk0PKl=1ewTluf+wl0来执行进一步的转换，（27）解释是πk，它是输入x以及所有初始、中间和最终网络权重的向量W的函数，是特征向量x属于k类的概率。为了训练网络，我们注意到，减去输入xibelongs到（观察到的）类yi的对数可能性∈ {1，…，K}是-NXi=1KXk=1δyi，klogπk（xi；W），（28），其中W是网络所有权重和偏差的向量。这也称为交叉熵。然后确定权重以最小化该交叉熵。该最小值使用梯度下降算法进行数值逼近。目标函数的偏导数可以使用链规则通过反向递归计算：这称为反向传播算法：有关更多详细信息，请参见Hastie et al.（2009）。在训练网络后，最终决策规则是将特征向量x分配给πk（x，cW）最大的类k，其中hat表示优化权重。2.8.2简单神经网络的示例图6显示了一个简单的三层神经网络，包括输入层（d表示#个特征）、一个隐藏层（n表示#个隐藏单元）和输出层。图6：一个简单神经网络的图示2.8.3参数化我们仅限于具有单个隐藏层的神经网络，这是受Cybenko和Hornik的universalapproximation定理的启发，该定理表明此类网络能够一致逼近Rn紧子集上的任何连续函数。剩下的相关参数是激活函数f和隐藏单元数。

作为激活函数，我们选择并比较了Elliot-sigmoid函数、纯线性函数和双曲函数：见图7。我们还研究了隐藏单元的数量对分类性能的影响：这些单元的数量越多，神经网络越复杂，人们可能天真地期望性能越好。然而，我们发现，根据特征选择，我们的代理问题的性能对于少量隐藏的神经元很快就稳定了：见图20。我们发现神经网络是我们表现最好的分类器：更多讨论见第3节。图7：神经网络的激活函数2.9集成学习：Bagged决策树Bootstrapped Aggregation或Bagging，由Breiman（1996）介绍，基于众所周知的非参数统计的Bootstrap技术（Efron 1979）。从训练集DTONE开始生成新的训练集D，DBby替换均匀抽样，并使用这些totrain分类BY（x），byB（x）。然后，通过多数投票（或委员会决策）进行最终分类：特征向量x与BYI（x）中最常出现的类别相关联。我们将B称为装袋程序的学习周期数。Breiman（1996）发现装袋可以减少差异和偏差。同样，Friedman和Hall（2000）报告称，装袋可以减少决策树等非线性估计器的方差。装袋可以在每个阶段使用相同的分类算法，但也可以用于组合来自不同分类族的分类者的预测。

在本文中，我们将自己局限于bagging决策树，以解决后者对训练集的强烈依赖性及其对噪声的敏感性。2.9.1袋装树绩效示例如图8所示，与普通决策树相比，袋装树在所有三种类型的杂质度量（基尼、二元和熵）中的误分类率方面都有所提高。对于该图，学习周期数B设置为30。Wealso研究了精度对B的依赖性，发现对于每个特征选择，精度稳定在B=30左右：进一步讨论见图21和第3.2节。在装袋之后，决策树算法从第六名上升到第三名，表现最好的分类器系列：参见下面的第3.1节。图8：袋装树与决策树2.10分类性能的统计程序为了检查各种分类的性能，我们使用了成熟的K-fold交叉验证程序，该程序广泛用于统计学和机器学习。2.10.1 K-fold交叉验证让德必成为一组观察数据，包括特征向量及其所属的类别（forus：可观察对手）。1、随机分布并将其拆分为K个不相交子集Dn（K）：DO=K[n=1Dn（K）]。通常，Dn（K）大小相等。对于分层K倍交叉验证，每个Dn（K）其构造方式是，就其包含的特定类别样本的相对数量而言，其组成与DO相似。分层交叉验证服务可限制下一步的样本偏差。2、对于n=1，2，K、 通过DHn=Dn（K）确定坚持样本，然后在DTN=DO确定的训练集上训练分类器- DHn。（29）让我们记录最终的分类结果。3.

对于每一个n，通过计算误分类率对保持样本DHNB进行测试HN定义人Hn=#DHnX（x，y）∈DHn公司1.- I（y，^y（x））, （30）其中，如果u=v，则I（u，v）=1，否则为0。如果数据以某种格式出现，则减少采样偏差，例如PD数据按递增幅度排序4。取样本平均值和标准偏差Hnas对预期分类率及其标准差的经验估计值为：buK=KKXn=1HnbSK=vtKKXn=1(Hn公司-buK）。（31）如果我们假设抽样误差的分布，例如正态分布、学生t分布或甚至β分布（εHnare均在0和1之间构造），我们可以将这些数字转换为95%的置信区间，但我们仅限于报告Bukandbsk。还要注意1-buKwill是对预期准确率的估计。2.10.2 K倍交叉验证的K选择Kohavi（1995）建议使用分层交叉验证来测试分类。基于扩展数据集，它表明K=10是一个不错的选择。Breiman等人（1984）也发现了这一点，他们报告称，K=10在决策树研究中给出了令人满意的交叉验证结果。我们检查了K对分层Coss验证对判别分析、逻辑回归和支持向量机系列（见图13、17和11）的影响，并发现K=10是一个令人满意的选择，除非另有说明，我们对八个分类族的所有交叉验证结果都是在K=10.2.11特征选择和特征提取的情况下获得的。在讨论了八个分类族以及我们用于评估分类性能的统计评估程序之后，我们转向了特征变量。

我们讨论了使用PCA的特征选择和特征提取，并给出了后者的一个应用。2.11.1特征选择特征选择可以基于纯粹的统计程序，如Hastie et al.（2009）中描述的正向、反向和逐步选择，可以在理论基础上进行，也可以通过实践进行通知。在我们的研究中，我们采用了后两种方法，基于我们自己的经验和Berndt等人（2005）的研究选择特征变量，该研究报告称，违约概率（PD）和公司流动股权期权溢价的隐含波动率对公司的CDS率具有重要的解释力。对于PD数据，Berndt et al.（2005）使用穆迪KMVTMExpectedDefault频率或EDFTM，这是从默顿的经典企业价值模型（默顿，1974）获得的。在我们的研究中，我们用彭博资讯（BloombergTM）的PD数据替换了这些预期违约频率（仅适用于认购者），该数据涵盖了公众（Bloomberg，2015）2.11.2特征提取金融变量通常具有强相关性，尤其是当它们具有期限结构时，但也具有横截面性，如类似到期日的历史波动率和隐含波动率。对于我们的数据集，图15的柱状图说明了这一点，该柱状图显示了16个特征变量之间空气相关性的经验分布，并清楚地表明存在非常强的显著相关性。例如，众所周知，解释变量之间的相关性会对回归系数的估计产生强烈影响。如果我们通过添加或删除解释变量来干扰模型，或通过添加噪声来干扰数据，从而导致错误的估计，则后者可能会受到影响。

这在统计学中被称为回归中的多重共线性，并且已经得到了很好的研究：例如Greene（1997）。对数据进行初步主成分分析（PCA），并在PCA空间中仅使用前几个主成分进行回归，可以解决此问题。从数学上讲，PCA相当于对特征向量执行正交变换，从而使方差协方差矩阵对角化。然后，转换变量的分量（称为主分量或PCs）将不相关；它们通常按其相关特征值的降序排列。在机器学习中，使用PCA等技术对原始特征空间进行预处理称为特征提取；参见Hastie等人（2009年）。事实上，在图像识别等领域，通常的做法是在进行分类之前执行这样的特征提取过程，以减少特征空间的极大维数。对于我们来说，特征空间的维度（最多16个）不是一个问题，但单个特征变量之间的强相关性及其对分类的影响可能是一个问题。我们通过执行PCA并使用PCs作为分类算法的输入，替换原始特征变量，检验了相关性的影响。如果相关性会强烈影响分类，那么PCA后的分类结果应该有所不同，因为PCA成分在结构上是不相关的。

正如我们将在下文第3.1节中看到的那样，对于大多数分类家庭来说，相关性并不影响分类，而且在哪里存在结构性原因。PCA当然已经经常用于金融领域，尤其是固定收益领域和风险管理领域，主要用于降维目的：例如，Rebonato（1999）作为一般参考，Brummelhuis等人（2002）关于非线性风险价值的应用。在本文中，我们将其用作诊断工具，以确定特征相关性对分类的潜在影响。2.11.3一个例子：Naive Bayes Classification with and without PCAAL尽管在应用中Naive Bayes Classifies isoften所做的类别独立性假设被违反，但其在非金融市场数据方面的表现在Rish等人（2001）中被认为是非常成功的。对于两个特征向量FS1和FS，我们比较了Naive Bayes与原始特征变量的性能，以及Naive Bayes使用主成分的性能。图9中的图表绘制了经验准确率（通过K倍交叉验证计算）与用于分类的FS1 PC数量的函数，其中第一个表格列出了这些比率的数值，以及在最后一列中，通过使用“原始”、未转换的FS1变量获得的准确率。第二个表显示了Naive Bayes与特征向量FS6的相似比较结果。首先，毫不奇怪，图9显示使用的PC数量越多，分类精度越好。此外，基于全套PC变量的分类比使用未转换变量的分类精度更高。这表明Naive-Bayes在回归问题中不存在多重共线性，也表明PCA可以成为揭示这些问题的有用诊断工具。

对PCA后更高准确性的解释可以发现，我们的强相关财务特征无法满足NB的独立性假设，而PCs至少近似地满足这一假设，其范围至少是不相关的。我们还注意到，查看图表，需要7到10个主成分才能达到最大精度，这远远超过解释99%方差所需的主成分数1或2。由此我们可以得出结论，解释的方差是分类绩效的一个较差指标，这一点将在第3.1节中进一步讨论。图9:PCA与FS1和FS63经验性能比较总结下Naive Bayes分类的预期准确率在本节中，我们从两个角度总结了我们的结果：o交叉分类性能，其中我们将八个分类系列的分类性能与附录A中列出的六个不同特征选择进行比较，个人和集体，无论是否通过PCA进行特征提取内部分类性能，其中，对于八个分类系列中的每一个，我们分别比较不同分类的不同参数选择和不同特征选择的单独性能，并讨论如何设置第3.1节中的交叉分类比较参数。本总结所依据的不同图表收集在附录B.3.1交叉分类性能比较结果中。我们论文的主要结果总结在图10中，其中我们绘制了附录A中每个特征选择的每个分类的误分类率（用颜色代码表示），以及表3，其中列出了平均误分类率u及其标准偏差σ。

分类器的参数已根据经验设定，以优化K倍交叉验证后获得的准确率，同时尊重机器学习文献的建议：有关这一点的进一步讨论，请参见第3.2节。根据该图和表格，我们可以得出以下观察结果。1、首先，该图表明，表现最好的分类器是神经网络、支持向量机和袋装树，其次是k近邻和QDA分类器，Na’I-Bayes总体表现最差。2、为了量化这种印象，我们继Delgado和Amorim（2014）之后，通过计算不同特征选择的准确率的经验平均值和标准偏差，进一步汇总了每个分类的准确率和误分类率。图10：所有分类家族的分类绩效汇总表3：根据K倍交叉验证估计的平均（u）和标准偏差（σ）误分类率汇总表4：基于六个特征选择的平均准确率和标准偏差的分类排名如表4所示。根据该表，平均准确率最高的分类家族中表现最好的确实是具有正切A激活函数的神经网络（平均准确率99.3%，s.d.0.6%）、具有多项式核的支持向量机（96.8%，1.6%）和袋装树（96.0%，2.2%）。这与King at al.（1995）和Delgado and Amorim（2014）等文献的结果一致。或许有点令人惊讶的是，“QDA-FullCov”也以95.2%的合理平均值和1.6%的标准差跻身榜首。3.

如果我们关注特征变量选择的影响，我们会发现，对于大多数类别家庭来说，只有两个特征变量的FS3（灰色）和FS6（绿色）的未分类率明显高于其他类别。也有一些例外，如“NN-Linear”，它们都具有可比性（也相对较低）和“QDA-FullCov”、“NB-norm-kernel”、“NB-tria-kernel”、“DT-Entropy”，其中FS6相对于其他的性能并不太差。4、关于特征变量选择，在所有分类中，FS1（蓝色）和FS4（橙色）的误分类率非常接近，所有分类的平均值（括号中的标准偏差）分别为8.5%（2.0%）和7.5%（2.0%）。类似的备注适用于功能选择FS2和FS5。鉴于FS1和FS2分别要求将（报价最多的）5年期CDS利率s作为附加特征，实际上最好选择FS4而不是FS1或FS5而不是FS2，因为对于给定的不可观测交易对手，可能根本没有任何流动报价CDS利率，包括5年期利率。为了证明我们推荐的文献选择K=10（参见Breiman et al.（1984）和Kohavi（1995））进行K倍交叉验证的合理性，我们使用K倍交叉验证来计算不同的经验准确率，我们检查了DA、LR和SVM家族的经验准确率对K的依赖性：见图13、17和表12。