机器学习在产量曲线特征提取中的应用

因此，图像模式识别中最成功的模型捕获了在输入中重复自身的局部特征（参见[9]和参考文献）。另一种方法是使用高斯加性噪声，其方差通过超参数调整设置（参见[4]）。用于产量曲线特征提取的机器学习7图4。DAE会破坏然后重建输入。其中）。这些算法将CNN架构用于自动编码器的解码器和编码器部分（有关CNN的详细信息，请参见图5和图4）。图5：。单频道CNN网络在历史速率表面上进行训练。针对DAE培训了两种类型的CNN体系结构。第一个CNN-DAE网络只有一个单通道输入，即屏蔽速率面（上图5）。第二种结构有一个3通道输入，它是一个尺寸为16×16×3的张量。堆栈的第一层是掩蔽速率曲面，其他两个堆栈对网格上的速率坐标进行编码。该体系结构的灵感来自于深度学习的其他应用中所采用的位置嵌入技术，如序列到序列学习（见[2]）。其基本思想是，位置嵌入通道让网络知道它所处理的输入中稀疏曲面的面积。据观察，带有位置嵌入的CNN-DAE更能捕捉评级中利率的单调性（见第4.6节）。4、实验结果。4.1. 数据描述。这些数据来自彭博社（根据西部大学的学术许可证），包括公司工业债券指数的中等收益率。共有13个指数（AAA、AA、A+、A、A、BBB+、BBB、BBB-、BB+、BB、BB-、B+、B），每个指数提供15个期限（3m、6m、1y、2y、3y、4y、5y、7y、8y、9y、10y、15y、20y、25y、30y）的收益率，从而形成一个二维曲面，每个观测日期有195个点。

彭博社根据成分债券计算收益率，并按给定值计算。数据为每日数据，范围为2018年1月29日至2018年4月27日（63次观察）。8 GREG KIRCZENOW、MASOUD HASHEMI、ALI FATHI和MATT Davidson 20年、25年和30年的收益率不适用于BB+、BB、BB-、B+和B指数。这些缺失点是通过查找通用双B和单B工业公司指数的缺失期限和15年期限之间的利差来填充的，并假设相同的利差适用于相应的更细粒度评级指数。据观察，收益率在评级上是弱单调的（对于单个观察，除了曲线长端的B+和B指数）。在观察期间，收益率的基调也是单调的，除了某些指数的曲线很长。4.2. 拟合总变化。为了用TV恢复缺失值，使用了稀疏优化研究代码（SPORCO）[15]包中的TL2DENOISE函数。SPORCO是一个Python软件包，用于解决具有稀疏性诱导正则化的优化问题。这些主要包括稀疏编码和字典学习问题，包括卷积稀疏编码和字典学习，但也支持其他问题，如总变差正则化和鲁棒PCA。它使用交替方向乘子法（ADMM）[16]来解决TV优化问题。将TV修复算法应用于测试集中的70个稀疏矩阵中的每一个，然后预测完整矩阵，并与实际的完整测试矩阵进行比较，以得出相关的误差度量。4.3. 装配薄板花键。R-packagefields v9.6中的Tps功能用于填充Tps表面。我们请读者参考[11]了解功能的详细信息和设置。

测试集中70个稀疏矩阵中的每一个都使用TPS算法，然后使用校准的TPS参数预测完整矩阵。然后将结果与实际完整测试矩阵进行比较，以得出相关的误差度量。4.4. 培训自动编码器。神经网络的训练和测试数据如下所示。首先，对产量进行缩放，使最大产量为1。这使模型输入和输出与sigmoidactivation函数的范围保持一致。然后，将10%的观察结果进行测试。由于该算法的目的是根据已知输入重建速率曲面，而不是预测超时的速率曲面，因此从数据中随机选择测试集。最后，为了给算法提供额外的训练信息，将训练集和测试集的每个观测重复10次，并进行随机破坏过程。测试中使用了两种类型的损坏（掩蔽）。在第一种方法中，每个训练矩阵都是屏蔽的。更准确地说，在（[13]）之后，从每个样本中随机选择固定数量的元素，并将其值强制为0，从而创建稀疏的ratesurfaces。在第二种方法中，我们还屏蔽了一致稀疏矩阵的三个象限，只保留了左上象限，不受影响。这是因为在非流动性市场中，通常只有高评级和短期到期固定收益工具才存在流动性交易。然后对每个神经网络进行训练，以稀疏曲面作为输入，重建完成率曲面。神经网络在以TensorFlow为后端的Keras中实现。采用标准参数值和均方误差损失进行自适应优化，机器学习用于两个网络的屈服曲线特征提取9。

Python软件包Hyperas具有内置的ParzenEstimators树（TPE）算法（[17]），用于对学习率、衰减率、批量大小、FCNN隐藏层中的节点数以及CNN层和过滤器数进行超参数优化。矩形线性单元（ReLU）用作隐藏层的激活函数，而sigmoid用作输出层的激活函数。在两个网络中的每个隐藏layeractivation之后使用批处理规范化。FCNN使用单个过完备隐藏层（见图4）。这种结构隐含着这样一种理念，即网络必须了解表面上的每一个收视率之间的关系，无论它们在基调/评级空间中的距离如何。然而，经济直觉表明，表面上相邻的产量将具有很强的相关性。CNN在其网络体系结构中捕捉到了这一特征，该体系结构由多层卷积和3x3滤波器以及池组成，然后是卷积和上采样，以恢复速率表面维度。因此，CNN的参数比FCNN少得多。4.5. 自动编码器的单调性和平滑性。收益率曲线的一个重要特征是评级的单调性，这意味着评级较高的债券的收益率总是小于利率较低的债券的收益率。此外，收益率曲线沿期限和评级平稳变化（见图2）。有人观察到，使用速率基调曲面作为DAE的训练输入，它无法很好地学习单调性和平滑性。我们假设这是由于多层CNN/FCNNarchitecture的应用，它减少了向网络深层提供的有关收视率和基调的信息量。

为了验证这一假设，将两条额外的输入信息作为额外通道添加到输入评级的基调表面。一个通道包含沿评级增加的值，而值沿期限保持不变。第二个通道沿男高音增加，并保持恒定的收视率。这两个额外的通道为DAE提供有关音阶和评级的信息。如3.5所述，在深度学习应用的其他领域，如序列学习，使用类似的技术来帮助网络感知输入张量中的位置或坐标（见[2]）。下面，我们用CNN/PE表示带有位置嵌入通道的CNN架构。仅接受过等级评定的DAE（一个频道）将提交给CNN。4.6. 性能测试。我们的测试集由70个示例组成。有两种类型的测试测量，一种用于均匀掩蔽，另一种用于块掩蔽（左上象限，见图6）。对于均匀掩蔽，产生了25%的稀疏性。表1和表4包含了相应测试集上所考虑算法的准确性。

图7和图8显示了所选测试示例上DAE和TV算法的输出。计算所有测试集示例的速率面上所有点的平均绝对误差（MAE）和均方根误差（RMSE），并计算相对于真实观测产量的百分比值。请注意，CNN指的是具有1个通道输入的CNN-DAE，CNN/PE指的是具有位置embbed的CNN DAE。可以看出，在均匀掩码数据上，算法的总体性能更好，这是合理的，因为均匀稀疏性仍然提供了约10个GREG KIRCZENOW、MASOUD HASHEMI、ALI FATHI和MATT DavidsonMetric TV TPS FCNN CNN/PEMAE（bps）21.43 11 10 8 8.85MAE（百分比）6.51 3 2 3 2.29RMSE（bps）31.86 18 11 13 14.66RMSE（百分比）8.6 4 3 4.14表1。测试集性能，均匀掩蔽，ν=0.75。Metric TV TPS FCNN CNN CNN/PEMAE（bps）31.12 20.07 10.01 13.61 10.96MAE（百分比）18.16 12.41 2.7 3.59 2.97RMSE（bps）40.21 25.31 13.69 17.11 14.66RMSE（百分比）26.47 14.08 3.78 4.60 4.14表2。测试集性能，块屏蔽。算法猜测插值块的方法。TV算法的性能最差。请注意，虽然TPS、FCNN、CNN和CNN/PE的性能或多或少与均匀稀疏示例相当，但DAE体系结构在块屏蔽稀疏数据上的性能明显更好。FCNN和CNN程序也运行在一个拥有更长历史的专有数据集上，包括各种不同的表面形状。对于这个数据集，CNN优于FCNN，这表明它在学习各种任务方面可能具有更高的灵活性。我们还对这些算法进行了检查，以了解训练集中的评分特征在多大程度上保持了单调性。

使用的指标是沿着评级方向的简单差异法，以确定负斜率。下表总结了算法的单调性保持性能。电视TPS FCNN CNN CNN/PE3.60 3.11 6.4 10.25 5.43表3。测试集中违反单调性的百分比，均匀掩蔽。电视TPS FCNN CNN CNN/PE23.56 18.91 9.6 12.77 7.50表4。测试集中单调性冲突的百分比，块掩蔽。用于产量曲线特征提取的机器学习11图6。速率曲面（左）、均匀遮罩（中）和块稀疏遮罩速率（右）曲面的示例。图7：。由具有CNNACHITUCTURE的DAE重建均匀屏蔽（顶部）和块屏蔽（底部）测试示例的屈服曲线。图8：。通过TV算法重建均匀屏蔽测试示例（中间）和块屏蔽测试示例（右侧）的屈服曲线。5、结果总结。本文展示了图像识别文献中著名算法的一种新的财务应用。FCNN和CNN DAE能够从流动市场中提取特征。假设这些相同的特征存在于非流动性市场中，该算法可用于估计缺失的信息。本文为公司债券提供了一个例子，但类似的方法可能在股票波动率表面等其他领域取得成效。12 GREG KIRCZENOW、MASOUD HASHEMI、ALI FATHI和MATT DavidsonReferences【1】T.Chan、S.Esedoglu、F.Park、A.Yep，《全变差图像恢复的最新发展》，《计算机视觉数学模型》，第17（2）卷，2005年。[2] J.Gehring、M.Auli、D.Grangier、D.Yarats和Y.N.Dauphin，《卷积序列到序列学习》，ArXiv e-prints。，2017年。【3】T.Goldstein，S.Osher，《L1正则化问题的分裂Bregman方法》，暹罗影像科学杂志，第2.223–3432009卷。[4] I。

Goodfello，Y.Bengio，A Courville，《深度学习》，麻省理工学院出版社，2017年。[5] P.Hagan，G.West，《构建产量曲线的方法》，Wilmott杂志，2008年5月。[6] T.Hastie、R.Tibshirani、J.Friedman，《统计学习的要素：数据挖掘、推理和预测》，斯普林格统计系列，2016年。[7] J.Hyman，《精确保单调三次插值》，暹罗科学与统计计算杂志，第4卷（4）：645–6541983年。[8] K.Kreutz Delgado，J.F.Murray，B.D.Rao，K.Engan，T.W.Lee和T.J.Sejnowski，《稀疏表示的字典学习算法》，神经计算，第15卷（2），349-3962003。[9] J.Masci，U.Meier，Dan Cirean，J.Schmidhuber，《用于分层特征提取的堆叠卷积自动编码器，人工神经网络和机器学习》，VolumeCann 2011:52–592011。[10] J.Meinguet，《简化任意点的多元插值》，《应用数学与物理杂志》（ZAMP），第30卷：292–304，1979年。[11] D.Nychka，R.Furrer，J.Paige，S.Sain，包装场，CRAN，2015年。[12] V.Vapnik，《统计学习理论概述》，CIEEE神经网络交易，第10卷（5），1999年。[13] P.Vincent，H.Larochelle，Y.Bengio，P.Manzagol，《使用去噪自动编码器提取和合成鲁棒特征》，第25届机器学习国际会议记录，1096-1103年。ACM，2008【14】G.Wahba，《观测数据样条模型》，CBMS-NSF区域会议系列《非应用数学》，暹罗，1990年。[15] B.Wohlberg，SPORCO：《标准和卷积稀疏表示的Python包》，《第15届Python in Science会议论文集》（美国德克萨斯州奥斯汀），2017年7月1-8日。[16] S.Boyd，《乘法器交替方向法》，NIPS优化和机器学习研讨会，2011年。[17] Bergstra、James、Dan Yamins和David D。

《优化机器学习算法超参数的python库》，第12届python inScience会议论文集，2013年。收到xxxx 20xx；修订日期：xxxx 20xx。电子邮件地址：gkirczen@rbc.comE-邮件地址：masoud。hashemi@rbc.comE-通讯地址：ali。fathi@rbccm.comE-邮件地址：mdavison@uwo.ca