深入学习衍生品

例如，生成大量的示例几乎没有意义，这些示例将使参数类型数分布于远期股价6 100（对数正态（0.5，0.25））股票波动率6均匀（0,1）到期日1均匀（1,43）**2相关性15 2（β（5，2）-0.5）表3：具有六个基础的篮子期权参数。零选项值。因此，我们预计一些衍生模型将需要不同的采样分布选择，其中参数不是独立的。在其他情况下，分层或重要性抽样可能是合适的，但我们将此留作进一步研究。创建一组随机参数值后，将调用要复制的函数以生成值。这样可以创建大量的培训示例。由于导数估值函数被多次调用，这可能需要大量计算。然而，对于模型的初始培训，此过程只需执行一次。如果所有训练示例都是独立的，那么它也可以很容易地并行化。3.2篮子期权培训对于我们的篮子期权示例，我们通过假设篮子中每个股票的波动率曲面，减少了输入参数的数量。通过假设零利率和股息，进一步简化了计算。对于六种标的股票，我们有表3所示的参数细分。除了单独处理的相关矩阵外，这些参数是随机和独立采样的。股票价格是使用100* exp（z），带z~ N（0.5，0.25）。相关矩阵是使用Lewandowski等人（2009）的C-vine方法生成的。由于神经网络模型将使其估计值与所提供的训练数据之间的误差最小化，因此选择一个具有代表性的数据集非常重要。

开发培训数据时，另一个需要考虑的问题是学习函数的性质。功能值快速变化的区域需要分配更多的培训数据。我们生成了更多关于短期债券的数据，因为篮子期权估值函数的凸性在货币短期期权中最大。输入的样本分布如图3所示。我们使用表3中相同的分布生成了三个不同的训练集，属性如表4所示。生成每个内核所用的时间大致相同，使用所有内核大约需要一周的服务器时间。培训集#示例#MC PathsA 5M 1MB 50M 100kC 500M 10k表4：三个培训集的属性。模型用50000个样本的小批量进行训练。测试集由5000个样本组成，从一组单独的高精度MC生成数据（100mm路径）中随机抽取，仅用于测试。使用24核AMD EPYC 7401P服务器，通过充分使用所有核心，我们在一周多一点的时间内计算出测试集的值。通过使用一亿条路径，我们可以获得1%以内的蒙特卡罗精度。然而，单个选项的估价耗时约300秒，在生产环境中几乎没有用处。如果精度为5美分（100万条路径）或20美分（100k（a）（b）（c）（d）（e），图3：篮子期权培训和测试集中使用的输入变量的样本分布。考虑到篮子中有六项输入资产，且抽样是独立的，因此，只有一个代表性的例子说明了股票、波动性和相关性。

各个图表说明了（a）到期日（以天为单位），（b）a股和b股之间的相关性，（c）股价a，（d）股票波动性和（e）期权价值。路径），则可分别在一小时、45分钟或10分钟内完成测试集的评估。使用Adam优化器（Kingma和Ba，2014）对所有模型进行训练，学习率设置为1e-3，β=0.9和β=0.999.3.3结果3.3.1训练性能不同的模型，都有六个隐藏层进行了训练。模型根据使用的训练集和每个隐藏层中的节点数进行区分。每个隐藏层都使用了LU激活函数，最终输出层使用一个简单的线性函数来提供重新估值的输出。第一个实验使用了使用训练集A训练的模型。图4说明了学习能力与五个模型的小批量迭代次数的函数关系。每个模型都有两条曲线，给出了测试集和训练集的学习曲线。这些曲线表示Adamoptimizer每次迭代的最小损失。这是过度训练的典型例子；训练集误差继续减小，而测试集误差仍然很高，即使是最好的模型。对于最大的模型，每层有600个节点，过度拟合非常明显，以至于样本外的泛化严重低于较小模型的泛化。图4：每层200、300、400500和600个节点的五种不同模型的最小损失作为小批量迭代的函数。训练集B用于训练第二组模型。

这些模型每层使用400、6001200、1400和1600个节点，学习曲线如图5所示。最后一组实验是使用与案例B相同的每层神经元数量的训练模型进行的，但使用的是训练集C，只有10k条蒙特卡罗路径，图5：每层400、600、12001400和1600个节点的五个不同模型的最小损失作为小批量迭代的函数。结果如图6所示。在每个训练示例中，使用更大的训练集和更多的蒙特卡罗噪声，结果明显更好。从经验上看，似乎最好通过模型域广泛分布蒙特卡罗场景，而不是将其集中在生成高精度训练数据的点上。有了更多的数据，容量更大的大型模型可以在过度拟合集合之前进行训练。一个关键的观察结果是，测试结果优于培训结果；也就是说，模型已经学会了平均与低质量训练数据相关的数值噪声。图6：每层400、600、12001400和1600个节点的五种不同模型的最小损失作为小批量迭代的函数。这一逻辑结论表明，直接使用单蒙特卡罗路径可以获得最佳方法。由于每个训练样本的大小都约为300字节，因此每个训练集将消耗1.5 PB的磁盘空间。虽然这不是不可能的大，但使用实时数据生成的培训方法似乎更合理。我们建议直接从动态蒙特卡罗模拟中训练神经网络，将路径分组为独立的小批量。

然而，我们将此留作进一步的工作。3.3.2准确性为了将我们的深度学习方法与经典蒙特卡罗评估技术相比较，我们使用Quantlib的MCEuropeanBasketEngine对这些测试用例进行了评估，包括10k、100k、1mm、10mm和100mm场景。图7显示了与100mm路径的第二次MC评估相比的差异直方图。图中还显示了本研究期间培训的一个模型的结果。结果与具有10万个场景的Monte Carlo示例非常相似。然而，有一个很大的区别。更值得注意的是，使用我们的Epyc 7401P服务器的所有核心计算蒙特卡罗结果需要10分钟多一点的时间。在NVIDIA GTX 1080ti GPU上计算深度学习推理结果所需时间不到6毫秒。这不是使用更昂贵硬件的情况。GPU的成本低于CPU。（a） （b）（c）（d）（e）（f）图7：通过传统蒙特卡罗技术和深度学习模型评估的50000个样本测试集的误差分布。各个图代表了每个评估中使用的不同场景数量：（a）10k，（b）100k，（c）100万，（d）1000万，（e）1亿，和（f）深度学习模型。深度学习模型的误差与100k场景下蒙特卡罗模拟的误差相似。计算10万个场景的MC结果需要10分钟多一点的时间。深度学习模型在不到6毫秒的时间内计算出结果。我们还研究了直方图尾部的样本，因为它们通常来自于训练分布的边缘。

稍后的工作将研究一些技术，以对这样一种可能性进行评分，即测试数据样本将通过核密度估计和距离的统计度量产生准确的评估，从而显示出前景。3.3.3速度总体性能可分为三个关键阶段，即生成训练集、训练神经网络和最终推理步骤。我们生成了三个训练数据集，将数据集的大小与数据的质量（即每个样本的蒙特卡罗场景数）进行权衡，同时将蒙特卡罗场景总数保持在5x10。使用AMD EPYC 7401P服务器的所有24核生成每个数据集大约需要1周的时间。神经网络模型训练是层数、每层节点数、训练集大小、小批量大小和学习率的函数。本文介绍的模型经过3小时到1周的训练。生成培训集和培训模型所花费的时间是一次性成本。一旦完成，它们就不必重复。这些阶段与开发传统模型所花费的时间相比最为准确。我们很少讨论编码和测试我们的篮子MC模型需要多长时间。我们真正关心的时间是推断时间：一个训练有素的模型能以多快的速度返回估值。这取决于模型的大小。我们训练的小模型（6层，每层300个节点）能够在不到50微秒的时间内并行返回20000多个估值。大型模型（6层，每层1400个节点）可以在不到6毫秒的时间内计算50000个估值。4结论和未来工作的机会在本文中，我们已经证明，通过一篮子期权的例子，可以使用深度神经网络提供高精度的衍生品估值。

这些模型计算估值的速度大约是传统蒙特卡罗模型的100万倍。我们开发了一套成功的方法来生成一组培训数据，这些数据可以进行调整以适应其他估值模型。最后，我们还证明了在训练集中使用少量蒙特卡罗路径是非常有效的，并且神经网络学习可以平均训练集中发现的蒙特卡罗模型的随机误差分量。我们正在积极调查几个方面：1。调整衍生品定价模型的维度。一些模型需要在市场数据和贸易规范中输入数百种数据。2、开发评分技术，以确定训练模型是否适合输入应用的数据。3、通过神经网络的反向传播提供风险敏感性，作为算法差异的替代或补充。4、使用DNNs作为一条管道，独立地近似评估模型和模型校准步骤。5、运用迁移学习加快相关衍生产品的培训。6、在实践中使用DNN加速XVA的衍生品估值。模型的容量是层数和节点数的函数。未来的工作还将涉及改变模型的深度，同时保持每层节点数不变。。8、探索小批量的影响。更小的小批量允许GPU内存用于其他用途，例如构建更大的模型。参考Brummelhuis，R.和Z.Luo（2017）。CDS通过机器学习技术评估施工方法。SSRN。Culkin，R.和S.R.Das（2017年）。金融学中的机器学习：期权定价的深度学习案例。投资管理杂志。Cybenko，G.（1989年12月）。通过S形函数的叠加进行近似。

控制、信号和系统数学2（4），303–314。E、 W.、J.Han和A.Jentzen（2017年6月）。高维抛物型偏微分方程和倒向随机微分方程的基于深度学习的数值方法。ArXiv电子打印。Gass，M.，K.Glau，M.Mahlstedt和M.Mair（2015年5月）。参数期权定价的切比雪夫插值。ArXiv电子打印。古德费勒，I.、Y.本吉奥和A.库维尔（2016）。深度学习。麻省理工学院出版社。http://www.deeplearningbook.org.Green，A.（2015年）。XVA：信贷、融资和资本估值调整。威利。Guss、W.H.和R.Salakhutdinov（2018年）。用代数拓扑刻画神经网络的能力。更正abs/1802.04443。Henry Laborder，P.（2017）。BSDE的深度原始-对偶算法：机器学习在CVA和IM中的应用。SSRN。霍尼克，K.（1991）。多层前馈网络的逼近能力。NeuralNetworks 4（2），251–257。Hutchinson，J.M.、A.W.Lo和T.Poggio（1994年）。通过学习网络定价和对冲衍生证券的非参数方法。《金融杂志》49（3），851–889。Kingma，D.P.和J.Ba（2014年）。Adam：一种随机优化方法。更正abs/1412.6980。Lewandowski，D.，D.Kurowicka和H.Joe（2009，10）。基于vines和扩展洋葱方法生成随机相关矩阵。多变量分析杂志1001989-2001。Ng，A.（2018）。神经网络和深度学习。在Coursera。QuantLib（2000年）。quantlib主页：定量融资的开源框架。http://www.quantlib.org.Tenti，P.（1996年）。使用递归神经网络预测外汇汇率。AppliedArti Ficial Intelligence 10567–581。Zeron，M.和I.Ruiz（2017年）。

高效风险计算的切比雪夫方法。MoCaX情报工作文件。Guss和Salakhutdinov（2018）对学习能力进行了进一步讨论。早期迹象表明，这对模型的准确性并不特别重要。