深度学习波动性

设NNσd，dbe为单层神经网络集，其Sigmoid激活函数σ（x）=exex+1，输入维数d∈ Nand输出尺寸d∈ N、 然后：EkF*-^F k≤ OCfn！+OndNlog N公司其中n是节点数，n是训练集大小，CF*是F的傅里叶震级分布的第一个绝对矩*.备注2。Barron的[5]有见地的结果在偏差（模型复杂性）和方差方面给出了一个相当明确的错误分解：oO穿越火线*n表示模型复杂性，即n（节点数）越大，错误越小oOndNlog N公司表示方差，即大n必须用大训练集n进行补偿，以避免过度拟合。最后，我们激励了多层网络的使用和网络深度的选择。尽管单层理论上可能支持任意逼近任何连续函数，但在实践中，多层的使用极大地提高了网络的逼近能力。Wein正式回顾了Eldan和Shamir[20]提出的以下定理，并请读者参考原始论文了解详细信息。定理4（神经网络深度的幂（Eldan和Shamir[20]）。Rd上存在一个简单的（近似径向）函数，可由一个小的3层前馈神经网络表示，它不能由任何2层网络近似，达到一定的恒定精度以上，除非其宽度在维度上是指数型的。备注3。尽管Eldan和Shamir[20]的特定框架具有限制性，但它从理论上证明了“深层”神经网络（多层）相对于“较浅”网络（即少数层）的力量，如[55]中的神经元数量较多。

另一方面，多项发现表明[9，47]，在4个隐藏层之外添加隐藏层不会显著提高网络性能。3神经网络定价和校准：优化网络和培训在本节中，我们比较了不同的目标函数（使用基于图像的dimplicit学习方法对数据进行直接校准），并鼓励我们选择基于图像的目标函数。我们给出了近似网络的网络架构的详细信息，并比较了校准步骤的不同优化方法。3.1目标功能1。学习地图F*（θ） ={PM（θ）（ζi）}ni=1通过通用网络，其中{ζi}i=1，。。。，n在预先指定的网格上，用n.^w=argminw表示外来产品属性（如成熟度、罢工或壁垒水平）∈RnNT rainXu=1nXi=1（F（θu，w）i- F*（θu）i）。2、求解^θ：=argminθ∈ΘnXi=1（eF（θ）i- PMKT（ζi））。（14） 3.1.1对于vanillasAs，在许多学术和行业研究论文中，我们致力于校准vanilla contractsvia隐含波动率曲面的近似值。我们进一步利用这一思想，设计了一种隐式定价图，该定价图基于将隐含的波动率曲面存储为由“像素”网格给出的图像。这种基于图像的表示对我们在第4节中介绍的网络的性能有着形成性的贡献。我们在此展示我们的贡献；让我们用 := {ki，Tj}n，mi=1，j=1a罢工和到期的固定网格，然后我们提出以下两步方法：1。学习地图F*（θ） ={σM（θ）BS（Ti，kj）}n，mi=1，j=1通过神经网络F（θ）：=F（θ，^w），其中F*: Θ -→ Rn×m（16）θ7→ F*（θ） 其中输入为参数组合θ∈ 随机模型M（Θ）的输出是隐含波动率面{σM（θ）BS（Ti，kj）}n上的n×M网格，mi=1，j=1，其中n，M∈ 正确选择NAR（见第3.2节）。

那么，^w=argminw∈RnNT rainXu=1nXi=1mXj=1（F（θu，w）ij- F*（θu）ij）。为了完整性，我们引入了Black-Scholes看涨期权定价函数，包括对数走向k、初始点、到期日T和波动率σ：BS（σ，S，k，T）：=SN（d+）- 千牛（d-), d±：=对数- k√Tσ±√Tσ，其中N（·）表示高斯累积分布函数。然后，由看涨期权定价函数P（K，T）引起的隐含波动率由以下方程的唯一解σBS（K，T）（σBS（K，T），S，K，T）=P（K，T）给出。准确地说，我们寻求解决以下校准问题：=argminθ∈Θd（∑M（θ）BS，∑MKTBS）（15），其中∑M（θ）BS：={σM（θ）BS（ki，Tj）}i=1，。。，n、 j=1，。。。，mre表示模型定价函数P（M（θ），k，T）和∑MKTBS产生的隐含波动率集：={σMKTBS（ki，Tj）}i=1，。。，n、 j=1，。。。，对于某些度量d，对应的市场隐含着可用性：Rn×m×Rn×m→ R+。2、求解^θ：=argminθ∈ΘnXi=1mXj=1（eF（θ）ij- σMKTBS（Ti，kj））。备注4。注意，^w() 取决于 因此，隐含地，F（θ）=F（θ，^w())（因此被称为内隐学习）。此设置类似于图像识别的设置，并利用数据的结构来降低网络的复杂性（有关详细信息，请参阅第4节）。备注5。在我们的实验中，我们选择了n=8和m=11。首先，对映射（16）的批评可能是无法在网格外的到期/罢工之间进行推断/插值. 但是，可以自由选择网格 根据需要确定。

此外，人们可以使用标准（无套利）单/双变量样条线技术来推断/插值冲击和到期日，就像传统的市场数据只能在离散点观察一样。图2：由神经网络近似器和对应的原始对应物在由8个到期日和11个打击给出的网格上生成的波动率曲面。3.1.2一些异国情调的支付框架扩展到许多异国情调的产品，如：数字屏障、不接触（或双重不接触）屏障、集团或自动调用。我们在第4.3节中给出了一些数值实验，以证明数字障碍期权的定价。更准确地说，在第4.3节中，我们考虑了down和in，例如down和out数字屏障选项，这是许多可自动调用产品的主要构建块。对于B级障碍<到期日T，支付公式为：PDown-和-In（B，T）=E{τB≤T}（17） PDown公司-和-Out（B，T）=E{τB≥T}（18） 式中，τB=inft{St=B}。在此设置中，我们可以很容易地为屏障级别和成熟度生成网格障碍：={Bi，Tj}n，mi=1，j=1，我们可以满足（14）3.2网络架构和培训中规定的目标函数。基于上述分析，我们选择采用隐式两步法进行校准。这涉及到将校准程序分离为（i）“深度近似”近似网络和（ii）“校准”顶部的校准层。我们首先描述隐式基于图像的训练中的近似网络，并在下面的第3.3节中讨论校准。

此外，我们将重点介绍有助于我们设计的稳健性和效率的特定技术。3.2.1隐含波动率图近似的网络架构在这里，我们鼓励我们为以下数值实验选择网络架构，这些数值实验受到前面章节分析的启发。我们的网络架构总结如下图3.2.1所示。1、一个完全连接的前馈神经网络，具有4个隐藏层（根据定理4），每个层上有30个节点（详细表示见图3.2.1）。输入维度=n，模型参数数3。本实验的输出维度=11个罢工×8个成熟度，但这种网格选择可以丰富或修改。4。四个内层各有30个节点，在要校准的网络参数的数量（n+1）×30+4×（1+30）×30+（30+1）×88=30n+6478上加上相应的偏差结果（详见第2.4.2节）。受定理2的启发，我们选择了EluσElu=α（ex- 1） 网络的激活功能。输入层1sthiddenlayer2ndhiddenlayer3rdhiddenlayer4thhiddenlayerrouttputlayer1 1 1θ。。。。。。。。。。。。。。。。。。。。。。。。。。。θn。。。。。。。。。。。。30 30 30 30输入1。。。输入nOutput 1。。。。。。。。。。。。。。。输出88图3：我们的神经网络结构有4个隐藏层，每个隐藏层上有30个神经元，输入层上有相应模型的模型参数，输出层上有8×11隐含波动率网格。3.2.2近似网络的训练我们遵循优化技术的共同特点，选择小批量，如inGoodfellow、Bengio和Courville所述[32]。典型的批量值在10到100之间。在我们的案例中，我们从小批量开始，并增加批量，直到培训绩效持续达到稳定状态。

最后，我们选择的批大小为32，因为高于此级别的批大小的性能相似，较大的批大小通过一次计算更多的梯度来增加计算时间。在我们的培训设计中，我们使用了许多正则化技术来加速培训的收敛，避免过度匹配并提高网络性能。1） 提前停止：我们选择200个epoch，如果25步测试集的错误没有改善，则停止更新网络参数。2） 模型参数归一化：通常，模型参数仅限于给定的域，即θ∈ [θmin，θmax]。然后，我们执行以下归一化变换：2θ- （θmax+θmin）θmax- θmin∈ [-1, 1].3） 隐含波动率的归一化：隐含波动率的归一化是一个更微妙的问题，因为σBS（T，k，θ列）∈ [0, ∞), 因此，对于每个T和k，我们选择标准化曲面减去样本经验平均值，再除以样本标准偏差。3.3校准步骤一旦找到隐含波动率的定价图近似值，只剩下校准步骤（2）求解。一般而言，对于金融模型，定价图F*假设其所有输入参数θ都是平滑的（至少Cdi可微）。基于梯度的优化（2）中优化的标准一阶必要条件是θδeF（M（θ），ζ），PMKT（ζ）= 0，（19），前提是目标函数是光滑的。然后，自然更新规则是通过梯度下降沿梯度移动，即θi+1=θi- λθδeF（M（θi），ζ），PMKT（ζ）, λ > 0. （20） 基于（20）的梯度优化方法的一个共同特点是使用梯度θδeF（M（θ），ζ），PMKT（ζ）, 因此，其正确和精确的计算对于后续的成功至关重要。

此类算法的示例有Levenberg-Marquardt（53，54）、BroydenFletcher-Goldfarb-Shanno（BFGS）算法（58）、L-BFGS-B（70）和SLSQP（50）。上述方法的主要优点是快速收敛到条件（19）。然而，（19）只给出了最优性的必要而非充分条件，因此必须特别注意非凸问题。备注6。值得注意的是，利用定理2，我们使用光滑激活函数来保证θeP≈ θeFGradient-free优化器由于生物、物理或工程等许多科学领域中不断涌现的高维非线性、非微分和/或非凸问题，无梯度优化算法越来越受欢迎。顾名思义，无梯度算法不会对目标函数进行假设。也许，最著名的例子是基于Simplex的Nelder-Mead算法。然而，还有许多其他方法，如COBYLA方法[60]或差异进化方法[68]，我们请读者参考[61]，以获得对无梯度方法的出色评论。这些方法的主要优势在于，无论目标函数如何，都能够在（2）中找到全局解。相比之下，与梯度方法相比，主要缺点是计算成本较高。最后，我们在表1中总结了每种方法的优点。基于梯度的无梯度收敛速度非常快缓慢全局解决方案取决于问题始终平滑激活函数需要是应用定理2不需要精确的梯度近似是值得注意的1：梯度与无梯度方法的比较。4数值实验在我们的数值实验中，我们证明近似网络的精度确实保持在蒙特卡罗误差范围内，并在导言部分的目标中宣布。

为此，我们首先计算图4-5中的基准蒙特卡罗误差，并将其与图6和图7中的神经网络近似误差进行比较。为了使步骤（i）和（ii）的分离在计算上有意义，神经网络近似必须是真实定价函数的合理精确近似，并且与原始数值方法相比，每个函数评估（即对给定价格和到期日的期权价格进行评估）应具有相当大的速度。在本节中，我们将证明我们的网络实现了这两个目标。4.1第2节中提到的vanillasAs价格近似值的数值精度和速度Hernandez[36]首创的直接神经网络方法与本研究的一个关键区别在于：（i）隐含波动率近似函数的分离，从随机波动率模型的参数映射到隐含的波动率曲面，从而绕过了昂贵的蒙特卡罗模拟和（ii）校准程序的需要，这（在分离后）成为一个简单的确定性优化问题。如第2.3节所述，我们对两步培训方法中步骤（i）的目标是，在保持原始价格的数字准确性的同时，实现期权价格功能评估的显著加速。在这里，我们演示了步骤（i）的神经网络培训如何实现第2.3:1节中概述的这些目标。近似精度：这里我们比较了近似网络误差与蒙特卡罗评估误差。我们以60000条路径为参考，在节点处计算蒙特卡罗价格，我们使用算法3.5 inHorvath、Jacquier和Muguruza计算隐含波动率网格【41】。

在图4和图5中，使用95%蒙特卡罗置信区间的逐点相对误差计算完整隐含波动率曲面的蒙特卡罗方法的近似精度。图6和图7表明，神经网络的近似精度与蒙特卡罗近似相同（即在几个基点内）。作为参考，在隐含波动率条件下，对于流动性最强和一年以下的股票，期权价差约为0.2%。对于20%的隐含波动率，这转化为1%的相对误差。2、近似速度：表2显示了在两种不同模型下，全表面每次功能评估的CPU计算时间；rBergomi 3和1因子Bergomi 6（有关提醒的详细信息，请参阅第4.1.1节）。MC Pricing1F BergomiFull Surface EMC PricingrBergomiFull Surfacen PricingFull Surfacen GradientFull SurfaceSpeed upNN vs.MCPiecewise Constant Forward Variance 300000us 500000us 30.9us 113us 9000- 16000表2：通过神经网络近似和蒙特卡罗（MC）计算定价图（整个隐含波动率面）和梯度的时间。如果远期方差曲线是一个恒定的值，那么速度的提高就更加明显了。图4：作为基准，我们回顾了通过粗糙Bergomi模型的8000个随机参数组合计算的蒙特卡罗价格的平均相对误差。在粗糙Bergomi模型中，隐含波动率表面的平均标准偏差最大值（左中右）表示相对误差，使用95%置信区间计算。图5：作为基准，我们回顾了在单因素Bergomi模型的80000个随机参数组合中计算的蒙特卡罗价格的平均相对误差。

在1因子Bergomi模型中，隐含波动率表面的平均标准偏差最大值（左中右）表示相对误差，使用95%置信区间计算。4.1.1具有分段常数前向方差曲线的（粗糙）Bergomi模型中的神经网络价格近似我们考虑分段常数前向方差曲线ξ（t）=Pni-1ξi{ti-1<t<ti}其中t=0<t<…<tnand{ti}i=1。。，n是期权到期日（在我们的案例中，n=8）。这是Bergomi（11）提出的建模方法。我们将再次考虑粗糙Bergomi 3和1因子Bergomi模型6o归一化参数作为输入，归一化隐含波动率作为输出o4个隐藏层，包含30个神经元和Elu激活函数o输出层，包含线性激活函数o参数总数：6808o训练集：68000，测试集：12000o粗糙Bergomi样本：（ξ，ν，ρ，H）∈ U[0.01，0.16]×U[0.5，4.0]×U[-0.95, -0.1]×U[0.025，0.5]o1因子Bergomi样本：（ξ，ν，ρ，β）∈ U[0.01，0.16]×U[0.5，4.0]×U[-0.95, -0.1]×U[0，10]o罢工={0.5，0.6，0.7，0.8，0.9，1，1.1，1.2，1.3，1.4，1.5}o到期={0.1，0.3，0.6，0.9，1.2，1.5，1.8，2.0}o输入-输出pare的训练数据样本使用Horvath，Jacquier和Muguruza[41]中的算法3.5计算，有60000条样本路径和现货鞅条件，即[e]。St]=S，t≥ 0作为控制变量。图6：我们将神经网络近似器的表面相对误差与整个Bergomi模型中所有训练数据（68000个随机参数组合）的Monte Carlo基准进行比较。相对误差以平均标准偏差最大值（左-中-右）表示。图7：我们在1-FactorBergomi模型的所有训练数据（68000个随机参数组合）中，将神经网络近似器的表面相对误差与MonteCarlo基准进行比较。