通过无套利在广义HJM型框架中进行深度学习

（33）在这些条件下，下列定理将（AFReg）在λ中的渐近行为刻画为解（AFProj）；给定固定的元参数p，κ≥ 1、在【36】之后，可以方便地表示Φi（u）=Ztφi（s）ds。（34）定理3.1。设И为H和fix p，κ≥ 1、然后（i）永远yλ≥ 2在H极小化z中存在一个元素φλ∞Zβ∈Rde公司-|u |κ-kβkκ（Д（u，β）- φ（u，β））pdβdu+λΓ（1+κ）λλsZ∞e-|u |κ|∧u（φ）|λdu；其中∧ut（φ）由∧ut（φ）定义，c-Φu（u）+dXi=1γiΦi（u）-dXi，j=1αi，jΦi（u）Φj（u）p+dXk=1ck公司-Φku（u）+dXi=1γk，iΦi（u）-dXi，j=1αk；i、 jΦi（u）Φj（u）p、 （35）（ii）以下夹杂物保持λ↑∞; λ≥2φλ∈ argminφ∈赫兹∞Zβ∈Rde公司-|u |κ-kβkκ（Д（u，β）- φ（u，β））pdβdu+ιH（φ）；（36）如（15）所述。证据通过定义（M，gt），βt和H假设1.2（i），（iv），d（v）保持；因此，只有假设1.2（ii）和（iii）必须进行验证，以确保所述问题在本文范围内。设u=~u ν其中d￠udm（u）=e-|u |κΓ（1+κ）I[0，∞), ν是Lebesgue密度与e成正比的唯一概率测度-Rd上的kβkκ，其中dνdm（t）=e-|t |[0，∞), 1[0,∞)是区间[0]上的（概率非凸分析）指标函数，∞), 这里m是R上的Lebesgue测度。因此，Wp的元素，kw（I×m×U）是Lpν的元素u（I×M×U）。自[0，∞) × [0, ∞) ×Rd具有平滑的边界和sin-ceA。Kratsios，C.Hyndman Deep AF正则化Dec 5thk假设满足（32），然后应用[10]中的（加权）Morrey-Sobolev定理。因此，Wp，kw（I×M×U）可以连续嵌入C（I×M×U）中，因此假设1.2（ii）成立。

此外，通过（4）和【16，示例1】每个St（·，·；u）满足假设1.2（iii）；因此，假设1.2已满足。接下来，根据定理（2.5）重新表述（36），并验证假设2.4。随后，在（36）左侧极限下，目标函数的优化器对于λ存在≥ 2、如果每个St（·，·；u）如（4）所示，则在【36】中显示，对于每个u∈ U债券价格St（φut，[φU]t；U）都是P-局部鞅当且仅当对于每个U∈ U、 t型∈ 一、 和P-a.eω∈ Ohm, 以下g保持0=φ(0) - φ（u）+dXi=1γiΦi（u）-dXi，j=1αi，jΦi（u）Φj（u）+dXk=1βktφk（0）- φk（u）+dXi=1γk，iΦi（u）-dXi，j=1αk；i、 jΦi（u）Φj（u）（37）方程（37）满足P-a.s每ω∈ Ohm, 每t∈ 一、 对于每个u∈ 如果确定性“过程”{∧ut（φ）}U族∈Uare P-a.s.0；其中∧ut（φ）由∧ut（φ）定义，c-Φu（u）+dXi=1γiΦi（u）-dXi，j=1αi，jΦi（u）Φj（u）p+dXk=1ck公司-Φku（u）+dXi=1γk，iΦi（u）-dXi，j=1αk；i、 jΦi（u）Φj（u）p、 （38）因此，since∧ut（φ）满足（12），然后满足由AFλ（φ），λEP“λsZ”定义的函数族{AFλ}λ>0∞Zβ∈RdZ公司∞Γ（1+κ）e-|u |κ|∧ut（φ）|λddν（β）dνs#，（39）定义了（13）意义上的任意处罚。因为∧ut（φ）是P-a.S.确定性的，在t和β中都是常数，然后（39）进一步简化为λ（φ）=λΓ（1+κ）λsZ∞e-|u |κ|∧ut（φ）|λdu（40）自Wk起，pw（I×M×u）连续嵌入C（I×M×u），然后每个等价类φ∈ Wk，pw（I×M×U）可以用I×M×U的连续函数来识别；因此，每个功能SU 7→c-Φu（u）+dXi=1γiΦi（u）-dXi，j=1αi，jΦi（u）Φj（u）pu 7→ck公司-Φku（u）+dXi=1γk，iΦi（u）-dXi，j=1αk；i、 jΦi（u）Φj（u）p、 （41）A.Kratsios，C.Hyndman Deep AF Regulation Dec 5thare continuous in u；此外，它们在t中是连续的，因为它们在t中是常数。

因此，（t，u）7→ ∧ut（φ）是每个φ的连续f∈ H假设2.4（i）成立。接下来，将验证假设2.4（ii）。考虑到（30）的动力学，[37，命题9.3]刻画了所有φ，φd对于远期利率曲线（33）对应于债券市场，通过（4），其中每个债券p rice是一个p-局部鞅；所有su chφ，微分Riccati系统的φdare解Φu（u）=c+dXi=1γiΦi（u）-dXi，j=1αi，jΦi（u）Φj（u）Φ（0）=0Φku（u）=ck+dXi=1γk，iΦi（u）-dXi，j=1αk；i、 jΦi（u）Φj（u）Φk（0）=0；（42）其中c，Ck是R的任何元素。因此，{φ∈ H:(u∈ U） St（φut，[φU]t；U）是一个P-局部鞅}=nφ∈ H:(ccd光盘∈ R） {Φi}di=0求解（42）o，（43），其中{Φi}di=0和φ与（33）和（34）相关。通过theRiccatti系统（42）与u之间的差异，产生一个形式相同的差异系统Φu（u）=c+dXi=1γiΦiu-dXi，j=1αi，jΦiuΦj（u）+Φi（u）Φju,Φku（u）=ck+dXi=1γk，iΦiu-dXi，j=1αk；i、 jΦiuΦj（u）+Φi（u）Φju,Φ（0）=0，Φk（0）=0，Φu（0）=cΦku（0）=ck；（44）因此，（43）可以重写为{φ∈ H:(u∈ U） St（φut，[φU]t；U）是一个P-局部鞅}=nφ∈ H:(ccd光盘∈ R） {Φi}di=0解（44）o.（45），因为Ck（R；Rd+1）在函数及其前两个导数的紧集上具有一致收敛的拓扑结构，所以（45）的右侧在C（R；Rd+1）中闭合；因此它在H上的相对拓扑中是闭合的 C（R；Rd+1）。因此，假设（ii）成立。最后，由于损失函数l, 定义人l(φ - φ） ，Z∞Zβ∈Rde公司-|u |κ-kβkκ（Д（u，β）- φ（u，β））pdudβ；（46）在H上连续；那么，定理（2.5）的条件都满足了。因此，（36）成立。A、 Kratsios，C.Hyndman Deep AF正则化12月5日下一步，（ii）将进行验证。

由于二阶微分算子从C（I×M×U）到C（I×M×U）是连续的，其中后者具有紧拓扑上的收敛性，因此函数Φ7→c-Φu（u）+dXi=1γiΦi（u）-dXi，j=1αi，jΦi（u）Φj（u）pΦ7→ck公司-Φku（u）+dXi=1γk，iΦi（u）-dXi，j=1αk；i、 jΦi（u）Φj（u）p、 （47）从C（I×M×U）到[0，∞). 此外，由于Wp，kw（I×M×U）连续嵌入到C（I×M×U）中，那么（47）的函数从Wp，kw（I×M×U）到[0，∞). （31）中对权重函数的定义意味着，对于每个φ∈ H和每个λ≥ 2.积分是有限的。因此，对于每个λ≥ 2、图φ7→ AFλ（φ）从wp，kw（I×M×U）到[0，∞). 此外，由于损失函数l 那么，对于每个λ≥ 2功能Φ7→ l（φ） +AFλ（φ）是连续的。此外，由于l AFλ以0为界，然后以0为界l(φ - ·) + AFλ（·）。最后，sin cel 对于每一个r≥ 0，存在一个紧子集Kr H满足{φ∈ H:l(φ - φ) ≤ k} 因此，每个AFλ的非负性意味着对于每个λ≥ 2和每r≥ 0，nφ∈ H:l(φ - φ） +AFλ（φ）≤ 击倒取胜 {φ ∈ H:l(φ - φ) ≤ k} Kr；（49）因此（49）意味着φ7→ l（φ） +AFλ（φ）是强制的。因此，对于每个λ≥ 2，函数φ7→ l （φ） +AFλ（φ）是下半连续的，在H上有界于下、适当且强制；thusby-Weirestrass定理[42，定理2.2]，它承认H上有一个极小值。接下来，将使用深度学习方法考虑远期利率曲线的无套利正则化。

在这种情况下，可以看出（AFReg）不仅获得了进一步的计算可处理性，而且在相关深度前馈神经网络的适当初始化下，定理3.1描述的损失函数还允许进一步的扩展。3.1无套利正则化的深度学习方法正如【59，19】的普遍逼近定理所述，前馈人工神经网络（ANN）的灵活性使得ANN集合成为无套利正则化问题的一类非常适合的替代模型。在本文的上下文中，ANNis是从Rdto Rdof formWN+1的任意函数o ρoWNo . . . ρoW，（50），其中{Wi}N+1i=1是Rdito Rdi+1的函数，其中d=d=dN+1，ρ是一个连续激活函数，并且o表示成分成分成分。然而，为了保持。Kratsios，C.Hyndman Deep AF Regulation Dec 5分析可跟踪性，要求备选模型的类别仍然是一类；因此，在我们的分析中，H将由Wp中的所有函数组成，kw（I×M×U）的形式为φ（t，β，U）=βt（WN+1o ρoWNo · · · o ρoW（u+t）），（51），其中β=1，βi+1=βifor all i>1。如【83、85、14、75】等所示，如果网络设计得当，则只需训练最后一层并适当初始化矩阵WN，WPS在所有层都经过培训的网络中表现相当好。这一现象已在许多数值研究中观察到，如[60]，其中矩阵的条目WN，完全随机选择的器皿。

这一实践也成为递归神经网络（RNN）理论和水库计算可行实施的基础，如【47、48、49、4、90】所述，其中训练速度成为决定RNN和水库计算范式可行性的关键因素。按照这种做法，无套利正则化问题中要考虑的替代因子模型的假设类别有效地从（51）减少到φ（t，β，u）=βTW f（u+t），（52），其中W，WN+1，f，ρoWNo · · · o ρoW（u+t），和d W，Wn以随机或其他方式初始化。在这个实现中，F通过以下优化问题快速初始化F∈ argminZ▄T（fi（u）- φi（u））pe-|u |κdu，（53），其中argmin接管所有深度前馈神经网络，如（51）中所示，执行深度N，固定高度相等（每个Wi的尺寸），固定T>0，输入R，输出R。然后通过从f中移除最后一层来定义（52）中的网络f。移除最后一层既增加了f的输出尺寸，它在优化（AFReg）时比（52）更灵活，同时确保f能够描述ATS类型的原始因子模型。Fur Themore，在假设类别（52）提供的简化结构下，（35）中的数量∧ut（φ），定义套利惩罚，可以进一步简化。简单计算表明，对于（52）中的任何φ，∧ut（φ）简化为∧u（W），Wf（u）- Wf（0）+dXi=1γiWiF（u）-dXi，j=1αi，jF（u）（Wi）WjF（u）p+dXk=1Wkf（u）- Wkf（0）+dXi=1γk，iWiF（u）-dXi，j=1αk；i、 jF（u）（Wi）WjF（u）p、 （54）式中，F（u）、Ruf（s）ds与集成是按组件定义的，其中W表示W的转置，并加宽矩阵W的第i行。A、 克拉齐奥斯，C。

Hyndman Deep AF Regulation Dec 5th3.2数值实现无仲裁正则化方法的性能现在将应用于一种类型的双因素模型，并将对其性能进行数值评估。第一个factormodel是[27]中常用的动态Nelson-Siegel模型，第二个是对传统PCA方法的机器学习扩展，用于术语结构建模。对于每种模型，无套利正则化的性能将根据原始因子模型和Vasiˇcek模型的HJM扩展进行基准测试。Vasiˇcek模型是一个自然基准，因为如[6]所示，它与低维因子模型一致。因此，每个因素模型包含的驱动因素数量大致相同；这确保了这些比较被认为是公平的。本次实施的数据集包括31个到期日的德国债券数据，以及2010年1月4日至2014年12月30日1273个交易日的观察数据。作为机器学习的常见实践，我们的代码及其实现的更多细节可以在[69]上找到。如（52）-（54）所述，无套利正则化（AFReg）的解将使用初始化的深反馈前向神经网络进行数值近似。选择（52）中的初始化网络f，使所有第一层和最后一层的深度固定为N=5，高度固定为d=di=10，并使用[65]中的ADAM算法学习其权重。

根据经验选择梅塔参数p=2和κ=1，并按照[78]中描述的最大似然法估计OrnsteinUhlenbeck过程的参数。一旦学习了模型参数，并学习了因子模型优化（AFReg），就可以通过卡尔曼滤波器估计获得

Hyndman Deep AF正则化12月5日动态Nelson-Siegel模型没有将其作为P的等价度量，这使得整个债券市场同时进入局部鞅。然后，文献[15]表明，Nelson-Siegel家族的特定加性扰动绕过了这个问题，但从经验上看，这是以降低预测精度为代价的。在我们的实现中，将使用[78]中描述的最大似然法估计Ornstein-Uhlenbeck过程的参数。3.2.2模型2：算法短期结构模型动态Nelson-Siegel模型的形状是通过从业者的经验开发出来的。这里考虑的第二个因素模型将是不同的类型，因为其因素将通过算法学习。与（55）类似，首先是一个静态三因素模型，用于远期利率曲线的形式为Д（t，β，u），β+Xi=1βiφi（u+t），其中每个φ，φ是远期利率曲线的前三个主成分；根据前100天的数据进行校准。然后，再次使用前100天的数据生成βi参数的时间序列f，其中每天β，β优化了交叉验证套索回归问题，如【87】所述，响应变量是当天观察到的远期利率曲线上的点。最后，与动态NelsonSiegel模型类似，使用[78]中概述的最大似然方法，将Ornstein-Uhlenbeck过程的R值校准为βI参数的时间序列。该定义了一个术语结构模型，其因子模型Д表示远期利率曲线的主要成分和截距的线性组合，其

我们将用dPCA表示该模型，用AF Reg（dPCA）表示其无套利正则化。3.2.3结果表1、2、3、4比较了Vasiˇcek（Vasiˇcek）、dPCA、AFReg（dPCA）、动态Nelson-Siegel模型（dNS）、无套利Nelson-Siegel模型（AFNS）和动态Nelson-Siegel模型（AFReg（NS））的无套利正则化的预测性能。在我们的数据集中，除前几天外，预测质量由提前一天预测每个到期日的债券价格时估计的均方误差量化。使用粗体字体突出显示记录的最低估计均方误差，使用符号强调每个到期日的第二最低估计均方误差。A、 克拉齐奥斯，C。