量化机构：金融时间序列的深层次生成

因此，MLP是TCN的一个子类，RFS等于1。也可以使用剩余连接的想法。定义3.15（带跳接的TCN）。采用定义3.10和forNskip中的符号∈ N letγl:RNl-l×Tl-1.→ RNl×Tl×RNskip×Tl用于l∈ {1，…，L}γ（Nskip，NL+1，0）输出Y∈ RNL+1×TLof a TCN f:RN×T×Θ→ RNL+1×TL递归定义为X（l），H（l）= γlX（l-1)对于l∈ {1，…，L}Y=γLXl=1H（L）！，其中X（0）∈ RN×T，则f称为带跳连接的时间卷积网络。TCNs的缺点之一是要处理的时间序列的长度被限制为theT（f） 1计算瓶颈。此外，如果这样的大型网络能够被训练成有意义的模型，以及是否有足够的数据可用，这就成了问题。虽然对TCN的扩展很感兴趣，可以对长期依赖性进行建模（参见Dieleman et al.（2018）），但我们将这些方法的开发留作将来的工作+图7：带跳过连接的普通TCN。本节介绍的NN拓扑是用于实现第7节所述结果的核心组件。为了训练这些网络生成时间序列，我们现在在随机变量和随机过程的设置中公式化。4生成性对抗网络生成性对抗网络（GANs）（Goodfello等人，2014）是一类相对较新的算法，用于学习随机变量样本的生成模型，即数据集或随机变量本身的分布。最初，GANs用于生成图像。在此过程中，使用TCN。在本节中，letNZ，NX∈ Nand let(Ohm, F、 P）是概率空间。此外，XZRNXRNZrandom变量X将由PX表示。4.1 GANs上下文中的随机变量公式，（RNZ，B（RNZ））和（RNX，B（RNX））分别称为潜在空间和数据度量空间。

随机变量Z表示噪声先验值和X目标（或数据）随机变量。GANs的目标是训练一个网络g:RNZ×Θ（g）→ RNXsuch thatgθ（Z）：=gθo Zθ∈ Θ（g）变量X具有相同的分布，即gθ（Z）d=X。为了实现这一点，Goodfelle等人提出了NNs的对抗性建模框架，并介绍了生成器和鉴别器，如下所示：定义4.1（生成器）。Letg:RNZ×Θ（g）→ RNXbe具有参数空间Θ（g）的网络。随机变量X，由X定义：Ohm ×Θ（g）→ RNX（ω，θ）7→ gθ（Z（ω）），称为生成的随机变量。此外，网络GIS称为generator和▄Xθ，生成带有参数θ的随机变量。~Xθ的下标θ表示与神经算子参数θ的依赖关系。定义4.2（鉴别器）。设▄d:RNX×Θ（d）→ 带参数η的Rbe网络∈ Θ（d）和σ：R→ [0，1]：x 7→1+e-xbe sigmoid函数。A函数d:RNX×Θ（d）→ [0，1]由d定义：（x，η）7→ σ odη（x）称为鉴别器。在本节中，我们假设定义4.1和定义4.2中使用的符号。定义4.3。{Yi}Mi=1MYis称为sizeM的样本。符号{yi}Mi=1表示一些ω的实现{yi（ω）}Mi=1∈ Ohm.作为对手），在博弈论的零和博弈中相互竞争。粗略地说，生成器旨在生成样本{xθ，i}Mi=1，这样鉴别器就无法区分实现是从目标还是生成器分布中采样的。换句话说，鉴别器dη：RNX→ [0，1]充当分配给每个样本的分类器∈ RNXa实现目标分布的概率。η ∈ 选择Θ（d）来最大化函数L（θ，·），θ∈ Θ（g），给定byL（θ，η）：=E[对数（dη（X））]+E[对数（1- dη（gθ（Z））]=E[对数（dη（X））]+Ehlog（1- 在这个意义上，鉴别器学习区分真实数据和生成的数据。

第二步，发电机参数θ∈ Θ（g）经过培训，以最大限度地降低生成的样本被识别的概率，而不是来自数据分布。总之，我们得到了min-max gameminθ∈Θ（g）最大η∈Θ（d）L（θ，η），我们称之为GAN目标。发电机和鉴别器的参数（θ，η）通过交替计算其梯度来训练ηL（θ，η）和θL（θ，η）并更新各自的参数。获得最佳鉴别器dη的近似值*（古德费罗等人，2014年，命题1）通常会多次计算鉴别器梯度并提升参数η。算法1详细描述了该过程。开发了算法。具体而言，关于算法1的收敛性，我们参考Goodfello等人（2014）的第4.2节。4.2随机过程的公式我们现在考虑在使用TCNS生成随机过程的背景下，GANs的公式，因为它的特性对此设置很有吸引力。以下符号用于简洁。注释4.4。考虑一个随机过程（Xt）t∈Z由θ参数化∈ Θ. Fors，t∈Z、 s≤ t、 我们写了：t，θ：=（Xs，θ，…，Xt，θ），对于ω-实现，Xs:t，θ（ω）：=（Xs，θ（ω），Xt，θ（ω））∈ RNX×（t-s+1）。我们现在可以介绍神经（随机）过程的概念。定义4.5（神经过程）。Let（Zt）t∈Zbe是一种i.i.d.噪声过程，其值为nzandg:RNZ×T（g）×Θ（g）→ 带RFST（g）和参数θ的RNXa TCN∈ Θ（g）。

随机过程X，由X定义：Ohm ×Z×Θ（g）→ RNX（ω，t，θ）7→ gθ（Zt-（T（g）-1） ：t（ω）），使得▄Xt，θ：Ohm → RNXis aF- B（RNX）-allt的可测量映射∈ Zandθ∈ Θ（g），被称为神经过程，并将用▄Xθ表示：=（▄Xt，θ）t∈Z、 算法1 GAN优化。输入：generatorg、discriminatord、sample sizeM∈ N、 生成器学习率αg，鉴别器学习率αd，鉴别器优化步骤数输出：参数（θ，η），而不是收敛dok步骤doLet{xθ，i}Mi=1b表示实现大小为M的xθ-样本。让{xi}Mi=1b表示实现大小为M的x-样本。计算并存储梯度η← ηMMXi=1log（d（xi））+log（1- d（￠xθ，i））。上升鉴别器参数：η← η+αd·η.end forLet{xθ，i}Mi=1实现了大小为M的▄xθ-样本。计算并存储梯度θ← θmmXi=1log（d（≈xθ，i））。下降发电机参数：θ← θ - αg·θ.在GANs的上下文中，i.i.d.噪声处理z=（Zt）t∈Zfrom定义4.5代表∈ ZZT遵循多元标准正态分布，即Zt~ N（0，I）。特别是，neuralprocess▄Xθ=（▄Xt，θ）t∈通过TCN生成器g.d推断Z得到的Zis:RNX×T（d）×Θ（d）→ [0，1]带RFST（d）。通过对随机变量的原始GAN设置进行这些修改，可以将随机过程的GAN目标表示为最小θ∈Θ（g）最大η∈Θ（d）L（θ，η），其中L（θ，η）：=E[对数（dη（X1：T（d））]）]+Ehlog（1- dη（￠X1:T（d），θ））iandX1:T（d）和￠X1:T（d），θ分别表示实过程和生成过程。因此，模拟序列，而生成器旨在模拟鉴别器无法区分的真实序列。为了训练生成器和鉴别器，我们以与{x（i）1:T（d），θ}Mi=1{x（i）1:T（d）}Mi=1的情况类似的方式分别对生成的神经过程和目标分布进行训练。

然后对这些样本[0，1]中的每个元素按样本进行平均，以给出鉴别器损失函数的蒙特卡罗估计。5模型在我们介绍了第3节中的主要神经网络拓扑以及第4节中通过TCN生成随机过程的定义后，我们现在转向生成金融时间序列的问题。我们首先定义量化机构的生成函数：随机波动性神经网络（SVNN）。SVNN的诱导过程称为log returnneural过程（log return NP）。本节的其余部分致力于回答我们模型的以下理论方面：–第5.2节：日志返回NP产生的尾部有多重？–是否暗示了错误？-第5.4节：能否得出对数返回NPs的风险中性分布第5.5节：日志返回NPs是否可以视为现有时间序列模型的自然扩展？5.1对数回归神经过程对数回归NPs的灵感来自Bollerslev（1986）实践中使用的各种随机波动性模型的波动性创新分解；Cont（2001）；赫斯顿（1993）；Tankov（2003年）。corredrift TCN和另一个模拟创新的网络。图8说明了使用的体系结构。定义5.1（对数回归神经过程）。LetZ=（Zt）t∈ZbeRNZ值i.i.d.高斯噪声，g（TCN）：RNZ×T（g）×Θ（TCN）→ 带RFST（g）和g的R2NXa TCN(): RNZ×Θ()→ RNXbe aα∈ Θ（TCN）β∈ Θ()R、 定义人：Ohm ×Z×Θ（TCN）×Θ()→ RNX（ω，t，α，β）7→ [σt，α t、 β+ut，α]（ω），其中 表示阿达玛积，且HT：=g（TCN）αZt公司-T（g）：（T-1)σt，α：=| ht，1:NX |ut，α：=ht，（NX+1）：2NXt、 β：=克()β（Zt），称为对数回归神经过程。定义对数返回NP的生成器体系结构称为随机波动率神经网络（SVNN）。

NPsσα：=（σt，α）t∈Z、 uα：=（ut，α）t∈赞德β:= (t、 β）t∈Zare分别称波动性、漂移和创新为NP。备注5.2。为简单起见，我们不区分下面不同的NPs参数，只写θ而不是（α，β），写Θ而不是Θ（TCN）×写Θ().（σt，θ，ut，θ）Zt-1Zt-2Zt-3Zt-4Zt-5Zt-6Zt-7Zt-8.t、 θzt图8：SVNN架构的结构。波动率和漂移分量是通过推断潜在过程Zt生成的-8： t型-1通过TCN，而创新是通过推断Zt产生的。备注5.3（SVNN NPs的独立性）。用（FZt）t表示∈Z最新流程的自然过滤∈ Z、 按构造，σt，θ和ut，θareFZt-1-可测量。t、 θ和rt，θ是可测量的。进一步观察随机变量（σt，θ，ut，θ）和t、 θ是独立的，z在第5.4.5.2节Rθ的Lp空间特征中推导到风险中性分布的过渡时，我们接下来检查对数返回NPs是否显示重尾。我们首先证明了一般生成网络的一个结果，然后得出对数返回NP的推论。定理5.4（神经网络的Lp特征）。Letp公司∈ N、 Z∈ Lp（RNZ）和G:RNZ×Θ→ 带参数θ的RNXa网络∈ Θ. 那么，gθ（Z）∈ Lp（RNX）。证据观察任何Lipschitz连续函数f:Rn→ rm存在一个合适的常数L>0，使得kf（x）- f（0）k≤ L kxk=> kf（x）k≤ L kxk+kf（0）k（2）askxk- kyk公司≤ kx公司- ykforx，y∈ 注册护士。现在，利用神经网络的Lipschitz性质（参见备注3.4），我们可以应用方程2，因为Z是空间Lp（RNZ）的一个元素，我们得到[kgθ（Z）kp]≤ E[（L kZk+kgθ（0）k）p]=pXk=0主键LkEhkZkkikgθ（0）kp-k<∞ ,L0级∈ 因为我们假设我们的潜在过程是高斯i.i.d.噪声，因此是平方可积的磨损。

此外，这些属性会传递给对数返回NP，如下推论所示。推论5.5。LetRθ是由θ参数化的对数返回NP∈ Θ. 那么，无论如何∈ Zandp公司∈ N随机变量Rt，θ是空间Lp（RNX）的一个元素。证据潜在过程是高斯i.i.d.噪声。因此，定理5.4得出σt，θ，t、 θ，ut，θ∈ Lp（RNX）。SincekRt，θkp=kσt，θ t、 θ+ut，θkp≤ （kσt，θ t、 θk+kut，θk）p，我们使用二项式恒等式kRt，θkpp=E[kRt，θkp]≤pXk=0主键E[kσt，θ t、 θkkkut，θkp-k]≤pXk=0主键Ehkσt，θ t、 θk2kiEhkut，θk2（p-k） 我,其中最后一个不等式来自Cauchy-Schwarz不等式。利用波动率和创新NP的独立性和帮助性（参见备注5.3），我们得到了∈ n状态[kσt，θ t、 θkq]=E“NXXi=1 |σt，θ，it、 θ，i | q#=NXXi=1E[|σt，θ，i | q]E[|t、 θ，i | q]<∞.由于金融时间序列通常被认为表现出严重的尾部（见第2节），所有时刻的存在都是一种不可取的特性。在下一节中，我们将介绍一种启发式方法，该方法可以很好地预处理历史日志返回过程，并使日志返回NP能够根据经验生成重尾。最后，我们激励潜在过程的选择。我们证明了MLP可以是自然的潜在过程，因为i.i.d.高斯噪声有利于优化过程中的稳定性，即反向传播和参数更新。推论5.6。在定理5.4的假设下，反向传播梯度的随机变量θgθ（Z）是空间Lp（Θ）的一个元素。证据在不丧失一般性的情况下，假设nx=1。

使用定义3.3中的符号和thatgθhasLhidden层，Gθ（z）相对于隐藏权重矩阵的梯度w（k），k≤ L+1，定义为z∈ RNZby公司W（k）gθ（z）=LYl=kD（l）（z）W（l+1）T！ g1：k-1，θ（z），其中表示外积，g1:k-1，θ：=gk-1,θo · · · o g1，θ和D（l）（z）=diag（φ（W（l）g1:l-1，θ（z））（比较（古德费罗等人，2016年，第6.5章））。由于MLP定义为Lipschitz函数的组合，定理5.4 yieldsg1:k，θ（Z）∈ Lp（RNk）适用于allk≤ 五十、 类似地，φ的有界性意味着对于诱导矩阵范数，随机变量D（l）（Z）isP几乎可以肯定的是，对于所有的≤ 五十、 通过应用这两个性质，我们得到W（k）gθ（Z）kp]≤ BkE[千克1:k-1，θ（Z）kp]<∞带BK：=Ap（L-k+1）LYl=kkW（l+1）Tkp、 通过类似的论证，可以证明关于biasesb（k），k=1，…，的随机梯度，L+1也是Lp的一个元素，因此得出了证明。请注意，推论5.6不一定适用于厚尾潜在过程。因此，使用重尾潜在过程可能会产生重尾，但可能会以优化不稳定性为代价。我们将考察如何使用预处理技术来稳定训练作为未来的工作。5.3生成较重的尾部和建模假设理论5.4意味着存在所有对数返回力矩NP。此外，Wiese等人（2019b）表明，尾部至少以平方指数速率下降。实际金融时间序列通常为∈ （2，5）如Goerg（2010）所述，Lambert W概率变换可用于生成更重的尾部。anR值随机变量的Lambert W概率变换定义如下。定义5.7×FX。δ ∈ RXRu标准偏差σ和累积分布函数fx。

位置标度Lambert W×FXtransformed随机变量Y定义为Y=U expδUσ+u，（3），其中U：=X- uσ是规格化变换。δ ∈ [0, ∞)双射和可微。因此，可以通过最大似然估计变换特定参数γ=（u，σ，δ）。此外，对于δ>0，LambertW×FXtransformed随机变量的尾部比X重。估计模型参数的拟极大似然原理（Goerg，2010，第4.1节）。然后优化对数返回NP，以近似逆Lambert W变换（轻尾）对数返回过程，从这里开始，由RW表示：=（RWt）t∈N、 RW当使用SVNNs作为基础生成器时。假设1。对于某些θ，反Lambert W变换的点对数回归可以用alog回归神经过程Rθ表示∈ Θ.假设1有两个重要含义。首先，通过构造，日志返回NP是平稳的，因此假设历史日志返回过程是平稳的。其次，记录返回NPs cancapture动态，直至使用中TCN的RFS。因此，假设1意味着对于RFST（g），对于任何t∈ Z随机变量Rt、Rt+T（g）+1是独立的。5.4 Rθ的风险中性表示此时，我们无法对对数回报NP下的期权进行估值，因为我们不知道其风险中性分布的过渡。我们在本节中讨论这一方面。为此，考虑一个一维线性回归NPRt，θ=σt，θt、 θ+ut，θ。然后通过t递归确定现货价格，θ=St-1，θexp（Rt，θ），对于所有t∈ N，其中s0，θ=sde表示标的物的当前价格。此外，假设利率为常数r，并定义贴现股价过程（~St，θ）t∈Nby▄St，θ：=St，θexp（rt）。特别是，折扣价格过程将递归▄St，θ=▄St-1，θexp（Rt，θ- r） 。在其风险中性表示中，贴现股价过程必须是鞅。

因此，我们可以使用-1，θ为FZt-1-可测量和getE【~St，θ| FZt-1] =E【】St-1，θexp（Rt，θ- r） | FZt-1] =▄St-1，θexp(-r） E[exp（σt，θt、 θ+ut，θ）| FZt-1] .因此，为了得到鞅，我们必须对相应的项进行校正。因此，让我们更详细地考虑条件期望。由于波动性和漂移NPs为FZT-1-可测量和t、 θ与FZt无关-我们可以写出[exp（σt，θt、 θ+ut，θ）| FZt-1] =E[经验值（σt、 θ+u）]σ=σt，θu=ut，θ=：h（σt，θ，ut，θ）。t、 θhusing蒙特卡罗估计量。因此，我们可以定义风险中性对数回归神经过程RMt，θasRMt，θ：=Rt，θ- log（h（σt，θ，ut，θ））+r，这是一个校正的日志返回NP。相应的贴现风险中性现货价格过程由递归SMt给出，θ=~SMt-1，θexp（RMt，θ- r） ===SMt-1，θexp（Rt，θ- 对数（h（σt，θ，ut，θ）），并定义鞅。特别是，可以解决此递归，以获得（贴现）风险中性点价格过程的显式公式SMt，θ=SexptXs=1[Rs，θ- log（h（σs，θ，us，θ））！SMt，θ=SexptXs=1[Rs，θ- 对数（h（σs，θ，us，θ））]+rt！。这仍然是推断基础模型参数的问题。在金融时间序列的情况下。与此不同的是，风险中性资产路径是不可观察的。因此，我们无法以与金融时间序列相同的方式训练生成器鉴别器对。一种方法是通过期权价格进行经典的最小二乘校准，我们将使用生成的风险中性路径的蒙特卡罗作为模型期权价格的估计。我们将此作为未来的工作。5.5受限对数回归神经过程条件。