连续时间随机梯度下降：一个中心极限定理

定理的证明到此结束。4强凸情形下中心极限定理的证明为了证明中心极限定理，我们使用二阶泰勒展开式：θ′g（θt）=θ′g（θ*) + \'g（θ*)（θt- θ*) +\'\'gθ（θt）（θt- θ*)（θt- θ*),其中θ是在连接θttoθ的线段中选择的适当点*. 上述方程RHS的最后一项是张量矩阵积。然后，θt的演化如下：d（θt- θ*) = -αt\'g（θ*)（θt- θ*)dt公司-αt\'\'gθ（θt）（θt- θ*)（θt- θ*)dt+αt(θ′g（θt）- θg（Xt，θt））dt+αtθf（Xt，θt）dWt。设Yt=θt- θ*. 然后，Y满足SDEdYt=-αt\'g（θ*t） 年初至今-αt\'\'gθ（θt）YtYtdt+αt(θ′g（θt）- θg（Xt，θt））dt+αtθf（Xt，θt）dWt。LetΦ*t、 s∈ Rk×kbe满足dΦ的基本解*t、 s=-αt\'g（θ*)Φ*t、 sdt，Φ*s、 s=I，（4.1），其中I是单位矩阵。如第3节所述，我们在不损失一般性的情况下设置C=0，并假设初始时间为t=1。那么，yt可以用Φ来表示*t、 s:Yt=Φ*t、 1年-ZtΦ*t、 sαs\'\'gθ（θs）YsYsds+ZtΦ*t、 sαs(θ′g（θs）-θg（Xs，θs））ds+ZtΦ*t、 sαsθf（Xs，θs）dWs=Γt+Γt+Γt+Γt.（4.2）接下来，Φ的收敛速率*t、 s必须在矩阵范数kAk=qPi，jAi，j中建立。考虑变量τ（t）=s+Rtsαudu的变化和|ΜΦ*τ、 svia￠Φ*τ、 s=Φ*t、 对于αt=Cαt，我们有τ（t）=s+Cα（log（t）- 日志（s））。执行变量的此更改，dΦ*τ、 s=-\'g（θ*)~Φ*τ、 sdτ，￠Φ*s、 s=I，（4.3）表示τ≥ s、 定义Φ*,jτ，sas￠Φ的第j列*τ、 沙土\'g（θ*)ias矩阵的第i行\'g（θ*). 考虑一维微分方程：ddτ~Φ*,jτ，s=ddτ~Φ*,j、 1τ，s+ ··· +~Φ*,j、 kτ，s= -2.~Φ*,j、 1τ，s\'g（θ*)~Φ*,jτ，s+··+￠Φ*,j、 kτ，s\'g（θ*)k￠Φ*,jτ，s= -2.~Φ*,jτ，s\'g（θ*)~Φ*,jτ，s≤ - 2C~Φ*,jτ，s~Φ*,jτ，s=-2C~Φ*,jτ，s,这里我们使用了强凸性假设。

这当然会产生收敛速度：~Φ*τ、 s≤ Ke公司-2C（τ-s） 。再次更改变量会产生原始时间坐标t中的收敛速度：Φ*t、 s=~Φ*τ、 s≤ Ke公司-2C（τ-s）≤ Ke公司-2CRtsαudu=Kt-2CCαs2CCα。（4.4）我们回顾了Φ的一些重要性质*t、 s（参考文献[5]中的s e e提案2.14）。Φ*t、 具有半群性质Φ的sis微分*t、 1=Φ*t、 sΦ*s、 1。此外，Φ*t、 sis可逆，带逆Φ*,-1t，s=Φ*s、 t.因此，sΦ*t、 s=sΦ*t、 1Φ*,-1秒，1= Φ*t、 1个sΦ*,-1s，1=Φ*t、 1Φ*,-1秒，1Φ*s、 1个sΦ*,-1s，1=-Φ*t、 sαs\'g（θ*)Φ*s、 1个Φ*,-1s，1=-αsΦ*t、 s\'g（θ*). （4.5）结合计算（4.5）和界限（4.4）得出：sΦ*t、 s≤ Kαst-2CCαs2CCα。现在，让我们来看看这个过程√tYt，表示θt在全局最小θ周围的变化*. 首先，请注意√塔塔。s→ 0，由于绑定（4.4）。现在让我们检查一下√tΓt.回想一下E[k Ytkp]≤Ktp/2来自上一节中的Lpconvergence rate。应用这个结果，当p=2，3时，我们得到√tΓt≤ E√坦桑尼亚先令Φ*t、 sαs\'\'gθ（θs）YsYsds公司≤ K√坦桑尼亚先令Φ*t、 ss+s5/2ds公司≤ K√tt-CCαZtsCCα-2秒≤ K√tt-1=千吨-1/2. （4.6）因此，√tΓtp→ 0。（请注意\'\'gθ（θs）YsYsis是张量矩阵积。）接下来，我们讨论这个术语√tΓt.我们构造相应的泊松方程，并使用其解来分析Γt.定义G（x，θ）=θ′g（θ）- θg（x，θ），设v（x，θ）为偏微分方程Lxv（x，θ）=g（x，θ）的解。以类似于方程式（3.5）的方式进行（但现在使用不同的函数v），我们写道√tΓt：√tΓt=√tZtαsΦ*t、 s(θ′g（θs）-θg（Xs，θs））ds=√tZtαsΦ*t、 SDV-√tZtαsΦ*t、 sxv（Xs，θs）dWs-√tZtαsΦ*t、 sLθv（Xs，θs）ds-√tZtαsΦ*t、 sθv（Xs，θs）θf（Xs，θs）dWs-√tZtαsΦ*t、 sθxv（Xs，θs）θf（Xs，θs）ds=√tΓ3,1t+√tΓ3,2t+√tΓ3,3t+√tΓ3,4t+√tΓ3,5t，（4.7），其中v（x，θ）满足（3.4）中的要求。

遵循第3节中的类似步骤，√t型|Γ3,1t |+|Γ3,3t |+|Γ3,4t |+|Γ3,5t|L→ 0，这当然意味着√t（Γ3,1t+Γ3,3t+Γ3,4t+Γ3,5t）p→ 0、术语√tΓ3,2t+√现在对tΓtis进行了分析。该项将产生极限高斯随机变量。回顾到σ=I的减少，我们有√tΓ3,2t+√tΓt=√tZtαsΦ*t、 sθf（Xs，θs）-xv（Xs，θs）dWs。（4.8）设h（x，θ）=θf（x，θ）- xv（x，θ）θf（x，θ）- xv（x，θ）和'h（θ）=Rh（x，θ）π（dx）。LetH（x，θ）=h（x，θ）-\'h（θ）。回想一下kθf（x，θ）k≤ K（1+kxkq+KθK），Kxv（x，θ）k≤ K（1+kxkq+KθK），vx个θ（x，θ）≤ K（1+kxkq+KθK），和vx个θ（x，θ）≤ K（1+kxkq+KθK）。v（x，θ）及其导数的后一个界限来自方程式（3.4）。这些界限意味着函数H（x，θ）及其导数在kxk和kθk中有多项式增长。根据定理A.1，PDELxw（x，θ）=H（x，θ）及其导数的解w（x，θ）在kxk和kθk中也有最多多项式增长。我们将证明√tΓ3,2t+√tΓtd→ N（0，‘∑），适用于适当的极限方差协方差矩阵‘∑。证明将依赖于泊松偏微分方程方法，使用其解及其导数的最多项式增长以及Xt和θt过程矩的一致有界性来分析收敛速度。的二次c去卵巢矩阵√tΓ3,2t+√tΓtis：∑t=tZtαsΦ*t、 sh（Xs，θs）Φ*,t、 sds。有必要证明∑tp→\'∑作为t→ ∞. 首先，我们展示一个更简单的极限。考虑过程：(R)∑t=tZtαsΦ*t、 s’h（θ*)Φ*,t、 sds。现在可以证明，∑t收敛到极限，∑t→ ∞. 现在让我们确定极限∑ast→ ∞. 回想一下\'g（θ*) 是严格正矩阵和对称矩阵。因此，通过e IGenValue分解，我们可以写出\'g（θ*) = U∧U,其中，U=[U，···，uk]是正交特征向量U。

，英国∈ Rkand∧=diag（λ，····，λk）是对角线矩阵，当i=1，···，k时，正eig值λi>0。接下来，我们注意到（4.3）中的时间变换允许我们写出τ（t）=s+Rtsαudu和∧Φ*τ（t），s=Φ*t、 s▄Φ*τ、 s=e-\'g（θ*)(τ -s） 。结合后面的结果，我们得到Φ*t、 s=Ue-∧RtsαuduU.为了便于记法，我们现在设置∧t，s=e-Rtsαudu∧=诊断e-λRtsαudu，···，e-λkRtsαudu= 诊断st公司λCα，···，st公司λkCα.让我们写出λ（t，s），i=st公司λiCα，对于i=1，····，k。矩阵Φ的（i，j）-第个元素*t、 桩模板Φ*t、 s，i，j=kXm=1λ（t，s），mui，muj，m.自然（Φ*,)t、 s，k′，j=Φ*t、 s，j，k′=Pkm′=1λ（t，s），m′uj，m′uk′，m′。因此，矩阵∑t的第（i，j）个元素的形式为∑t，i，j=tZtαs“XnΦ*t、 s，i，nkXk′=1’h（θ*)n、 k′（Φ*,)t、 s，k′，j#ds=tZtαs“XnXmλ（t，s），mui，mun，m！Xk′’h（θ*)n、 k′Xm′λ（t，s），m′uj，m′uk′，m′#ds=XnXmXk′Xm′tZtαsλ（t，s），mui，mun，m\'h（θ*)n、 k′λ（t，s），m′uj，m′uk′，m′ds=XnXmXk′Xm′tZtαsst公司（λm+λm′）Cαdsui，mun，m’h（θ*)n、 k′uj，m′uk′，m′=XnXmXk′Xm′Cα（λm+λm′）Cα- 1.1.- t1级-（λm+λm′）Cαui，mun，m’h（θ*)n、 k′uj，m′uk′，m′。根据瑞利-里兹定理，λ，λk≥ C、 因此，Cα（λm+λk′）≥ 2CαC>1。然后，我们得到极限二次协变矩阵∑的（i，j）-第元素的形式为∑i，j=limt→∞“∑t，i，j=XnXmXk′Xm”Cα（λm+λm′）Cα- 1.ui，mun，m’h（θ*)n、 k′uj，m′uk′，m′=XnXmui，mun，mXk′h（θ*)n、 k′Xm′型Cα（λm+λm′）Cα- 1.uj，m′uk′，m′。（4.9）注意，我们可以方便地写出∑=CαZ∞e-s（Cα）\'g（θ*)-一） \'h（θ*)e-s（Cα((R)g）(θ*)-一） ds。（4.10）仍需证明E∑t-\'∑t→ 0作为t→ ∞. 如果这是真的，那么三角形线的质量∑t-Σ≤ E∑t-\'∑t+ E“∑t-Σ→ 0。那么，E∑t-Σ→ 0表示∑tp→Σ.证明E∑t-\'∑t→ 0，我们首先定义“Vt=tZtαsΦ*t、 s’h（θs）Φ*,t、 sds。通过三角不等式，∑t-\'∑t≤∑t-(R)Vt+(R)Vt-\'∑t.

我们首先讨论第二个术语：(R)Vt-\'∑t=tZtαsΦ*t、 s’h（θs）Φ*,t、 s- Φ*t、 s’h（θ*)Φ*,t、 sds公司. （4.11）矩阵Vt的第（i，j）个元素-“∑tis：(R)Vt-\'∑ti、 j=tZtαsXnΦ*t、 s，i，nkXk′=1′h（θs）n，k′Φ*,t、 s，k′，j-XnΦ*t、 s，i，nkXk′=1’h（θ*)n、 k′Φ*,t、 s，k′，jds=tZtαsXnΦ*t、 s，i，nkXk′=1θ′h（θs）n、 k′（θs- θ*)Φ*,t、 s，k′，jds，其中θ是连接θ和θ的段中适当选择的点*. 现在回想一下，v及其衍生物在kxk和kθk中最多可以以多项式形式增长。由于我们的特殊增长率θ′h（θ）≤ K（1+KθK）。此外，E[kθs- θ*k]≤Ks来自第3节中的收敛速度。利用这些事实，θt上的一致时间矩和Cauchy-Schwartz不等式，E[|(R)Vt-\'∑ti、 j |]≤ tZtαsEXnΦ*t、 s，i，nkXk′=1θ′h（θs）n、 k′（θs- θ*)Φ*,t、 s，k′，jds公司≤ KtZtαsXnΦ*t、 s、i、nkXk′=1Eθ′h（θs）n，k′Ekθs- θ*kΦ*,t、 s，k′，jds公司≤ KtZts公司-Φ*t、 sds。因此(R)Vt-\'∑t→ 0作为t→ ∞.现在，让我们谈谈∑t-(R)Vt使用泊松方程方法。∑t-(R)Vt=tZtαsΦ*t、 sh（θs，Xs）Φ*,t、 s- Φ*t、 s’h（θs）Φ*,t、 sds。矩阵∑t的（i，j）-th元素-？VTI：(R)Vt-\'∑ti、 j=tZtαsXnΦ*t、 s，i，nkXk′=1h（θs，Xs）n，k′-\'h（θs）n，k′Φ*,t、 s，k′，jds。使用It^o公式、Poisson方程Lxw=H上的边界（A.6）、Xt和θt上的力矩边界以及It^o等距，可以显示(R)Vt-\'∑ti、 j→ 0，作为t→ ∞. 这当然意味着E(R)Vt-\'∑t→ 0.结合结果并使用三角形不等式，我们得到了期望的结果∑tp→\'∑作为t→ ∞.方程（4.8）的二次变量∑t的概率收敛意味着（4.8）在分布上收敛到协方差∑的平均零正态随机变量（见[8]第1.2.2节）。综合所有结果得出中心极限定理：√tYtd型→ N（0，‘∑）。5非凸情形下中心极限定理的证明从定理2.11中，我们知道k\'g（θt）k→ 0几乎可以肯定。

在蓄水条件下，这意味着kθt- θ*k→ 0或kθtk→ ∞. 因此，我们必须首先证明kθtk几乎肯定是有限的。参数θt取值为：θt=θ+Zt-αsθ′g（θs）ds+Ztαsθ′g（θs）- θg（θs，Xs）ds+Ztαsθf（Xs，θs）dWs。（5.1）从条件2.12中回顾：如果θi，θi'g（θ）>0- θ*i> 兰德公司如果θi，θi'g（θ）<0- θ*i<-Rfori=1，2，k、 如果|θt，i（ω）|→ ∞, 那么θt，i（ω）→ +∞ 或θt，i（ω）→ -∞ 因为θ是连续路径（即，发散序列，如-2无法发生）。接下来，请注意方程（5.1）中的第二和第三个积分几乎肯定会收敛到有限的随机变量。假设θt，i（ω）→ +∞. 这意味着存在一个T（ω），使得θT，i>θ*对于所有t≥ T（ω）。然而，RtT（ω）-αsθi'g（θs）ds<0。这与（5.1）中的第二项和第三项收敛到有限随机变量的事实相结合，证明了θt，i<+∞ 概率为1。类似的论证表明θt，i>-∞ 概率一。因此，|θt，i- θ*i |→ 0几乎可以肯定。θta。s→ θ*这意味着，对于任何δ>0的极小值，都存在一个（随机）时间τδ，使得kθt- θ*所有t的k<δ≥ τδ. 注意，对于固定δ>0，τδ几乎肯定是有限的，但我们也注意到τδ不是停止时间。在本节中，选择的参数δ非常小，因此0<δ<δ*,其中δ*从条件2.12中获取。使用泰勒展开：θ′g（θt）=θ′g（θ*) + \'g（θt）（θt- θ*) = \'g（θt）（θt- θ*),其中θ在连接θttoθ的段中适当选择*. 然后我们得到了（θt- θ*) = -αt\'g（θt）（θt- θ*)dt+αt(θ′g（θt）- θg（Xt，θt））dt+αtθf（Xt，θt）dWt。设Φt，ssatisfydΦt，s=-αt\'g（θt）Φt，sdt，Φs，s=I，注意，对于t>s>τδ，kΦt，sk≤ 千吨级-2CCαs2CCα。我们稍后还将利用Φt，s表示半群性质Φt，s=Φt，τΦτ，s这一事实（供参考，请参见[5]中的命题2.14）。

让Yt=θt- θ*, 我们得到y=Φt，1Y+ZtαsΦt，s(θ′g（θs）- θg（Xs，θs））ds+ZtαsΦt，sθf（Xs，θs）dWs=Γt+Γt+Γt。第一项分析如下。引理5.1。√塔塔。s→ 0，作为t→ ∞.证据对于t≥ τδ我们有√tΓt=√t型Φt，τ′ΔΦτ′δ，1Y≤ K√t型Φt，τ′δΦτ′δ，1Y≤ 千吨级-CCα+τCCα′δΦτ′δ，1Y= K（τ′δ）t-CCα+。其中K（τ′δ）=τCCα′δΦτ′δ，1Y几乎可以肯定是有限的，因为P[τ′δ<∞] = 1.那么，由于CCα>1，√塔塔。s→ 0as t→ ∞.设v（x，θ）满足泊松偏微分方程Lxv=G（x，θ），其中G（x，θ）=θ′g（θ）- θg（x，θ）。根据定理2.13的假设，解v（t，x）及其相关偏导数在kxk中最多多项式增长，在kθkd中线性增长。It^o的公式得出表示式Γt=ZtαsΦt，s(θ′g（θs）- θg（Xs，θs））ds=ZtαsΦt，sdvs-ZtαsΦt，sxv（Xs，θs）dWs-ZtαsΦt，sLθv（Xs，θs）ds-ZtαsΦt，sθv（Xs，θs）θf（Xs，θs）dWs-ZtαsΦt，sθxv（Xs，θs）θf（Xs，θs）ds=Γ2,1t+Γ2,2t+Γ2,3t+Γ2,4t+Γ2,5t。为了现在分析Γ2、2tand和Γtwe中涉及的术语，我们需要一些中间结果，这些中间结果如下所示。出于陈述目的，这些引理的证明推迟到本节末尾。引理5.2。设ζ（x，θ）是一个（潜在的矩阵值）函数，它最多可以在x和θ中多项式增长。然后，我们得到了1。It部门=√tRtαsΦt，sζ（Xs，θs）dsa。s→ 0，作为t→ ∞, 和2.It=√tRtαsΦt，sζ（Xs，θs）dWs→ 0，概率为t→ ∞.引理5.2立即给出√tΓ2,3t（回想一下，操作符Lθ有一个αt的乘法因子），√tΓ2,5t几乎肯定会收敛到零√tΓ2,4概率收敛到零，ast→ ∞. 要看到这一点，就足以注意到所有这些术语都采用引理5.2中提到的Itan和ItQuantities的形式。

术语√tΓ2,1也几乎肯定会收敛到零，首先使用公式的It^进行重写，就像第3节的相应项一样（参考（3.7）用p=2替换ψ（p）t，sbyΦt，s），然后再次使用引理5.2。极限高斯随机变量将由Γ2,2t和Γt产生。因此，仍需分析√t（Γ2,2t+Γt）。我们有√t（Γ2,2t+Γt）=√tZtαsΦt，sθf（Xs，θs）- xv（Xs，θs）dWs。利用文献[8]的结果，可以证明∑t=tZtαsΦt，sh（Xs，θs）Φ的概率收敛性t、 SDS是一个确定的量。我们在此回顾h（x，θ）=θf（x，θ）-xv（x，θ）θf（x，θ）-xv（x，θ）.如前所述，让Φ*t、 sbe解决方案todΦ*t、 s=-αt\'g（θ*)Φ*t、 sdt，Φ*s、 s=I.回想一下Φ*t、 边界信息Φ*t、 s≤ 千吨级-2CCαs2CCα。定义∑tand∑*tas：‘∑t=tZtαsΦt，s’h（θ*)Φt、 sds和‘∑’*t=tZtαsΦ*t、 s’h（θ*)Φ*,t、 sds。请注意，我们已经在上一节中证明了‘∑’*t概率收敛为‘∑as t→ ∞. 我们想证明这一点\'∑t-Σ*t型→ 0作为t→ ∞, 几乎可以肯定。引理5.3。\'∑t-Σ*t型→ 0，概率为1，为t→ ∞.为了证明这一点∑t-\'∑t→ 0，我们首先定义“Vt=tZtαsΦt，s”h（θs）Φt、 sdsBy三角不等式，∑t-\'∑t≤∑t-(R)Vt+(R)Vt-\'∑t. 然后我们有下面的引理。引理5.4。(R)Vt-\'∑t→ 0，概率为1，为t→ ∞.引理5.5。∑t-(R)Vt→ 0，概率为t→ ∞.通过三角不等式，∑t-Σ≤∑t-(R)Vt+(R)Vt-\'∑t+\'∑t-Σ.组合引理5.5、5.3和5.4，∑t-Σp→ 0作为t→ ∞.

因此，使用[8]中的结果，√t（Γ2,2t+Γt）d→ N（0，‘∑），作为t→ ∞.综合所有结果得出中心极限theo-rem：√tYtd型→ N（0，‘∑），这是我们期望的结果。5.1引理的证明5.2-5.5在本小节中，我们给出了用于证明非凸情形的中心极限定理的引理的证明。首先，我们需要一个中间结果来正确处理多维随机图的零收敛性。这样的结果应该是文献中的标准结果，但因为我们没有找到正确的陈述，所以我们给出了引理5.6。引理5.6。设Zt=Rtb（t，s，Xs，θs）dWs。让p∈ N是给定的整数，并考虑常数c>p-和一个矩阵E，其中EE是正定义，例如-c+p-Ztαpsscb（t，s，Xs，θs）E数字信号处理器→ 0，（5.2）作为t→ ∞. 然后，ifRtb（t，s，Xs，θs）b（t，s，Xs，θs）数字信号处理器→ 0作为t→ ∞, 我们有Ztp→ 0作为t→ ∞.引理5.6的证明。设η>0为任意选择，并构造随机变量Zt=ηs2c-2p+1C2pαt-c+p-ZtαpsscEdWs。根据[8]第1.2.2节中的命题1.21，Zt+~Ztd→ N（0，ηEE) 作为t→ ∞. 此外，Ztd→N（0，ηEE) 作为t→ ∞. 然后，根据三角不等式，PkZtk>≤kXi=1PZt，i>k=kXi=1P|Zt，i|>rk=kXi=1P|Zt，i+~Zt，i-Zt，i |>rk≤kXi=1P|Zt，i |+| Zt，i+| Zt，i |>rk≤kXi=1P|Zt，i |>rk+ P|Zt，i+~Zt，i |>rk. （5.3）对于每个固定η>0，不等式（5.3）的RHS收敛到一个有限的量，即t→ ∞ 由于连续映射定理和Zt分布的收敛性，i+~Zt，i和~Zt。此外，通过选择一个非常小的η，可以使RHS的限制任意小。因此，对于任何δ>0，存在一个η>0，这样：lim supt→∞PkZtk>< δ.引理5.2的证明。让我们首先证明引理的第一个陈述。不损失一般性，lett≥ τδ.

首先，将[0，t]分为两个区域[1，τδ∧t] 和[τδ∧ t、 τδ∨t] ：It=√tZtαsΦt，sζ（Xs，θs）ds=√tZτδ∧tαsΦt，sζ（Xs，θs）ds+√tZτδ∨tτδ∧tαsΦt，sζ（Xs，θs）ds=I1,1t+I1,2t。（5.4）让我们首先研究第二学期。I1,2t=√tZτδ∨tτδ∧tαsΦt，sζ（Xs，θs）ds≤ K√tZτδ∨tτδ∧tαskΦt，skkζ（Xs，θs）kds≤ 千吨级-CCα+1/2Zτδ∨tτδ∧tsCCα-2（1+kXskm+kθskm）ds≤ 千吨级-CCα+1/2Zτδ∨tsCCα-2（1+kXskm+kθskm）ds。现在让我们确定数量lt=Kt-CCα+1/2ZtsCCα-2（1+kXskm+kθskm）ds，注意，对于概率1，我们有lim supt→∞I1,2t≤ lim支持→∞Lt.对于ε>0，现在考虑ε处的事件=书信电报≥ tε-1/2. 使用x和θswe的矩在时间范围内的一致性，可以得到e | Lt |≤ 千吨级-CCα+1/2ZtsCCα-2秒≤ Kt型-1/2- t型-CCα+1/2.然后，马尔可夫不等式和CCα>1的事实给出了[At，ε]≤E | Lt | tε-1/2≤ 千吨级-ε.后者则意味着xn∈NP[安，ε]<∞,然后，由于Borel-Cantelli引理，它保证了有限正随机变量（ω）和so me n<∞ 每n≥ n、 Ln公司≤ d（ω）2-nε。对于任何t∈ [2n，2n+1]和n≥ n、 Lt公司≤ K2n(-CCα+1/2）Zn+1sCCα-2（1+kXskm+kθskm）ds。≤ K2CCα-1/2Ln+1≤ K2CCα-1/2d（ω）2-（n+1）ε≤ K（ω）t-ε.因此，Lta。s→ 0，这立即意味着I1,2ta。s→ 接下来，我们分析方程（5.4）中的第一项。如果t>τδ，半群性质产生：I1,1t=√tRτδ∧tαsΦt，sζ（Xs，θs）ds=√tΦt，τδRτδ∧tαsΦτδ，sζ（Xs，θs）ds。因此，如果t>τδ，√tZτδ∧tαsΦt，sζ（Xs，θs）ds≤ K√t kΦt，τδkZτδαsΦτδ，sζ（Xs，θs）ds≤ C（τδ）t-CCα+1/2。常数C（τδ）几乎肯定是有限的，因为P[τδ<∞] = 1和beca使用kXsk和kθsk对于s几乎是确定的≤ τδ. 因此，使用约束CCα>1，我们得到√tZτδ∧tαsΦt，sζ（Xs，θs）dsa、 s。→ 0 .结合结果，积分（5.4）几乎肯定会收敛到0，因为t→ ∞.接下来，我们证明引理的第二个陈述，我们将使用引理5.6。