向后SDE的路径迭代

通过（9），我们得到θlowj=YjP-a.s.，wh ich完成了证明。当从任意子解开始时，我们通常不会通过一次应用定理3.1中描述的方法来获得解Y。然而，这种构造可以用一种简单的方法进行迭代：让Y（low，0）是一个亚分辨率，并定义θ（low，0）：=Y（low，0）。我们根据θ（low，k）：=θlow（r（k），M（k）），k根据（8）定义第k次迭代≥ 1，（12）其中过程r（k）∈ 每j=0，…的Ais。。。，J给出人r（k）jEjhβj+1θ（低，k-1） j+1i- F#jr（k）j= Fj公司Ejhβj+1θ（低，k-1） j+1i, （13） 和M（k）∈ MDI是任意的。应用定理3.1迭代，我们观察到Ej[θ（low，k）j]≥Ej[θ（低，k-1） j]，P-a.s，每k≥ 1和j=0，J、 此外，Eihθ（低，J-j） ii=YiP-a.s.，每当i≥ j、 在最后一个方程中，当每个M（k）被视为βjEj[θ（low，k）]的Doob鞅时，可以移动左侧的条件期望-1） j]。因此，我们观察到Y是该迭代的P-a.s.唯一固定点，实际上在大多数迭代步骤后终止。一系列子解的改进在下面的第5节中，我们解释了基于（12）的算法的数值代价在迭代次数k中呈指数增长。因此，在实际实现中必须支持适度的迭代次数。解决这一问题的一种方法是同时改进整个亚分辨率家族，而不仅仅是一个亚分辨率。为此，让（\'Y{l}）l∈Ibe是一系列亚分辨率，其中I是一个有限的指数集。此外，我们用K（j）表示，j=1。。。，J、 I子集的一个非减量序列，即它保持K（J） K（j+1）。

然后，我们考虑了可预测的I值过程*（j） =infnl∈ K（j）ι∈ K（j）Fj-1.Ej公司-1hβj'Y{l}ji≥ Fj公司-1.Ej公司-1hβj'Y{ι}jio、 这意味着，在每个时间点j=1。。。，J、 我们只考虑在s子集K（J）和随机变量l中表示的子解*（j） 返回索引l∈ K（j）在该值处，Fj的评估-1最大化。在最简单的情况下，对于所有j=1，…，K（j）=I。。。，J、 更复杂的K（J）选择允许减少确定l的计算成本*. 我们认为由Yj给出的过程Y＝Y{l*（j） }j{j>0}+FEβ′Y{j=0}（14）是（1）的一个子解，它允许我们改进子解（\'Y{l}）l∈同时进行。为了检验Y的亚解析性质，我们首先观察到j=0的情况是微不足道的，因为定义Y=F（E[βY]）。对于j>0的情况，我们得到了每个l的Y{l}的次解性质∈ 一、 和K（j） K（j+1），即'Yj=Xl∈K（j）(R)Y{l}j{l*（j） =l}≤Xl码∈K（j）FjEjhβj+1'Y{l}j+1i{l*（j） =l}≤Xl码∈K（j）FjEjhβj+1'Y{l*（j+1）}j+1i{l*（j） =l}=FjEj公司βj+1'Yj+1P-a.s.因此，定理3.1可以应用于过程Y，并暗示，对于θlow=θlow（\'r，M），Ejhθlowji≥ Fj公司Ej公司βj+1'Yj+1= m轴L∈K（j+1）FjEjhβj+1'Y{l}j+1i≥ m轴L∈K（j+1）(R)Y{l}j（15）P-a.s.对于所有j=0。。。，J-1，其中r表示每j=0。。。，J-1由（10）给出，其中M∈ MD.因此，如果K（j）=I，对于所有j=1。。。，J、 我们同时改善了所有亚分辨率（\'Y{l}）l∈我会改进。示例3.2。我们考虑一个自适应过程S的最优停止问题，其值过程Y（所谓的S nell包络）由（2）控制。假设（τl）l∈一、 其中，I={0，…，J}，是一系列I值停止时间，在[18]的意义上是一致的：对于每个l∈ Iτl≥ l和（τl>l=> τl=τl+1）。这个一致性条件意味着每个过程Y{l}j：=Ej[Smax{τl，τj}]，l∈ 一、 将次分辨率定义为（2）。

定义K（j）={0，…，最小值{j+κ-1，J}}对于某些窗口参数κ∈ N、 将基于（14）中构造的亚解的改进条件（10）专门化为最优停止问题，可以验证改进的亚解满足f或每个控制变量M∈ MD，Ej[θlow（\'r，M）]=Ej[S'τj]，其中停车时间'τjare由'τj=inf{i≥ J硅≥ 最大值=i+1，。。。，min{i+κ，J}Ei[Sτl]}，J=0，J、 因此，对于每J=0，J、 by（15）和一致性条件Ej【S’τJ】≥ 最大值=j+1，。。。，min{j+κ，j}max{Ej[Sτl]，Sj}≥ 最大值=j，。。。，min{j+κ，j}Ej[Sτl]，P-a.S。因此，我们恢复了[18]定理3.1中的政策改进结果，作为我们方法的特例。4上解的改进在本节中，我们提出了一种迭代方法，用于将上解改进为凸动态规划，如（1）。我们推广了[8]的构造，他提出了一种改进的方法，可以在最优停止的情况下求出辅助解。与第3节类似，我们在[4]中给出的上界的路径递归上构建了我们的方法。因此，我们在本节开始时简要概述了它们的结构，并解释了如何将其应用于改进arb-itrarysupersolutions。本节的其余部分致力于将第3节中获得的结果转换为上解。[4]中提出的路径方法的主要思想是删除（1）中的应用条件期望，而是减去鞅增量。更准确地说，让M∈ MDbe是鞅。然后，我们通过θupj=Fj（βj+1θupj+1）来定义典型的非自适应过程θup：=θup（M- Mj+1），j=0。。。，J- 1，θupJ=ξ。（16） 由于fjan上的多项式增长条件以及β和M的可积性质，我们通过反向归纳得到θupj∈ L∞-（R） 对于每j=0。。。，J

设置（Yupj）j=0，。。。，J=（Ej[θupj]）J=0，。。。，J、 我们立即利用Jensen不等式、M的鞅性质和条件期望的塔性质，即Yupis是（1）的上解：Yupj=Ej[Fj（βJ+1θupj+1- Mj+1）]≥ Fj（Ej[βj+1Yupj+1]）。与第3节中的结果类似，[4]表明，（1）的解Y可以表示为adual极小化问题，即Yj=essinfM∈MDEj[θupj（M）]P-a.s.（17）对于每j=0。。。，J、 末日鞅M*βY的值达到最小值，并且是七个路径最优值，即对于每个j=0。。。，J、 Yj=θupj（M*) P-a.s.（18）上解的迭代改进在第3节中，我们证明了任意上解Y可以在适当鞅M的意义下得到改进∈ md和（16）不等式yj的过程θup（M）≤ Ej[θupj（M）]≤每j=0，…，Yjholds P-a.s。。。，J、 在最优停止的情况下，[8]表明，采用给定超解的doob-m-artin gale，可以得到改进。定理4.1将这一思想推广到形式为（1）的凸动态规划：定理4.1。让j∈ {0，…，J- 1} 设Y是（1）的上解。进一步，设M为过程βY的doob鞅。然后，过程θup（(R)M）令人满意≤ Ei[θupi（(R)M）]≤ Fi（Ei[βi+1'Yi+1]）≤(R)YiP-a.s.（19）对于所有i=0。。。，J、 此外，如果“Yi=Yi”对于所有i=J+1。。。，J、 然后θupj（(R)M）=YjP-a.s.证明。证明的总体策略类似于定理3.1。在本节开头，我们已经证明了（Ej[θupj（M）]）j=0，。。。，Jis是任意鞅的上解∈ MD，得出（19）中的第一个不等式。最后一个是由于'Y的超解性质。

为了证明剩下的不等式，我们再次证明了稍强的断言θupi：=θupi（(R)M）≤ Fi（Ei[βi+1'Yi+1]）P-a.s.，i=0。。。，J- 1，通过条件期望的单调性得到（19）。证明是通过对i的反向归纳，i=J的情况是微不足道的，因为通过定义，我们有θupJ=ξ≤(R)YJ。现在假设断言为真f或i+1∈ {1，…，J}，即θupi+1≤因此，我们通过定义M、单调性假设（4）和归纳假设得出结论，即θupi=Fi（βi+1θupi+1- （βi+1'Yi+1- Ei[βi+1'Yi+1]）≤ Fi（βi+1'Yi+1- （βi+1'Yi+1- Ei[βi+1'Yi+1]）=Fi（Ei[βi+1'Yi+1]）。这里，我们利用z 7→ Fi（z-（βi+1'Yi+1-Ei[βi+1'Yi+1]）继承了Fiby的单调性（4），即通过定理4中的正性对单调性进行等价表征。[5]中的第3条（具有常数全信息过滤），因为其凸共轭由f#i（u）+u给出（βi+1'Yi+1- Ei[βi+1'Yi+1]）。为了完成证明，我们假设“Yi=Yi”对于所有i=j+1。。。，J、 其中J∈ {0，…，J- 1} 是固定的。然后，再次增加“Mi+1-\'Micoincide与Doob鞅M的那些*i=j时的βY，J- 因此，（18）得出结论。如第3节所述，这种改进可以重复多次。对于给定的超解Y（up，0），定义θ（up，0）：=Y（up，0）并根据（16）定义θ（up，k）：=θup（M（k）），k≥ 1，（20），其中每个M（k）由M（k）j=j给出-1Xi=0βi+1Ei+1hθ（向上，k-1） i+1i- Eihβi+1θ（向上，k-1） i+1i，j=0。。。，J、 （21）然后，迭代应用Th eorem 4.1得到Ej[θ（up，k）J]≤ Ej[θ（向上，k-1） j]，P-a.s.，代表everyk≥ 1和j=0，J、 和θ（向上，J-j） i=Yi，P-a.s.，每当我≥ j、 因此，上界迭代也会在真解Y的最多j步之后终止。上解族的改进在第3节末尾，我们解释了如何改进给定的下解族。

这里可以应用sameidea来同时改进一系列上解（\'Y{l}）l∈一、 其中I是一个有限的索引集。我们现在考虑可预测的、我重视的过程*（j） =infnl∈ K（j）κ∈ K（j）Fj-1.Ej公司-1hβj'Y{l}ji≤ Fj公司-1.Ej公司-1hβj'Y{κ}ji或每j=1。。。，J、 式中，K（J）再次是I的子集的非减量族。然后，由Yj定义的过程Y=\'Y{l*（j） }j{j>0}+FEβ′Y{j=0}是（1）的一个su解，其参数与第3节中的参数类似。因此，根据定理4.1，Ejhθupj（(R)M）i≤ Fj公司Ej公司βj+1'Yj+1= minl公司∈K（j+1）FjEjhβj+1'Y{l}j+1i≤ minl公司∈K（j+1）(R)Y{l}jP-对于每j=0，…，a.s。。。，J- 1，其中\'M表示β\'Y的Doob鞅。因此，在K（j）=I的情况下，j=1。。。，J、 改进g'Y再次导致所有上解（'Y{l}）l的同时改进∈一、 5实现在本节中，我们将解释如何基于第3节和第4节的iter改进策略实现算法。为了将这些结果转化为可实现的算法，需要构造一个子解和一个超级解作为输入。此外，在（13）中的控件和（21）中的Doobmartingales的迭代构造中出现的条件期望必须用数值近似。对于迭代改进中条件期望的数值近似，我们应用了一个简单的蒙特卡罗实现，如[18]所示。与动力学编程方程（1）的朴素蒙特卡罗实现（导致不可行的J嵌套模拟层）不同，迭代改进算法中的模拟层数取决于执行的迭代步骤数。正如我们将在数值示例中所示，当输入-输出超分辨率和亚分辨率以闭合形式可用时，两个改进步骤是可行的。

因此，在解释第5.2节中的Somewhats标准嵌套模拟方法f或迭代改进之前，我们先关注第5.1节中闭合形式输入的构造。然而，作为第一步，我们专门研究以下马尔可夫框架：我们假设（Bj）j=0，。。。，Jis是一种三维适应工艺（带有D≥ D） 因此，BJ的第一个组成部分由βjand BJ独立于Fj给出-1，对于每j=1，J、 假设X是形式为Xj=hj（Xj）的RN值马尔可夫过程-1，Bj），j=1。。。，J、 （22）对于可测量函数hj:RN×RD→ RN，从X=X开始∈ 注册护士。状态过程X的正演方程可能会出现，例如，作为随机微分方程的时间离散化。此外，对于动态程序（1）的生成器Fjo，我们假设存在可测函数fj:RN×RD→ R满足Fj（·）=Fj（Xj，·），即fjd仅通过马尔可夫过程X依赖于ω。然后，我们考虑f ormYj=Fj（Xj，Ej[βj+1Yj+1]），j=0，…，中动态程序（1）的马尔可夫版本，J- 1，YJ=g（XJ），（23），其中g:RN→ R是可测量的。在这个框架中，Yjis是Xj的一个定函数（尤其是，Yis是一个常数）。根据（22），我们得到，对于每j=1，J、 一个可测函数yj:RN×RD→ R使得Yj=Yj（Xj-1，Bj）。用pBj表示Bj定律，因此我们可以用zj（x）写出Ej[βj+1Yj+1]=zj（Xj）=ZRDbyj+1（x，b）PBj+1（db），ZRDbDyj+1（x，b）PBj+1（db）.5.1输入子解和上解的计算为了构造输入子解和上解，我们首先通过给定基函数集ηj，…，的线性组合来近似yjb。。。，ηKj:RN×RD→ R、 也就是说，yj（x，b）=KXk=1akjηkj（x，b），j=1，J

（24）我们考虑了两种不同的方法来计算F-可测系数akj，这是最小二乘法蒙特卡罗的一种变体，它吸收了最优停止文献[13]中回归后期方法的一些想法，以及直接鞅极小化方法，该方法建立在[2]和[9]的工作基础上，用于最优停止。作为基函数的一个关键假设，我们规定期望值Rkj（x）：=ZRDbηkj+1（x，b）PBj+1（db），ZRDbDηkj+1（x，b）PBj+1（db）, （25）x∈ RN以闭合形式提供（或可通过数值计算得出“可忽略”的误差），cp.下面的备注5.1。定义▄Yj=▄Yj（Xj-1，Bj）作为Yj的近似值，我们观察到Ej[βj+1Yj+1]=Pkakj+1Rkj（Xj）也是以闭合形式给出的。根据输入近似值y，我们现在可以推导出最优控制和末日马尔丁格尔M的第一个近似值*, 从中可以通过路径递归（8）和（16）获得输入子解和上解。为了计算这样一个控制＠r，我们用Yj代替＠Yj求解（7），即过程＠r由＠r给出jEj[βj+1Yj+1]- f#j（≈rj）=fj（Xj，Ej[βj+1Yj+1]），（26）每j=0。。。，J- 1，属于[5]中引理A.1的Athanks。当然，这里的凸共轭也可以用数值来近似。对于Doob鞅M的第一个近似值*, 我们再次用它的近似值Y代替真解Y。因此，第一个近似值为M*由Mj=j给出-1Xi=0βi+1Yi+1-Ei[βi+1Yi+1]，j=0。。。，J、 （27）将▄r和▄M插入θlow和θup的递归（8）和（16），我们得到了输入子解和上解Y（low，0）J=Ej[θlowj（▄r，M）]和Y（up，0）J=Ej[θupj（▄M）]。我们现在可以对∧outindependent副本（Bj（λout），j=1，…）进行采样，J） ）λout=1，。。。，∧在B中，我们称之为“外部”路径。

然后，我们可以计算沿着这些外部路径的θlow（~r，~M）和θup（~M）的路径递归，并用θ（low，0）j（λout）和θ（up，0）j（λout），j=0，J、 分别为。应用简单的蒙特卡罗估计量^Y（up，0）：=λout∧outXλout=1θ（up，0）（λout）（28）计算E[θup（M）]和相关的经验标准偏差，可以计算E[θup（M）]的（渐近）置信区间，从而计算Y上的置信上限≤ E[θ向上（￠M）]，见[12]第1.1.3节。类似地，从（θ（低，0）（λout））λout=1，。。。，∧out，可以构造一个较低的置信区间，结合这两个边界，我们最终得到一个渐近置信区间。我们强调，Yi是一个确定的实数，但置信区间的构造取决于任何一组样本路径，这些样本路径可能用于预计算系数ajin（24），我们认为这些路径包含在F中。当这种置信区间对于所考虑的应用程序来说还不够紧时，可以运行下面第5.2节中描述的迭代改进算法。然而，我们首先讨论获得输入近似系数的两种方法（24）。最小二乘蒙特卡罗方法最小二乘蒙特卡罗（LSMC）的思想是通过回归将正交投影到一组基函数上，来近似（23）中的条件期望，即计算▄Yj=fj（Xj，Pj[βj+1▄Yj+1]），j=0，J- 1、~YJ=g（XJ），作为Y的近似值，其中Pjdenotes在预先指定的基础上进行经验回归（给定一组样本路径）。

请注意，由于随机权重β是RD值，且表达式βj+1Yj+1可能会受到较大方差的影响，因此实际上必须在每个时间步计算D emp回归，例如，在BSDE情况下（3），这里，第一空间导数的Malliavin-MonteCarlo权重β的方差随着时间离散化变得更为明确而爆炸。根据我们基于基函数的假设（25），我们可以实现以下最小二乘蒙特卡罗回归变量：▄Yj=Pjhfj（Xj，Ej[βj+1▄Yj+1]）i，j=0，J- 1，~ YJ=PJ[g（XJ）]，as（感应）~ YJ+1是（ηkj+1（XJ，Bj+1））k=1，…，的线性组合，。。。，因此，fjis中的条件检验以封闭形式提供。这种“稍后回归”的想法起源于[13]中的最优停止，并在[3]中扩展到了BSDE的时间离散化，其中在数值示例中观察到了巨大的方差减少效应。更正式地说，我们假设给出了B的∧区域相关副本，我们称之为“回归路径”。β和马尔可夫过程X沿λ回归路径的轨迹用β（λ）和X（λ）表示，λ=1，∧注册。为了初始化我们的算法，我们需要一个终端条件gJ（XJ）=yJ（XJ）的近似值-1，BJ）在基函数方面。应用标准回归方法，我们计算RK值系数aJ=（aJ，…，aKJ）viaaJ=argmina∈RK∧reg∧regXλ=1g（XJ（λ））-KXk=1akηkJ（XJ-1（λ），BJ（λ））！并得到▄yJ（x，b）=PKk=1akJηkJ（x，b），作为yJ（x，b）=g（h（x，b））的近似值。现在，假设已经计算了基函数的近似值▄yj+1（x，b），即▄yj+1（x，b）=PKk=1akj+1ηkj+1（x，b），RK值系数aj+1=（aj+1，…，aKj+1）。