控制点改变的脉冲

从m方程（3.2）和（3.3）我们得到，对于0≤ T≤ T，thatd（E[Z（T）| F（T）]=mXj=1pjZtL（s；u）L（s；uj）λe-λsdsdL（t；uj）+e-λtdL（t；u）=mXj=1pjZtL（s；u）L（s；uj）λe-λsdsL（t；uj）b（t，X（t）；uj）σ（t，X（t））+e-λtL（t；u）b（t，X（t）；u）σ（t，X（t））dW（t），（3.4）因此，概率期望{E[Z（t）|F（t）]}0≤T≤这是一个本地（P，F）-马丁·英格尔；事实上，a（P，F）-mart ingale，这很容易从定义（2.13）中检查出来。应用它的^o公式，我们将看到，在（3.1）的第二行上，Pexp表达式中的随机变量是在时间T时计算的（P，F）-半鞅。引理3.2将表明，由于引理3.1的一致可积性结果，它的局部mart ingale部分实际上是D类的平方可积（P，F）-mart ingale（定义4.8，Karatzasand Shreve[18]第24页[1988]）。引理3.1适用于每个u∈ Θ，考虑过程R（·；u）定义为asR（t；u）：=ZtL（s；u）L（s；u）λe-λsds，0≤ T≤ T.（3.5）对于任何非负整数q，q和q，我们有sup0≤T≤T | X（T）| q< ∞, Esup0≤T≤TLq（t；u）< ∞ 和E[Rq（T；u）]<∞ ;（3.6）此外，家庭sup0≤T≤T | X（T）|qLq（τ；u）Rq（τ；u）τ∈S（3.7）对于概率测度P是一致可积的。证明：根据假设2.2（iii）和方程（2.9），存在C（x，γ，N，q）∈(0, ∞), 因此，对于任何0≤ T≤ T，我们有SUP0≤s≤t | X（s）| 2q≤ sup0≤s≤德克萨斯州+Zsσ（w，X（w））dW（w）+NXi=1 |γ（X（τi-), ζi）|！第二季度≤C（x，γ，N，q）1+sup0≤s≤TZsσ（w，X（w））dW（w）第二季度！。（3.8）SinceR·∑（t，X（t））dW（t）是一个局部P-鞅，来自Burkholder-Davis-Gundy不等式（例如[18]Karatzas and Shreve（1988）第166页），对于q=1，2，··Wehave“sup0”≤T≤TZtσ（s，X（s））dW（s）第二季度#≤ C（q）EZTσ（t，X（t））dtQ, （3.9）对于某些常数0<C（q）<∞.

但存在一个常数C（σ，q，T）∈ (0, ∞),就这样ZTσ（t，X（t））dtQ≤ Tq-1EZTσ2q（t，X（t））dt=Tq-1ZTEσ2q（t，X（t））dt≤ Tq-1C（σ，q，T）1+中兴|X（t）| 2qdt≤Tq-1C（σ，q，T）1+中兴sup0≤s≤t | X（s）| 2qdt,（3.10）第二个不等式来自不等式（2.8），σ（t，·）的线性增长性质。不等式（3.8）、（3.9）和（3.10）表示“sup0”≤T≤TZtσ（s，X（s））dW（s）第二季度#≤ C（x，σ，γ，N，q，T）1+ZTE“sup0≤s≤TZsσ（v，X（v））dW（v）2q#dt！，（3.11）对于某些常数C（x，σ，γ，N，q，T）∈ (0, ∞). 然后，通过Gronwall不等式（例如[18]Karatzas and Shreve（1988）第287页），我们知道“sup0”≤T≤TZtσ（s，X（s））dW（s）2q#∞, （3.12）因此，通过不平等（3.8），我们得到了sup0≤T≤T | X（T）| 2q< ∞. （3.13）等式（2.11）和假设2.1（ii）意味着≤ T≤ T，~L（T；u）≤ L-1（t；u）=expZtb（s，X（s）；u） σ（s，X（s））dsL（t；u）≤ exp{CT}L（t；u），（3.14）其中我们定义了+L（t；u）：=exp-Ztb（s，X（s）；u） σ（s，X（s））dW（s）-Ztb（s，X（s）；u） σ（s，X（s））ds（3.15）并注明L（t；u）=-ZtL（s；u）b（s，X（s）；u） σ（s，X（s））dW（s）。（3.16）使用假设2.1（ii）和导致（3.13）的相同参数，以及方程（3.3）、（3.14）和（3.16），我们可以显示sup0≤T≤TLq（t；u）< ∞ 还有Esup0≤T≤热释光-q（t；u）< ∞. （3.17）根据方程式（3.5）和（3.17）得出：∞.

（3.18）取任意F-停止时间τ，其值在[0，T]中，通过H¨older不等式和估计（3.13），（3.17）和（3.18），我们得到sup0≤T≤T | X（T）|qLq（τ；u）Rq（τ；u）≤Esup0≤T≤T | X（T）| 2q1/2EL4q（τ；u）1/4ER4q（τ；u）1/4≤Esup0≤T≤T | X（T）| 2q1/2Esup0≤T≤TL4q（t；u）1/4ER4q（T；u）1/4< ∞.（3.19）为了从（3.19）中导出族（3.7）的一致可积性，我们使用Cauchy-Schwartz不等式和Chebyshev不等式来得到估计的supτ∈SE“sup0≤T≤T | X（T）|qLq（τ；u）Rq（τ；u）1sup0≤T≤T | X（T）|qLq（τ；u）Rq（τ；u）>A#≤ supτ∈sEsup0≤T≤T | X（T）| 2qL2q（τ；u）R2q（τ；u）1/2··Psup0≤T≤T | X（T）|qLq（τ；u）Rq（τ；u）>A1/2≤Asupτ∈东南方sup0≤T≤T | X（T）| 2qL2q（τ；u）R2q（τ；u）,（3.20）作为一个整体趋于零→ ∞, 以（3.19）为强度。引理3.2表示0≤ T≤ T，x∈ R、 l=（l，l，··，lm）∈ Rm+1，r=（r，··，Rm）∈ Rm，考虑定义为α（t，x，l，r）的函数α：=mXj=1pjljrj+e-λtl！h（x）+ξ′′（x）σ（t，x）+mXj=1pjljrjb（t，x；uj）+e-λtlb（t，x；u）！ξ′（x），（3.21）和定义为β（t，x，l，r，z）的函数β：=mXj=1pjljrj+e-λtl！ξ（x+γ（x，z））- ξ（x）+ξ′（x）γ（x，z）+c（x，z）.（3.22）那么，0≤ T≤ 我们有[Z（T）|F（T）]Zth（X（s））ds+ξ（X（T））+Xτi≤tc（X（τi）-), ζi）！=M（t）+Ztαs、 X（s）、L（s）、R（s）ds+Xτi≤tβτi，X（τi-), L（τi）-), R（τi）-), ζi,（3.23）式中，M（·）是一些平方可积（P，F）-martinga l e，M（0）=ξ（x），R（t）：=（R（t；u）·R（t；uM）），（3.24）和l（t）：=（l（t；u），l（t；u）·l（t；uM））。（3.25）证明：应用带跳半鞅的It^o公式，我们得到了[Z（t）|F（t）]Zth（X（s））ds+ξ（X（t））+Xτi≤tc（X（τi）-), ζi）！=ξ（x）+ZtZs-h（X（u））du+ξ（X（s）-)) +Xτi≤s-c（X（τi）-), ζi）！德[Z（s）| F（s）]+中兴[Z（s）]-) |F（s）-)] ξ′（X（s）-))σ（t，X（t））dW（t）+Zt0+αs-, X（s）-), L（s）-), R（s）-)ds+Xτi≤tβτi，X（τi-), L（τi）-), R（τi）-), ζi.（3.26）通过变量的变化和黎曼积分的连续性，Zt0+α（s-, X（s）-), L（s）-), R（s）-)) ds=Ztα（s，X（s），L（s），R（s））ds。

（3.27）定义（t）：=ξ（x）+ZtZs-h（X（u））du+ξ（X（s）-)) +Xτi≤s-c（X（τi）-), ζi）！德[Z（s）| F（s）]+中兴[Z（s）]-) |F（s）-)] ξ′（X（s）-))σ（X，dwt）。（3.28）等式（3.26）-（3.28）意味着（3.23）成立。将（3.4）代入（3.28），wegetM（t）=ξ（x）+ZtdW（s）“E[Z（s-) |F（s）-)] ξ′（X（s）-))+mXj=1pjZtL（s；u）L（s；uj）λe-λsdsL（t；uj）b（t，X（t）；uj）σ（t，X（t））+e-λtL（t；u）b（t，X（t）；u）σ（t，X（t））Rs-h（X（u））du+ξ（X（s）-))+Xτi≤s-c（X（τi）-), ζi）#.根据引理3.1，M（·）是关于（P，F）-布朗运动W（·）的P-平方可积过程的积分，因此M（·）也是局部（P，F）-马氏体。我们需要证明M（·）是（P，F）-鞅，而不仅仅是局部鞅。必须证明{M（τ）}τ族∈Sis在概率测度P下是一致可积的。通过方程（3.2）和（3.23），M（·）可以用交替的asM（t）=mXj=1表示pjL（t；uj）ZtL（s；u）L（s；uj）λe-λsds+ E-λtL（t；u）！Rth（X（s））ds+ξ（X（t））-Ztαs、 X（s）、L（s）、R（s）ds-Xτi≤tβτi，X（τi-), L（τi）-), R（τi）-), ζi. （3.29）从表达式（3.29），（3.21），（3.22），（2.8）和假设2.2（ii）（iii），我们知道存在一个常数C>0和一个正整数qM（t）≤CPmj=1L（t；uj）R（t；uj）+L（t；u）+RtPmj=1L（s；uj）R（s；uj）+L（s；u）ds！sup0≤s≤对于ll（T，ω），T | X（s）| q（3.30）∈ [0，T]×Ohm. 然后，从引理3.1，我们知道，在概率测度P下，局部鞅M（·）是平方可积的，并且是[0，T]上的D类鞅。后者意味着M（·）是（P，F）-鞅。因为（3.23）和（3.28）中的过程M（·）是（P，F）-马氏过程，它应该从（3.1）的P-期望中消失，只留下半鞅的初值和有限变化部分。

这个属性使引理3.3能够以更方便的方式在（3.1）中写入P-期望。引理3.3适用于任何脉冲控制（τ，ζ）∈ 一、 E“E[Z（T）|F（T）]ZTh（X（T））dt+ξ（X（T））+NXi=1c（X（τI-), ζi）#（3.31）=ξ（x）+E“ZTα（s，x（s），L（s），R（s））ds+NXi=1β（τi，x（τi-), L（τi）-), R（τi）-), ζi）#。证明：这是因为过程（t）=E[Z（t）|F（t）]Zth（X（s））ds+ξ（X（t））-Ztα（s，X（s），L（s），R（s））ds-Xτi≤tβ（τi，X（τi-), L（τi）-), R（τi）-), ζi），0≤ T≤ T（3.32）是引理3.2给出的（P，F）-mart-ingale，因此E[M（T）]=M（0）=ξ（x）。等式（3.31）同样成立。到目前为止，（3.1）中的P-预期奖励已被改写为在时间间隔[0，T]内累积的奖励α和仅在干预时收到的奖励β之和的P-预期，如等式（3.31）所示。Bo t hα和β是过程X（·）、L（·）和R（·）的函数，它们适用于观察过滤F。引理3.4和命题3.1将表明过程（X（·）、L（·）、R（·）的三重构成一个良好的马尔可夫过程，因为它是一个具有局部Lipschitz系数的随机微分方程的唯一强解，并且这个解不会爆炸。引理3.4三重（X（·）、L（·）、R（·））是一个（2m+2）维马尔可夫过程，每个时间间隔[τi，τi+1]，对于i=0，1，·N- 1.证明：表示1=（1，1，··，1）为1的（m+1）维行向量，0=（0，··，0）为0的m维行向量。

在时间间隔（τi，τi+1）内，三重（X（·）、L（·）、R（·））构成（2m+2）维SDE的强解dX（t）=σ（t，X（t））dW（t）；dL（t；uj）=L（t；uj）b（t，X（t）；uj）σ（t，X（t））dW（t），j=0,1，·m；dR（t；uj）=L（t；u）L（t；uj）λe-λtdt，j=1，···，m（3.33），由标准的P-布朗运动W（·）驱动，初始值（X（0），L（0），R（0））=0时的（X，1，0）（3.34），初始值（X（τi），L（τi），R（τi））来自假设2。1（i）（ii）和不等式（2.8），SDE（3.33）的系数是R2m+2的不可压缩子集，局部为Lipschitz。SDE（3.33）有一个独特、强大的解决方案。SDE（3.33）的适定性（相当于相关鞅问题的适定性）暗示了（X（·）、L（·）、R（·））相对于Borelσ的P-强马尔科夫性质-代数F（[34]Stroockand Vara dhan（1997））。但由X（·）产生的过滤F包含在F中，而过程（X（·）、L（·）、R（·））是F自适应的。那么（X（·），L（·），R（·））在概率测度pw下关于F具有stro-ngMarkov性质。命题3.1 SDE（3.33）的解（X（·）、L（·）、R（·））在时间范围内不会爆炸[0，T]。证据：通过定义具有局部Lipschitzcoefficient的SDE的爆炸时间（例如[18]Karat zas and Shreve（1988）第330页），这是引理3.1得出的结论。最终，我们能够在定理3.1中重新表述部分可观测脉冲控制问题（2.17）。在参考概率测度P下，它成为SDE（3.33）中（2m+2）维F-适应状态过程（X（·）、L（·）、R（·））的完全可观测脉冲控制问题。

为了证明这个定理，我们使用方程（2.17），（3.1）和引理3.3。定理3.1物理测量下的脉冲控制问题（2.17）相当于参考概率测量下的脉冲控制问题，通过选择最优（τ*, ζ*) = {(τ*i、 ζ*i） }Ni=1达到最大期望值v:=sup（τ，ζ）∈IE“ZTα（s，X（s），L（s），R（s））ds+NXi=1β（τi，X（τi-), L（τi）-), R（τi）-), ζi）#。（3.35）此外，两个最大预期回报通过V=ξ（x）+V相关联。因为最佳预期值V和变量仅在常数ξ（x）内不同，所以（2.17）和（3.35）中的两个上限通过相同的最优控制集（τ）实现*, ζ*), 如果有的话。脉冲控制问题（3.35）是我们要解决的问题。3.2参考概率测量下的解本小节将通过表示最优控制（τ）来解决脉冲控制问题（3.35）*, ζ*) 在命题3.2中，关于价值函数和状态过程。这种表示的基础是引理3.5的动态编程原理。为了满足命题3.2的斯奈尔包络图的技术条件，在表3.6中提供了值函数的连续性。为了保存符号，首先引入了一些缩写。我们用溶质n（X（·）、L（·）、R（·））的范围及其边界asQ表示：=[0，T]×O和*Q:={T}×O.（3.36）不同参数b（·，·；u）和σ（·，·）的状态空间不同。在不损失一般性的情况下，研究与脉冲控制问题有关的变分不等式应在最大可能域上进行，其中isO=R×（0，∞)m+1×[0，∞)m、 （3.37）对于每n=1，2，·表示有界域：=(-n、 n）×n、 nm+1×[0，n）m O R2m+2。（3.38）表示为“On”的On的关闭严格包含在O中。

作为n→ ∞ , 集合n增加到O，因此集合Qn:=[0，T]×增加到Q。我们引入了abrevision=（x，l，l，··，lm，r，··，rm），（3.39）bY（T，y）=0,0,0，··，0，llλe-λt，··，llmλe-λt, （3.40）σY（t，Y）=σ（t，x），lb（t，x；u）σ（t，x），lb（t，x；u）σ（t，x），··，lmb（t，x；um）σ（t，x），0，··，0, （3.41）和Γ（y，z）=（x+γ（x，z），l，r），（3.42）表示所有（t，y）=（t，x，l，r）。使用这种符号，SDE（3.33）可以以向量形式书写，SDE（3.33）具有唯一的强溶解度（·）=（x（·），l（·；u），l（·；u），l（·；um），r（·；um）），（3.43）dY（t）=bY（t，Y（t））dt+σY（t，Y（t））dW（t），τi<t<τi+1；Y（τi）=Γ（Y（τi）-), ζi），对于i=1，2，··，N.（3.44），这里的初始值是y（0）=（x，1，0），（3.45），W（·）是标准的P-布朗运动。在缩写符号中，等式（3.46）中的最大预期报酬可以写成v=sup（τ，ζ）∈IE“ZTα（s，Y（s））ds+NXi=1β（τi，Y（τi-), ζi）#。（3.46）本节其余部分将使用上述缩写符号。引理3.5动态规划原理。为了一个纽约k∈ {1,2，···，N}和任何0≤ T≤ T，le T It，kbe容许干涉集{（τi，ζi）}Ni=N- k+1等于τN-k+1≥ T

假设状态进程的当前值Y（t）=Y∈ O.存在确定性可测函数v，v，··，vN:Q→ R、 使得vk（t，y）=esssup{（τi，ζi）}Ni=N-k+1∈它，kE“ZTtα（s，Y（s））ds+NXi=N- k+1β（τi，Y（τi-), ζi）F（t）#，（3.47）对于k=1，··，N，和v（t，y）=EZTtα（s，Y（s））dsF（t）.（3.48）值函数v，···，vn满足动态规划原则k（t，y）=ess sup（τN-k+1，ζN-k+1）∈它，1E“ZτN-k+1tα（s，Y（s））ds+β（τN-k+1，Y（τN）-k+1-), ζN-k+1）+vk-1（τN）-k+1，Γ（Y）（τN-k+1），ζN-k+1）F（t）#。（3.49）证明：函数v，v，···，vn的存在来自于引理3.4中状态过程Y（·）的马尔可夫结构。为了证明方程（3.49），fix a arbia r y k∈ {1，2，··，N}，一个任意yt∈ [0，T]和任意容许干涉{（τi，ζi）}Ni=N- k+1∈ 它，k，我们表示ak（t）：=ZτN-k+1tα（s，Y（s））ds+β（τN-k+1，Y（τN）-k+1-), ζN-k+1）；Bk:=ZTτN-k+1α（s，Y（s））ds+NXi=N- k+2β（τi，Y（τi-), ζi）。（3.50）ThenE“ZTtα（s，Y（s））ds+NXi=N- k+1β（τi，Y（τi-), ζi）F（t）#=EAk（t）+E[Bk | F（τN）-k+1）]F（t）.（3.51）一方面，取上确界（τN）-k+1，ζN-k+1）∈ 它在他们的两面Ak（t）+E[Bk | F（τN）-k+1）]F（t）≤ E[Ak（t）+vk-1（τN）-k+1，Γ（Y）（τN-k+1），ζN-k+1）|F（t）]（3.52）显示vk（t，y）小于或等于（3.49）的右手侧。另一方面，不等式vk（t，y）≥ EAk（t）+E[Bk | F（τN）-k+1）]F（t）（3.53）暗示vk（t，y）≥ E[Ak（t）+vk-1（τN）-k+1，Γ（Y）（τN-k+1），ζN-k+1）|F（t）]（3.54），因此vk（t，y）大于或等于F（3.49）的右侧。参见[13]Fleming&Soner（1993），[21]Krylov（1980）或[30]Pham（2009），了解动态编程原理的详细说明。引理3.6在（3.47）和（3.48）中定义的值函数v，v，··，vn在（t，y）中重新连续∈ Q

在紧集上，它们承认连续模ωn:[0，∞) → [0, ∞), 对所有0≤ T≤ T，意思是| vk（T，y）-vk（t，y）|≤ ωn（| | y）-y | |），代表所有人（t，y），（t，y）∈ [0，T]×”打开。（3.55）证明：通过SDE解的连续性（库尼塔[22]第229页第二章定理5.2），以及假设2.2（iii）中给出的函数γ的连续性，受控SDE（3.33）的唯一强解在其初值（t，Y（t））=（t，Y）中是连续的∈ Q.我们还将使用方程（3.21）和（3.22）中函数α和β的连续性、假设2.2（ii）（iii）和一致可积引理3.1。归纳性地应用命题证明2。2在[16]Jaillet，Lamberton和Lapeyre（1990）到vk中，对于k=0，1，···，N，我们知道值函数v，v，··，vn在（t，y）中是连续的∈ Q.受紧集Qn=[0，T]×”on的限制，值函数v，v，··，vn在（T，y）中一致连续∈ Qn，因此它们承认空间变量y中的连续模ω∈“来吧，尽管如此”∈ [0，T]。域Q上所有连续函数的集合，其允许紧集中所有0的连续模ωnY≤ T≤ T被命名为C（Q；ωn）。这就是引理3.6中描述的一组性质。然后，最佳脉冲控制根据价值函数sv、v、·vN和三重函数（X（·）、L（·）、R（·））=Y（·）获得。（3.33）中过程的三重（X（·）、L（·）、R（·））=Y（·），可被视为优化问题（2.17）的“有效统计数据”，该三重（X（·）、L（·）、R（·））=Y（·），适用于观察结果X（·）生成的过滤F。