最优跟踪的渐近下界：一个线性规划

此外，我们还解释了为什么A和Bare的这些特殊选择与布朗运动的正则和奇异/脉冲控制相结合。例4.1（布朗运动的规则控制和脉冲控制相结合）。设D=C（Rd）⊕兰德公司定义A:D→ C（E×U）和B:D→ C（E×V）byAf（x，u）=Xi，jaijijf（x）+hu，f（x）i，（4.2）Bf（x，ξ）=f（x+ξ）- f（x）。（4.3）这里E=Rdx，U=rdu，V=Rdξ\\{0ξ}。我们把这个鞅问题的任何解称为布朗运动的正则控制和脉冲控制的组合。实际上，请考虑以下过程xt=X+√aWt+Ztusds+X0<τj≤tξj，具有（ut）一个渐进可测过程，（τj）一个停止时间序列和（ξj）一个Fτj-可测随机变量序列。definent=Xj{τj≤t} ，ξt=ξj，t∈ （τj）-1，τj]。那么对于任何f∈ D、 由o的公式，f（Xt）-ZtAf（Xs，美国）ds-ZtBf（Xs）-, ξs-)dNs=f（X）-Ztf（Xs）T√adWs，这是一个鞅。设∧t=δut（du），Γ（H×[0，t]）=ZtH（Xs）-, ξs-)dNs，H∈ B（Rdx×Rdξ\\{0ξ}）。然后（X，λ，Γ）用初始分布L（X）求解鞅问题（A，B）。例4.2（布朗运动的规则控制和奇异控制相结合）。以D=C（Rd）为例⊕R和def（x，u）=Xi，jaijijf（x）+hu，f（x）i，（4.4）Bf（x，γ，δ）=（hγ，f（x）i，δ=0δ-1.f（x+Δγ）- f（x）, δ > 0.（4.5）这里E=Rdx，U=rdu，V= ×R+δ。这个鞅问题的任何解都称为布朗运动的正则控制和奇异控制的组合。事实上，让X由xt=X表示+√aWt+Ztusds+Ztγsd~ns，u是一个逐步可测量的过程，γs∈  和~nsnon减少。根据它的公式，wehavef（Xt）-ZtAf（Xs，美国）ds-ZtBf（Xs）-, γs，Δ~ns）d~ns=f（X）-Ztf（Xs）T√adWs，它是任意f的鞅∈ D

设∧t=δut（du），Γ（H×[0，t]）=ZtH（Xs）-, γs，Δ~ns）d~ns，H∈ B（Rdx×） x R+δ）。然后（X，λ，Γ）求解初始分布为L（X）的鞅问题（A，B）。4.2布朗运动的时间平均控制现在，我们根据受控鞅问题建立了布朗运动的时间平均控制问题的放松版本。这将[20,33]推广到鞅问题的正则控制和奇异/脉冲控制，另见[36]。回想一下，A和B是两个运算符，其中A:D Cb（E）→ C（E×U）和B:D Cb（E）→ C（E×V）。考虑两个成本函数CA:E×U→ R+和CB:E×V→ R+。定义4.2（时间平均控制问题的鞅公式）。鞅公式下的时间平均控制问题由im=inf（X，λ，Γ）lim-supt给出→∞tEZtZUCA（Xs，u）∧s（du）ds+ZE×V×[0，t]CB（x，V）Γ（dx×dv×ds）, （4.6）如果inf接管了鞅问题（A，B）的所有解，且具有任何初始分布ν∈ P（E）。现在，让（X，λ，Γ）是带有算子A和B的鞅问题的任何解。定义（ut，ρt）∈ P（E×U）×M（E×V）asut（H）=tEhZtZUH（Xs，U）∧s（du）dsi，（4.7）ρt（H）=tEΓ（H×[0，t]）, （4.8）对于H∈ B（E×U）和H∈ B（E×V）。然后，到时间t in（4.6）的平均成本可以表示为ZE×UCA（x，u）ut（dx×du）+ZE×VCB（x，v）ρt（dx×dv）。另一方面，对于f∈ D、 （4.1）定义鞅。根据这个期望，我们得到了ztZuaf（Xs，u）∧s（du）ds+ZE×V×[0，t]Bf（x，V）Γ（dx×dv×ds）i=tE[f（Xt）- f（X）]。如果x是静止的，我们有ZE×UAf（x，u）ut（dx×du）+ZE×VBf（x，v）ρt（dx×dv）=0。让t趋于一致，这就引出了下面的线性规划问题。定义4.3（时间平均控制的线性规划（LP）公式）。

LP公式下的时间平均控制问题由IP=inf（u，ρ）c（u，ρ），（4.9）和c:P（E×U）×M（E×V）给出→ R+（u，ρ）7→ZE×UCA（x，u）u（dx×du）+ZE×VCB（x，v）ρ（dx×dv），（4.10），其中inf在所有u上计算∈ P（E×U）和ρ∈ M（E×V）满足约束条件tze×UAf（x，u）u（dx×du）+ZE×VBf（x，V）ρ（dx×dv）=0，F∈ D.（4.11）我们现在给出了连接线性规划和布朗运动时间平均控制的定理。定理4.1（I和IP之间的等价性）。假设1。（关于运算符A和B的条件）运算符A和B满足[35]中的条件1.2。特别是存在ψA∈ C（E×U），ψB∈ C（E×V），常数af，bf取决于f∈ D使得| Af（x，u）|≤ afψA（x，u），|Bf（x，v）|≤ bfψB（x，v），十、∈ E、 u∈ U、 五∈ V.（4.12）2。（关于代价函数CA的条件）代价函数cai是非负且inf紧的，即{（x，u）∈ E×U | CA（x，U）≤ c} 是每个c的紧凑集∈ R+。特别是，CAis下半连续。3.（关于成本函数CB的条件）成本函数CB是非负且下半连续的。此外，CBsatis FIESINF（x，v）∈E×VCB（x，v）>0。(4.13)4. （算符与代价函数的关系）存在常数θ和0<β<1，例如ψA（x，u）1/β≤ θ1+CA（x，u）, ψB（x，v）1/β≤ θCB（x，v），（4.14）表示ψa和由（4.12）驱动的ψb。那么时间平均控制问题的上述两个公式在sensethatIM=IP中是等价的。因此，我们为IMand和IP编写I。证据证明的思想与[33]中的相同，其关键成分由[35，定理1.7]提供。我们首先展示了IP≤ 感应电动机。给定鞅问题的任何解（X，λ，Γ），我们将占用测度定义为（4.7）和（4.8）。

在不失去普遍性的情况下，我们可以假设Lim supt→∞c（ut，ρt）<∞ 式中，c在（4.10）中定义（否则我们的IM=∞ ≥ IP）。我们将展示IP≤ 林监督→∞c（ut，ρt）。我们考虑一点比较E×V=E×V∪ {∞ = （十）∞, 五、∞)} 并将cbe×V扩展到byCB（x∞, 五、∞) = lim-inf（x，v）→（十）∞,五、∞)CB（x，v）>0，其中最后一个不等式由（4.13）保证。由于Cb是下半连续的，水平集{（x，v）∈ E×V | CB（x，V）≤ c} 它们很紧凑。利用引理C.1，我们推导出C是P（E×U）×M（E×V）上的紧度函数。因此，职业指标族（ut，ρt）t≥如果ρ被视为E×V上的一个度量值，则为0。因此，用t表示的职业测量族是相对紧凑的。Let（u，ρ）∈ P（E×U）×M（E×V）是（ut，ρt）的任意极限点，正则分解为ρρ=ρ+θρδ∞. 我们认为（u，ρ）满足线性约束（4.11）。事实上，通过（4.12）和（4.14），我们得到了| Af | 1/β≤ θf（1+CA），|Bf | 1/β≤ θfCB，其中θfis是一个依赖于f的非负实数。然后suptc（ut，ρt）<∞ 这意味着af和Bf对于u和ρ是一致可积的。因此，我们有ZE×UAfdu+ZE×VE×VBf d′ρ=limt→∞ZE×UAfdut+ZE×VE×VBf dρt。右手边等于零，我们得到ZE×UAfdu+ZE×VBf dρ=0。由于Ca和Cb是下半连续的，因此（见[13，定理A.3.12]）IP≤ c（u，ρ）≤ c（u，ρ）≤ lim inft→∞c（ut，ρt）≤ 林监督→∞c（ut，ρt）。由于受控鞅问题（X，λ，Γ）解的选择是任意的，我们得出结论：IP≤ 感应电动机。我们现在展示IM≤ IP。给定满足线性约束（4.11）的任何（u，ρ），使得C（u，ρ）<∞, [35]中的定理1.7以及算子A和B上的条件，证明了带边值（u，ρ）的鞅问题（A，B）的平稳解（X，λ，Γ）的存在性，因此≤ IP。备注4.1。

与[7,33]中的结果相比，奇异分量不需要近似单调条件。这是因为在线性约束（4.11）中，ρ小于M（E×V），而不是P（E×V）。现在我们给出IP=IM的自然示例。推论4.1（二次成本布朗运动的时间平均控制）。假设cai由ca（x，u）=rhx，∑Dxi+lhu，∑Qui给出，（x，u）∈ Rdx×Rdu，（4.15），其中∑D，∑Q∈ S+d。那么对于以下两种情况，我们有IM=IP:1。算子A和B由（4.2）-（4.3）给出，代价函数cb由cb（x，ξ）=kdXi=1Fi{ξi6=0}+hhP，|ξ| i，（x，ξ）给出∈ Rdx×Rdξ\\{0ξ}，（4.16），miniFi>0.2。算子A和B由（4.4）-（4.5）给出，代价函数cb由ca（x，γ，δ）=hhP，|γ| i，（x，γ，δ）给出∈ Rdx× x R+δ（4.17），miniPi>0。证据我们考虑冲动的情况。首先，我们证明A和B满足[35，条件1.2]。（i） 很明显∈ D、 ARd=0，BRd=0。（ii）定义ψA（x，u）=1∨dXi=1 | ui |，ψB（x，ξ）=1，则（4.12）是满足的。（iii）由于C（Rdx）与k·kc是可分离的，第三个条件是满足的。（iv）Auf（x）=Af（x，u）和Bξf（x）=Bf（x，ξ）满足正最大原理，因此它们是耗散的。很明显，他们证实了[35，（1.10）]。因此，他们是预产生者。（v） 显而易见。第二，由于CAA和CBA均为l.s.c.且miniFi>0，因此CAA和CBA上的条件得到验证。第三，β=1/2时，（4.14）保持不变。对于单数情况的证明是相似的。请注意，miniPi>0对于（4.13）和（4.14）中的第二个边界保持不变是必要的。4.3维度1中的显式示例我们在这里收集了维度1中可获得显式解决方案的全面示例列表。

这些结果中的大多数已经存在于经典SDE公式下的文献中（参见示例[2,12,15,20,22,23,24,42,51]），但示例4.6和4.7首次出现在这里。其基本思想是明确解决与时间平均控制问题对应的HJB方程，并应用验证定理。类似的方法适用于线性规划框架。然而，为了完整性，我们在第8节中提供了针对线性规划公式的详细证明。事实上，我们只证明了规则控制和脉冲控制相结合的情况，即例4.6。其他示例的屋顶类似，因此省略。例4.3（布朗运动的规则控制）。设r，l>0，考虑以下线性规划问题i（a，r，l）=infuZRx×Ru（rx+lu）u（dx，du），（4.18），其中u∈ P（Rx×Ru）满足Zrx×Ruaf（x）+uf（x）u（dx，du）=0，F∈ C（Rx）。（4.19）根据推论4.1，这相当于定义4.2意义上的二次成本布朗运动的时间平均控制。让我们以启发式的方式解释如何获得最优解（第8节提供了线性规划公式的严格验证论证）。大致来说，定义4。2描述了以下DynamicSxut=√adWt+utdt。优化目标isinf（ut）∈阿利姆·苏普特→∞TEhZT（r（Xut）+lut）dti，其中容许控制集合A包含所有渐进可测量过程（ut），如HTHATLIM supT→∞E[（XuT）]<∞考虑相关的HJB等式infu∈Ruaw（x）+uw（x）+lu+rx- IV=0，其中常数IV必须作为溶液的一部分找到。

很容易找到显式解（另见[42，方程（3.18）]）：w（x）=√rlx，IV=√阿尔。现在，让（ut）成为一个容许控制，并将它的公式应用于w（XT）：w（XT）=w（X）+ZTaw（Xt）+utw（Xt）dt+ZTw（Xt）载重吨。接下来是zt（rXt+lut）dt≥ZT四、-aw（Xt）- utw（Xt）dt（4.20）=T IV+w（X）- w（XT）+ZTw（XT）载重吨。取期望值，两边除以T，利用可容许性条件，我们得到lim-supT→∞TEhZT（rXt+lut）dti≥ 四、 要证明IVis确实是最佳成本，就足以证明（4.20）中的等式成立。对于U给出的最优反馈控制*（x） =-w（x）2l=-θx，θ=rrl。因此，最佳控制过程是Ornstein-Uhlenbeck过程*=√adWt- θX*tdt。自然地，（X）的平稳分布*, U*（十）*t） ）答案是什么*关于线性规划问题。我们得到以下结果。提议4.1。（4.18）-（4.19）的解由i（a，r，l）给出=√arl，并通过u获得最佳值*（dx，du）=√2πσe-x2σdx δ{-θx}（du），其中σ=a2θ，θ=rrl。例4.4（布朗运动的奇异控制）。对于任何参数r，h>0，考虑以下线性规划问题i（a，r，h）=inf（u，ρ）ZRxrxu（dx）+ZRx×{±1}×r+δh |γ|ρ（dx，dγ，dδ），（4.21），其中u∈ P（Rx）和ρ∈ M（Rx×{±1}×R+δ）满足yzrxaf（x）u（dx）+ZRx×{±1}×R+δγf（x）ρ（dx，dγ，dδ）=0，F∈ C（Rx）。（4.22）根据推论4.1，这相当于定义4.2意义上的具有二次偏差惩罚和比例成本的布朗运动的时间平均控制。受控鞅问题解的动力学是启发式的=√adWt+γtdаt，其中γt∈ {±1}和ν是一个非递减过程。

优化目标是isinf（γt，φt）∈阿利姆·苏普特→∞TEhZTrXtdt+hаTi。相关的HJB方程为（aw（x）+rx- （四）∧ （infγ）∈{x}（h）＝γ+1。[51]中给出了w的显式解（另见[12,24,30]）：w（x）=Ax+Bx，-U≤ 十、≤ U、 w(-U） +h(-U- x） ，x<-U、 w（U）+h（x）- U） ，x>U，（4.23）带a=-ra，B=Ia，andI=（ar1/2h）2/3，U=（ar）-1h）1/3。最优控制过程isdX*t=√adWt+d~n-T- d k+t，其中k±是当地时间X*T∈ [-U、 这样zt{X*s6=-U} d~n-s+Zt{X*s6=U}d~n+s=0。换句话说，这是一个布朗运动，在区间上有反射[-U、 U]。最佳解决方案（u）*, ρ*) 是X的平稳分布*tand边界测量的极限zt（δ（U，-1,0）dа+s+δ(-U、 1,0）dа-s） ，作为t→ ∞. 我们得到以下结果。提议4.2。（4.21）-（4.22）的解由i（a，r，h）=（ar1/2h）2/3给出。并通过u获得最佳值*（dx）=2U[-U、 U]（x）dx，（4.24）ρ*（dx，dγ，dδ）=a2Uδ(-U、 1,0）+δ（U，-1,0), （4.25）式中u=（ar）-1h）1/3。例4.5（布朗运动的脉冲控制）。对于任何参数r，k>0和h≥ 0，考虑以下线性规划问题（a，r，k，h）=inf（u，ρ）ZRxrxu（dx）+ZRx×rξ\\{0ξ}（k+h |ξ|）ρ（dx，dξ），（4.26），其中u∈ P（Rx）和ρ∈ M（Rx×Rξ\\{0ξ}）满足yzrxaf（x）u（dx）+ZRx×Rξ\\{0ξ}f（x+ξ）- f（x）ρ（dx，dξ）=0，F∈ C（R）。（4.27）根据推论4.1，这相当于定义4.2意义上的布朗运动的时间平均控制问题。相关的HJB方程为（参见[2,12,15,23]）（aw（x）+rx- （四）∧ （infξ）∈Rξ\\{0ξ}（w（x+ξ）+k+h |ξ|）- w（x））=0。设θ，θ和0<ex*< 十、*下列多项式系统的be解6aθ+r=0，P（x*) - P（前*) = k+h（x）*- 前任*),P（x）*) = h、 P（前*) = h、 式中P（x）=θx+θx。设U=x*. 我们可以证明HJB方程的解由w（x）=（P（x），|x|给出≤ U、 w（U）+h（|x|）- U） ，|x |>U，andIV=aθ。让ξ*= 十、*-前任*.

最优控制过程是区间上的布朗运动[-U、 U]，跳到±Uξ*当到达边界点±U时。此类过程已在[5,16]中研究过。我们得到以下结果。提案4.3。（4.26）-（4.27）的解由i（a，r，k，h）=aθ给出，最佳值由u得到*= p（x）dx，p（x）=（十）*)-（例如*)（x+x）*), -十、*≤ x<-前任*,十、*+前任*, -前任*≤ 十、≤ 前任*,（十）*)-（例如*)（十）*- x） ，前*< 十、≤ 十、*,(4.28)ρ*=a（x）*)- （例如*)（δ（x）*,前任*-十、*)+δ(-十、*,-前任*+十、*)). （4.29）对应于布朗运动的平稳分布和边界测度，在区间上从边界开始跳跃[-U、 U]。例4.6（布朗运动的规则控制和脉冲控制相结合）。对于任何参数sr、l、k>0和h≥ 考虑以下线性规划问题（a，r，l，k，h）=inf（u，ρ）ZRx×Ru（rx+lu）u（dx，du）+ZRx×rξ{0ξ}（k+h|ξ|）ρ（dx，dξ），（4.30）式中u∈ P（Rx×Ru）和ρ∈ M（Rx×Rξ\\{0ξ}）满足yzrx×Ruaf（x）+uf（x）u（dx，du）+ZRx×Rξ\\{0ξ}f（x+ξ）-f（x）ρ（dx，dξ）=0，F∈ C（R）。（4.31）根据推论4.1，这相当于定义4.2意义上的布朗运动的时间平均控制问题。相应的HJB方程为（aw（x）+infu（uw（x）+lu）+rx- （四）∧infξ（w（x+ξ）+k+h|ξ）- w（x）= 在第8节中，我们证明了这个方程允许经典解W（x）=（rl）1/2x- 2al lnF（1-ι;;拉尔1/2x），|x |≤ U、 w（U）+h（|x|）- U） ，|x |>U，（4.32），其中f是Kummer对流超几何函数（见A节）和ξ*U等于0<ξ*< U和W（±U ξ*) + k+h |ξ*| - w（±U）=0。此外，IV=ιa√rl，对一些人来说ι∈ (0, 1).让你*被定义为asu*（x） =ArgminuAw（x，u）+CA（x，u）=-w（x）2l。最优控制过程由DX给出*t=√adWt+u*（十）*t） dt+dXτj≤T{X*τj-=-U} ξ*-{X*τj-=U} ξ*.我们得到以下结果。提案4.4。

（4.30）-（4.31）的解由i（a，r，l，k，h）=ιa给出√rl，通过（u）获得最佳值*, ρ*) 在哪里*（dx，du）=p*（x） dx δu*（x） （du），ρ*（dx，dξ）=（ρ*-δ(-U、 ξ*)+ ρ*+δ（U，-ξ*))（dx，dξ），带p*（十）∈ C（[L，U]）∩ C（[L，U]\\{L+ξ）*（五十） ，U+ξ*（U） }）解决美联社（x）- （u）*（x） p（x））=0，x∈ (-U、 U）\\{-U+ξ*, U- ξ*},p(-U） =p（U）=0，ap((-U） +）=p((-U+ξ*)-)) -a（p((-U+ξ*)+),ap（美国）-) = p（（U）- ξ*)+)) -a（p）（U- ξ*)-),汝-上（x）=1，和ρ*-, ρ*+∈ R+由ρ给出*-=美联社((-U） +），ρ*+= -ap（美国）-).请注意*和ρ*最优控制过程的平稳分布和边界测度是X吗*t、 例4.7（布朗运动的规则控制和奇异控制相结合）。对于任何参数R，l，h>0，考虑以下线性规划问题i=inf（u，ρ）ZRx×Ru（rx+lu）u（dx，du）+ZRx×{±1}×R+δh |γ|ρ（dx，dγ，dδ），（4.33），其中u∈ P（Rx×Ru）和ρ∈ M（Rx×{±1}×R+δ）满足yzrx×Ruaf（x）+uf（x）u（dx，du）+ZRx×{±1}×R+Δγf（x）（dx，dγ，dδ）=0，F∈ C（Rx）。（4.34）根据推论4.1，这相当于定义4.2意义上的布朗运动的时间平均控制问题。常数伊万德w:R→ R的表达式与例4.6中的表达式相同。类似地，我们得到了以下结果。提案4.5。（4.33）-（4.7）的解由i=a给出√rl，通过（u）获得最佳值*, ρ*) 在哪里*（dx，du）=p*（x） dx δu*（x） （du），ρ*（dx，dγ，dδ）=（ρ*-δ(-U、 1,0）+ρ*Uδ（U，-1,0）（dx，dγ，dδ），带p*（十）∈ C([-U、 （U）解决方案美联社（x）- （u）*（x） p（x））=0，x∈ (-U、 U），ap（x）+U*（x） p（x）=0，x∈ {-U、 U}，RU-上（x）=1，（4.35）和ρ*-, ρ*+∈ R+由ρ给出*-=美联社(-U） ，ρ*+=美联社（U）。（4.36）备注4.2（高维示例）。