一个非凸奇异随机控制问题及其最优解

然而，在某些情况下（包括凸面或凹面SSC问题），结果表明（1.9）中的终止时间没有达到，应该正式取τ=+∞: 很明显，在这些情况下，命题1.2这样的等价性不会为问题的分析增加洞见。相比之下，我们在下面展示，根据通过（1.7）引入的数量^c，（1.9）中的控制和停止策略可能通过两个自由边界的相互作用发挥微不足道或非平凡的作用。对这两个自由边界相互作用的完整分析超出了本文的范围，这是一个具有挑战性的开放问题（第4节讨论）。2案例^c≤ 0在本节中，我们确定了在燃料有限的单调跟随器型凸问题（参见[16]、[25]和[26]）中已知的SSC和最优停止之间的差异关系在我们的非凸问题中何时成立。在这种情况下，如上所述，应正式设置τ*= +∞ 在（1.9）中。我们发现，当k（c）>0（参见（1.6））时，所有c的差异关系成立∈ [0,1]或者，等价地，当^c<0时：在这种情况下，（1.2）中的值函数的导数（关于c，控制变量的方向）由下面解决的最优停止问题族的值函数和最优控制向量给出*是反射型，是保持（最佳）受控状态变量Cc，ν的最小影响*在相应的非恒定自由边界上方。^c=0的情况类似，见备注2.3.2.1最佳停止问题的相关家族我们预期与控制问题（1.2）自然相关的有限时间范围最佳停止问题家族由v（x；c）：=supσ给出≥0E- E-λσXxσ+Zσe-λsλXxsΦ（c）ds, C∈ [0,1]，（2.1）非凸奇异随机控制6，其中上确界覆盖所有P-a.s。

有限停车时间σ（例如，参见[16]、[24]或[25]等）。对于c的任何给定值∈ [0,1]，（2.1）是一个一维最优停止问题，可以通过各种成熟的方法来解决。当c变化时，问题（2.1）的最佳停止边界点将用于构造问题（1.2）作用域的候选最佳边界，如引言中所述，因此，我们将要求该自由边界曲线具有充分的单调性和正则性，以验证其最优性。负（x；c）：=u（k（c）- θ） λ+k（c）（x）- u）λ+θ（x，c）∈ R×[0,1]，（2.2）x（c）：=-θΦ（c）k（c）>0，c∈ [0,1]（2.3）并假设LXf（x）：=σf（x）+θ（u）- x） f（x），代表f∈ Cb（R）和x∈ R.（2.4）下一个定理在附录C.1中得到证明，并提供了（2.1）中v和相关最佳停车边界的特征。定理2.1。对于每个给定的c∈ [0，1]一个人有v（x；c）=-x+u（x；c），其中u（x；c）：=（G（x；c）-G（β）*（c） )；c） φλ（β）*（c） φλ（x），x>β*（c） 0，x≤ β*（c） （2.5）对于φλ，LXf=λf（参见附录（B-2））和β的严格递减基本解*（c）∈ (-∞, 问题的唯一解决方案：发现∈ R:Gx（x；c）-G（x；c）φλ（x）φλ（x）=0。（2.6）此外*:= inf{t≥ 0:Xxt≤ β*（c） }（2.7）是（2.1）和C7中的最佳停止时间→ β*（c） 严格递减，如果^c<1，则为Con[0,1]。备注2.2。边界的单调性对下面的验证定理至关重要，它是通过微分X（通过函数φλ）和余函数的特殊性质得到的。就我们所知，在这种非凸环境下，无论是通过概率方法还是分析方法，都无法提供更广泛类别差异的此类一般结果；需要进行个案研究。

事实上，我们注意到，在[13]中，在与当前设置类似但X选择不同的情况下，控制问题的作用和不作用区域的几何结构是相当不同的。备注2.3。在^c=0（参见（1.7））的情况下，只有β*∈ C（（0，1]），如factlimc↓^cβ*（c） =+∞ 以及它的衍生物。接下来注意到y=β*（c） 在（2.6）中，并作为c传递到极限↓ ^c，如果limc↓^cβ*（c） =`+∞ 人们会发现一个矛盾。对于c=^c，问题（2.1）的最佳停止时间为σ*= 0代表任何x∈ R.非凸奇异随机控制72.2随机控制问题的解决方案在本节中，我们的目标是通过从最优停止问题（2.1）（另见（C-1））的解决方案开始，并猜测奇异随机控制的经典联系成立，从而提供有限燃料奇异随机控制问题（1.2）的解决方案。根据定理2.1我们知道C7→ β*（c） 是严格递减的，所以有一个严格递减的倒数。我们没有*（x） :=1，x≤ β*(1)β-1.*（x） ，x∈ (β*(1), β*（0）0，x≥ β*(0).（2.8）显然是g*: R→ [0,1]是连续的且在减少。此外，由于β*∈ Cβ*< 0（参见定理2.1），然后是g*它几乎无处不在，而且是有界的。定义函数f（x，c）：=-Zcv（x；y）dy=x（1）- c）-Zcu（x；y）dy.（2.9）我们期望F（x，c）=U（x，c）对于所有（x，c）∈ R×[0,1]，其中U在（1.2）中定义。提议2.4。（2.9）中的函数F（x，c）为x7→ F（x，c）是凹的，F∈C2,1（R×[0,1]）和以下界限成立F（x，c）+Fc（x，c）≤ C（1+| x |），n，外汇（x，c）+Fxx（x，c）≤ C（2.10）表示（x，C）∈ R×[0,1]和一些正常数的证明。在这个证明中，我们通常会参考附录C.1中定理2.1的证明。回想一下（2.5）和uβ*≡ u（参见定理2.1）。（2.9）中F的凹度很容易通过观察x 7得到→ u（x；c）是凸的（cf。

同样是定理2.1）。从（2.2）和（2.5）中也很容易验证，对于合适的连续函数A、B和P，u的形式为u（x；c）=A（c）P（x）+B（c），因此（x，c）7→ F（x，c）在R×[0，1]和c7上是连续的→ Fc（x，c）在[0，1]上也是连续的。从uβ的定义*（参见（2.5）），（2.6），uβ的凸性*β的连续性*对于x，这是一个很好的验证∈ K R、 K有界，|ux |和|uxx |至少由函数QK（c）有界∈ L（0，1）。因此，计算fx和fxOne可以通过（2.9）中积分的导数，从而得到fx（x，c）=（1）- c）-Zcux（x；y）dy=（1）- c）-Zg*（十）∨cux（x；y）dy（2.11）和fxx（x，c）=-Zcuxx（x；y）dy=-Zg*（十）∨cuxx（x；y）dy.（2.12）因此F∈ C2,1by（2.5），（2.6），u的凸性（参见定理2.1）和g的连续性*（·）（参见（2.8））。现在回想一下，φλ（x）及其所有导数在x时都为零→ ∞ 和（2.8）。然后，从（2.5）、（2.9）、（2.11）和（2.12）中得出界限（2.10）。根据随机控制的标准理论（例如，见第八章[20]），我们期望（1.2）的值函数U与汉密尔顿-雅可比伯曼（HJB）方程的适当解w一致{-LXw+λw- λxΦ（c），-厕所- x} =0表示a.e.（x，c）∈ R×[0,1]。（2.13）回顾命题2.4。非凸奇异随机控制2.5。适用于所有人（x，c）∈ R×[0，1]我们知道F是（2.13）的经典解。证据首先我们观察到（2.2）和（2.9）giveF（x，c）=Φ（c）+（x）- u）λΦ（c）λ+θ+φλ（x）ZcG（β）*（y） )；y） φλ（β）*（y） ）D代表所有c>g*（x） （2.14）对于任何固定c∈ [0,1]和x∈ R使得Fc（x，c）>-x、 即c>g*（x） （参见（2.9）），一个人有（LX- λ） F（x，c）=-λΦ（c）xby（2.14）。另一方面，对于任意（x，c）∈ R×[0，1]我们注意到（LX- λ） F（x，c）=（1）- c） （θu）- （λ+θ）x）-Zc（LX）- λ） u（x；y）dyby（2.11）和（2.12）。

现在，回忆（C-12）一个hasZc（LX）- λ） u（x；y）dy≤Zc[θu- k（y）x]dy=[θu- （λ+θ）x]（1）- c） +λΦ（c）x，自θu起- k（c）x≥ 当Fc（x，c）=-x、 即c<g*（x） ，作者（C-13）。然后（LX- λ） F（x，c）≥ -λΦ（c）x表示所有（x，c）∈ R×[0,1]。我们现在的目标是提供一个候选的最优控制策略*问题（1.2）。让（x，c）∈ R×[0,1]并考虑过程ν*t=hg*inf0≤s≤tXxs- ci+，t>0，ν*= 0，（2.15）带g*如（2.8）和[·]+所示，表示积极的部分。提议2.6。过程ν*of（2.15）是一个可容许的控制。证据固定ω∈ Ohm 和回忆（1.5）。定义t 7→ ν*t（ω）明显地在增加，比如cc，ν*t（ω）≤ 1.对于任何t≥ 0，从0开始≤ G*（十）≤ 1，x∈ R.地图X7→ G*（x） 是连续的，那么t7→ ν*t（ω）是连续的，除了t=0时可能的初始跳跃外，由pathst 7的连续性决定→ Xxt（ω）。证明这一点*∈ 因此，Scit仍需证明*是《金融时报》改编的。为此，首先要注意g的连续性*（·）也意味着它的Borel可测性，因此过程g的渐进可测性*（二十）。然后呢*自g*inf0≤s≤tXxs=sup0≤s≤甘油三酯*（Xxs），通过g的单调性*, 根据[14]，定理IV.33。因此ν*是《金融时报》改编的。为了证明ν的最优性*我们将介绍动作和不动作setsC：=（x，c）：Fc（x，c）>-十、D：=（x，c）：Fc（x，c）=-十、, 分别为（2.16）和（x，c）∈ R×[0,1]。它们与（C-2）中定义的集合之间的联系可以通过说明Fc=u来明确。附录C.2证明了以下命题，这在一定程度上是标准的（参见[27]、第210页和[36]页，作为该主题的经典参考）。提议2.7。让C*t:=Cc，ν*t=c+ν*t、 用ν*如（2.15）所示。然后呢*解决了Skorokhodproblem非凸奇异随机控制问题。

（C）*t、 Xxt）∈ C、 P-几乎可以肯定，每t>0；2.中兴通讯-λt{（C）*t、 Xxt）∈C} dν*t=0几乎可以肯定，对于所有t≥ 0，其中c:={（x，c）∈ R×[0,1]：c≥ G*（x） }表示不活动区域C的关闭（参见（2.16））。定理2.8。控制ν*对于问题（1.2）和F，定义在（2.15）中的是最优的≡ U（参见（2.9））。证据证明基于验证论证，通常分为两步。第一步。修正（x，c）∈ R×[0,1]取R>0。集τR:=infT≥ 0:Xxt/∈ (-R、 R）, 取一个容许控制ν，回忆命题2.4中F的正则性结果。然后我们可以使用经典形式的It^o公式，直到停止时间τR∧对于一些T>0的情况，得到f（x，c）=Ehe-λ（τR）∧T）F（XxτR）∧T、 Cc，ντR∧T） 我- EZτR∧Te-λs（LX）- λ） F（Xxs，Cc，νs）ds- EZτR∧Te-λsFc（Xxs，Cc，νs）dνs- EX0≤s<τR∧Te-λsF（Xxs，Cc，νs+）- F（Xxs，Cc，νs）- Fc（Xxs，Cc，νs）νs哪里νs:=νs+-自fx有界于（x，c）后，随机积分的期望值消失∈ [-R、 R]×[0,1]。现在，回想一下∈ Sc可以分解为其连续部分和纯跳跃部分之和，即dν=dνcont+ν、 一个是（见[20]，第8章，第VIII.4节，第301-302页的定理4.1）F（x，c）=Ehe-λ（τR）∧T）F（XxτR）∧T、 Cc，ντR∧T） 我- EZτR∧Te-λs（LX）- λ） F（Xxs，Cc，νs）ds- EZτR∧Te-λsFc（Xxs，Cc，νs）dνconts-X0≤s<τR∧Te-λsF（Xxs，Cc，νs+）- F（Xxs，Cc，νs）.因为F满足HJB方程（2.13）（参见命题2.5），并且注意到F（Xxs，Cc，νs+）- F（Xxs，Cc，νs）=ZνsFc（Xxs，Cc，νs+u）du，（2.17）我们得到了f（x，c）≤Ehe-λ（τR）∧T）F（XxτR）∧T、 Cc，ντR∧T） i+EZτR∧Te-λsλXxsΦ（Cc，νs）ds+ EZτR∧Te-λsXxsdνconts+ EX0≤s<τR∧Te-λsXxsνs（2.18）=EE-λ（τR）∧T）F（XxτR）∧T、 Cc，ντR∧T） +ZτR∧Te-λsλXxsΦ（Cc，νs）ds+ZτR∧Te-λsXxsdνs.极限为R时的非凸奇异随机控制→ ∞ 我们有τR∧ T→ T，P-a.s。

（2.18）右边最后一个表达式中的积分项是一致可积的（参见（1.8））和F hassub线性增长（参见（2.10））。然后我们也把极限作为T↑ ∞ 然后是f（x，c）≤ EZ∞E-λsλXxsΦ（Cc，νs）ds+Z∞E-λsXxsdνs, （2.19）由于limT→∞E[E]-λTF（XxT，Cc，νT）]=0。因为后者适用于所有可容许的ν，所以我们有F（x，c）≤ U（x，c）。第二步。如果c=1，那么F（x，1）=U（x，1）=0。然后拿c∈ [0,1]，C*如命题2.7和定义ρ：=infT≥ 0 : ν*t=1- C. 我们可以重复第一步的论点。关于用τR代替τR的^o公式∧ ρto findf（x，c）=Ehe-λ（τR）∧ρ） F（XxτR∧ρ、 C*τR∧ρ） 我- EZτR∧ρe-λs（LX）- λ） F（Xxs，C）*s） ds- EZτR∧ρe-λsFc（Xxs，C）*s） dν*,继续- EX0≤s<τR∧ρe-λsF（Xxs，C）*s+）- F（Xxs，C）*（s）.如果我们现在回想命题2.5，命题2.7和（2.17），那么从上面我们得到f（x，c）=EE-λ（τR）∧ρ） F（XxτR）∧ρ、 C*τR∧ρ） +ZτR∧ρe-λsλXxsΦ（C）*s） ds+ZτR∧ρe-λsXxsdν*s（2.20）作为R→ ∞, 再次τR→ ∞, τR∧ ρ → ρ、 P-a.s.和EE-λ（τR）∧ρ） F（XxτR）∧ρ、 C*τR∧ρ)→ 0.此外，我们还注意到*s≡ 0和Φ（C）*（s）≡ 对于s>ρ，可以将（2.20）的最后表达式中的积分扩展到ρ之外，直到+∞ 从而得到f（x，c）=EZ∞E-λsλXxsΦ（C）*s） ds+Z∞E-λsXxsdν*s= Jx；c（ν）*). （2.21）然后F≡ U和ν*这是最优的。3.案例^c≥ 1在本节中，我们研究了与第2节相反的情况，即（1.9）中的最大值是通过几乎确定的有限停止时间τ实现的*以及恒定控制策略≡ 0.等价地，（1.2）的解在价格过程成为排斥边界之前不施加控制，在该边界处施加所有可用的控制。我们证明了当所有c的k（c）<0时，这种情况发生∈ [0,1]（参见（1.6）），或相当于^c>1。我们将这种对比与第2节（即。

通过证明光滑函数原理对控制问题的值函数不起作用（其二阶混合导数在最优边界上不连续），打破了与最优停止的经典联系。^c=1的情况类似，见备注3.3。我们首先观察到，不进行控制会产生等于λΦ（c）Z的收益∞E-λsE[Xxs]ds（3.1）非凸奇异随机控制11图1：情况^c中的作用/不作用区域示意图≤ 最优控制的0和*（见（2.15））。边界β*将状态空间拆分为不活动区域（白色）和活动区域（阴影）。当初始状态为（x，c）且x>β时*（c） 人们观察到（Xx，Cc，ν）的斯科罗霍德反射*) β*在水平方向上，直到所有燃料耗尽。（参见（1.2））。相反，假设我们施加少量在时间零点失去控制，不再进行进一步控制。在这种情况下，控制成本是x和，近似Φ（c+) ~Φ（c）+Φ（c）, 付款读数为λΦ（c）Z∞E-λsE[Xxs]ds+λΦ（c）Z∞E-λsEXxsds+x= λΦ（c）Z∞E-λsE[Xxs]ds+λ + θk（c）x+θΦ（c）（3.2）回顾E[Xxs]=u+（x）- u）e-θs（cf.（B-1））获得第二项。比较（3.1）和（3.2），我们观察到行使该金额对上限（1.2）（相当于上限（1.9））的相对净贡献第二行（3.2）中的第二项给出了控制系数，对于固定c，它仅取决于术语k（c）x。当x>-θμΦ（c）/k（c）（3.2）中的第二项为负，因此是有利的，而当x<-θΦ（c）/k（c）这是积极的，也是不利的。这表明，在目前的情况下，当^c>1时，对于某些函数γ，我们应该期望不活动区域对应于{（x，c）：x<γ（c）}。

此外，由于曲线C7→ -θμΦ（c）/k（c）严格减小，因为Φ是严格凸的，在这个可预测区域x>-θΦ（c）/k（c）将状态过程（X，c）保持在同一区域内。因此，第2节中可能出现的反射边界导致的微小增量似乎不会导致最佳策略。相反，本文提出了一种与最优收获模型中的“临界依赖”类似的现象，即在到达排斥自由边界时，使用所有可用的控制变得最优（例如，一维问题见[1]，但请注意，在我们的设置中，自由边界通常为贝农常数）。我们通过直接处理由上述启发式和动态规划原理建议的相关Hamilton-JacobiBellmann方程来解决优化问题（1.2）。从（1.2）中不难看出x7→ U（x，c）最多有次线性增长：事实上，按部分整合成本项∞E-λsXxsdνsand注意到鞅非凸奇异随机控制12Mt:=Rtσe-λsνsdbss是一致可积的，我们可以为任何ν写∈ ScJx，c（ν）≤ EZ∞E-λsλ| Xxs |Φ（Cc，νs）+νs |[λ| Xxs |+θ（u+| Xxs |）]ds≤ K（1+| x |），对于一些合适的K>0，由（B-1），假设1.1和任何可容许的ν是非负且一致有界的事实。我们寻求一对（W，γ）解下列系统LXW（x，c）- λW（x，c）=-λxΦ（c），对于x<γ（c），c∈ [0,1]，Wc（x，c）≥ -x、 对于（x，c）∈ R×[0,1]，W（x，c）=x（1）- c） ，为x≥ γ（c），c∈ [0,1]，Wx（γ（c），c）=（1- c） ，代表c∈ [0, 1].（3.3）我们将验证后验结果，即W也满足Wc（γ（c），c）=-γ（c）但不满足ywcx（γ（c），c）=-1，这是一个光滑的fit条件，通常用于解决奇异随机控制问题（例如，参见[18]和[31]）。定理3.1。

设ψλ为（LX）的递增基本解- λ） f=0（参见附录中的（B-3）和定义（c）：=θΦ（c）ζ（c），c∈ [0,1）、（3.4）式中ζ（c）：=（λ+θ）（1）- c）- λΦ（c）=Rck（y）dy<0。当W满足W时，存在一对（W，γ）解（3.3）∈ W2,1，∞loc（R×（0,1））和Wc（γ（c），c）=-1.函数γ是递减的，如果^c>1，则为Con[0,1]。对于每个c∈ [0,1]，γ（c）∈ （x（c）+∞) 是Find x的独特解决方案∈ ψ（x）λR=- x（c）。（3.5）对于c∈ [0,1]函数W可以用γasW（x，c）表示=ψλ（x）ψλ（γ（c））hγ（c）（1）-c）-λΦ（c）γ（c）-uλ+θ+uλi+λΦ（c）hx-μλ+θ+μλi，对于x<γ（c），x（1- c） ，为x≥ γ（c）。（3.6）此外，地图x 7→ Wc（x，c）不跨越边界γ，且其中一个具有Wcx（γ（c），c）<-1，c∈ [0, 1].证据验证将分几个步骤进行。第一步。（3.3）中的第一个方程是由w（x，c）=A（c）ψλ（x）+B（c）φλ（x）+λΦ（c）求解的普通微分方程十、- uλ + θ+uλ, （3.7）分别与（B-2）和（B-3）中的φλ和ψλ相同。因为W（x，c）=x（1- c） 对于x>γ（c），次线性增长被填充为x→ +∞; 然而，作为x→ -∞ 一个是φλ（x）→ +∞具有超线性趋势。既然我们试图识别U，那么设置B（c）就很自然了≡ 0.在x=γ（c）处施加（3.3）的第三和第四个条件，我们确定（c）ψλ（γ（c））=γ（c）（1）- c）- λΦ（c）γ（c）- uλ + θ+uλ（3.8）非凸奇异随机控制13andA（c）ψλ（γ（c））=（1）- c）-λΦ（c）λ+θ。（3.9），由此得出γ（c）应解（3.5）。由于ψλ/ψλ>0，（3.5）的任何解必须在集合（x（c）中+∞) 因此（3.5）相当于发现x∈ （x（c）+∞) 使得H（x，c）=0h（x，c）：=ψλ（x）H（1- c）-λΦ（c）λ+θi- ψλ（x）hx（1）- c）- λΦ（c）十、- uλ + θ+uλi、 （3.10）由于ψλ>0和ψλ>0（cf。