一个非凸奇异随机控制问题及其最优解

（B-3）和（B-4））通过直接计算得出，x上的Hx（x，c）>0和Hxx（x，c）>0∈ （x（c）+∞); 此外，由于H（x（c），c）<0，存在唯一的γ（c）解（3.5）。现在从（3.5）、（3.8）和（3.9）我们可以等价地设置a（c）：=ψλ（γ（c））hγ（c）（1）- c）- λΦ（c）γ（c）- uλ + θ+uλi=ψλ（γ（c））h（1）- c）-λΦ（c）λ+θi（3.11）和（3.6）之后将W扩展为x（1）- c） 对于x>γ（c）。第二步。使用（3.5）和（3.6）很容易检查W（γ（c），c）=γ（c）（1）-c） Wx（γ（c），c）=（1）- c） 。第三步。为了证明γ的单调性，我们研究了映射c7的toc导数→ 十、- x（c）。我们得到了不同的c（x- x（c））=-dd cx（c）=-θu（λ+θ）[Φ（c）（1）- c） +Φ（c）]ζ（c）>0，（3.12），其中自-Φ（c）=RcΦ（y）dy>Φ（c）（1）-c） 通过Φ的严格凸性。现在（3.12）保证C7→ 十、- x（c）在增加，然后隐式函数理论和类似于命题c.3证明中导致（c-11）的参数允许我们得出结论，γ位于c（[0，1]）（如果^c>1）并且在减少（对于^c=1，请参见下面的备注3.3）。第四步。我们现在的目标是证明（3.3）中的第二个条件。回顾W一直趋向于x（1）-c） 为了x≥ γ（c）在该区域的结果微不足道。只考虑x<γ（c）。从（3.6）我们得到了w（x，c）=x（1）- c）-hx（1- c）- λΦ（c）十、- uλ + θ+uλi+ψλ（x）ψλ（γ（c））hγ（c）（1）- c）- λΦ（c）γ（c）- uλ + θ+uλi（3.13）和由于γ是可区分的，回顾（2.2）和重新排列术语，我们有wc（x，c）=- x+G（x，c）-ψλ（x）ψλ（γ（c））G（γ（c），c）+ψλ（x）ψλ（γ（c））γ（c）h（1）- c）-λΦ（c）λ+θih1-ψλ（γ（c））ψλ（γ（c））（γ（c）- x（c））i（3.14）=- x+G（x，c）-ψλ（x）ψλ（γ（c））G（γ（c），c），非凸奇异随机控制14，其中自γ解（3.5）后的最后等式。注意，作为（3.14）的副产品，我们也有Wc（γ（c），c）=-γ（c）。

关于x的微分（3.14），取x=γ（c），给出cx（γ（c），c）+1=k（c）λ+θ-ψλ（γ（c））ψλ（γ（c））G（γ（c），c）（3.15），因此从（2.2）和（3.5）我们得到了wcx（γ（c），c）+1=-k（c）（λ+θ）（γ（c）- x（c））hμθΦ（c）k（c）+x（c）i=-θθζ（c）（γ（c）- x（c））[Φ（c）（1）- c） +Φ（c）]。（3.16）由于γ（c）>x（c），ζ（c）<0和Φ（c）（1）-c） +Φ（c）<0通过Φ的凸性，我们得出wcx（γ（c），c）+1<0，c∈ [0, 1]. （3.17）对于x<γ（c），我们可以根据c和x区分（3.3）中的第一个方程，设置‘u（x，c）：=Wxc（x，c）+1和‘u（x，c）- （λ+θ）\'u（x，c）=-k（c）≥ 0代表c∈ [0,1]和x<γ（c），（3.18），边界条件为u（γ（c），c）=Wxc（γ（c），c）+1<0。取σγ：=infT≥ 0:Xxt≥ γ（c）利用它的o公式，我们发现u（x，c）=EE-（λ+θ）σγ′uXxσγ，c+ k（c）Zσγe-（λ+θ）sds, 对于c∈ [0,1]和x<γ（c）。（3.19）根据（3.14）和X的重现性，e-（λ+θ）σγ′uXxσγ，c= E-（λ+θ）σγ′uγ（c），c, P-a.s.此外，k（c）<0和（3.17）意味着（3.19）的右边是严格负的。因此，对于所有x<γ（c），Wxc（x，c）+1<0，因此x7→ Wc（x，c）+x呈下降趋势。因为Wc（γ（c），c）+γ（c）=0乘以（3.14），所以我们可以得出Wc（x，c）+x≥ 0代表全部（x，c）∈R×[0,1]。备注3.2。如果Wc是一个具有自由边界γ的最优停止问题的值函数，我们期望平滑函数的原理成立，即Wc（·c）∈ 越过边界。在关于奇异随机控制的文献中，Wcxis的连续性通常是经过验证的（参见[18]和[31]），并且通常用于描述最优边界。然而，等式（3.17）证实了该特性在本例中不成立，并且实际上，奇异控制和最佳停止（例如[16]、[24]、[25]的意义）之间的差异关系出现了故障。备注3.3。

有趣的是，如果^c=1，则有一个limc↑^cx（c）=-∞ 还有亨塞利姆↑^cγ（c）=-∞, 否则，当x=γ（c）达到（3.5）中的极限时，就会发现矛盾。由于γ解（3.5）是唯一的候选最优边界，我们设置了γ*:= 从现在开始。提议3.4。定理3.1中的函数W用W（x，1）=U（x，1）=0来解（2.13）。证据c=1时的边界条件如下（3.6）。因为W解（3.3），所以它也解（2.13）x<γ*（c） ，c∈ [0, 1]. 因此，仍需证明这一点九、- λW（x，c）≥ -λΦ（c）x或x>γ*（c） 。注意，由于W（x，c）=x（1- c） 那么在那个地区呢九、- λW（x，c）=（1）- c）θu - （λ+θ）x. 设置x（c）：=（1）- c） θθζ（c），c∈ [0,1）、（3.20）非凸奇异随机控制，其中ζ（c）=Rck（y）dy，并观察（1- c）θu - （λ+θ）x≥ -λΦ（c）x表示所有x≥ ~x（c）。最后我们只需要证明γ*（c） >x（c）代表c∈ [0, 1]. 必须证明H（~x（c），c）<0（参见（3.10）），结果如下，因为H（·c）严格增加，因此H（γ*（c） ，c）=0。修正c∈ [0,1）并表示为简单起见，x:=x（c）和x:=x（c）（参见（3.4）），然后我们有ψλ（~x）ψλ（~x）- （~x）- x） =ψλ（~x）ψλ（~x）-θθζ（c）（1）- C- Φ（c））=ψλ（~x）ψλ（~x）-~x（1）- c） [（1）- c）- Φ（c）]，（3.21），其中最后一个等式来自（3.20）。因为ψλ>0和ψλ解九、- λψλ=0，则ψλ（~x）ψλ（~x）>θ（u）- ~x）λ（3.22）和从（3.21）的右侧也ψλ（~x）ψλ（~x）- （~x）- x） >θ（u）- ~x）λ-~x[λ（1）- c）- λΦ（c）]λ（1- c）=θu - （λ+θ）~x(1 - c） +λΦ（c）~xλ（1）- c） =0。（3.23）上述不等式意味着H（~x（c），c）<0，因此γ*（c） >x（c）。因此九、- λW（x，c）≥-λΦ（c）x表示x>γ*（c） 。引入停止时间τ*:= infT≥ 0:Xxt≥ γ*（c）, （3.24）以及任何∈ [0,1）定义容许的控制策略*t:=0，t≤ τ*,(1 - c） ，t>τ*.（3.25）定理3.5。容许控制ν*对于问题（1.2）和W，of（3.25）是最优的≡ 美国证据。

该证明采用了与定理2.8证明中使用的参数类似的参数。我们通过定理3.1调用W的正则性，并注意W（x，c）≤ K（1+| x |）表示合适的K>0。然后是It^o公式在第八章第八节[20]弱版本中的应用。定理4.1，很容易给出W（x，c）≤ U（x，c）代表所有（x，c）∈ R×[0，1]（参见定理2.8证明步骤1中的论证）。另一方面，拿C*t:=Cc，ν*t=c+ν*t、 c∈ [0,1），带ν*如（3.25）所示，再次应用It^o公式（可能使用定理2.8证明中的本地化参数），我们发现（x，c）=EE-λτ*W（Xxτ）*, C*τ*) +Zτ*E-λsλXxsΦ（C）*s） ds- EZτ*E-λsWc（Xxs，C*s） dν*,继续(3.26)- EX0≤s<τ*E-λsW（Xxs，C）*s+）- W（Xxs，C）*（s）.非凸奇异随机控制16图2：^c>0情况下的作用/不作用区域和最优控制ν的示意图*（见（3.25））。边界γ*将状态空间拆分为不活动区域（白色）和活动区域（阴影）。当初始状态为（x，c）且x<γ时*（c） ，第一次*（c） 一次观测（Xx，Cc，ν）的单跳*) 在水平方向上，c=1。自（Xxs，C）*s） =（Xxs，c）代表s≤ τ*, 然后（3.26）右边的第三项和第四项等于零，而对于第一项，我们有（3.3）和（3.25）Ehe-λτ*W（Xxτ）*, c+ν*τ*)i=Ehe-λτ*W（Xxτ）*, c） i=Ehe-λτ*Xxτ*(1 - c） i=EZ∞E-λsXxsd C*s. （3.27）在（3.26）的右边，我们有Zτ*E-λsλXxsΦ（c+ν）*s） ds= EZ∞E-λsλXxsΦ（c+ν）*s） ds, （3.28）因为Φ（1）=0根据假设1.1。现在，（3.26），（3.27）和（3.28）给出W（x，c）=U（x，c），和c*这是最优的。4.对^c案的考虑∈ （0，1）在本节中，我们讨论了当^c∈ （0，1），当（1.6）的函数k（·）在（0，1）上改变其符号时等价。

对于c∈ [^c，1]可以看出，在（1.3）等式^Φ（·）：=Φ（^c+·）中设置严格凸惩罚函数将问题（1.2）简化为第2节的问题。最优控制策略∈ [^c，1]因此属于反射型，其特征是定义在（^c，1）上的一个递减边界^β。正如预期的那样，在R×（^c，1）上的Uc=v和（2.1）中的v的意义上，与最佳停止保持的经典联系。当c∈ [0，^c）最优策略既取决于第3节开头讨论的局部考虑因素，也取决于c的解决方案∈ [^c，1]见上文第1点。假设U的解析表达式为c∈ [^c，1]那么集合R×[0，^c）中的HJB方程在c=^c处有一个自然边界条件，其解预计（至少）与U（·，^c）连续粘贴.由于第2节中得到的U表达式通常是非显式非凸奇异随机控制，因此在这种情况下，对作用区域和不作用区域的几何分析更具挑战性，其严格研究超出了本文的范围；尽管如此，我们还是将根据前面章节的发现讨论一些定性的想法。3.第3节开头的局部考虑在这种情况下同样适用，因此我们可以预期作用区域边界的排斥行为。假设存在[0，^c]上定义的递减自由边界^γ，根据^γ相对于^β在（x，c）-平面上的位置，可以设想两种可能的最优控制。

对于初始库存c∈ [0，^c），一旦不受控制的扩散X达到^γ（c），库存应增加如下：i）如果^γ（c）≤ infc∈（^c，1]^β（c）施加所有可用的控制，否则ii）库存增加到刚好足以将（X，c）推到不活动区域inR×（^c，1）内的部分（即以^β为界的R×（^c，1）的子集）。因此，最优边界^β和^γ表现出强耦合，再加上处理φλ和ψλ表达式的困难，对本文采用的求解方法提出了挑战。4.我们注意到，在二维状态空间中确定两个共存自由边界的几何结构在SSCD中并不新奇，但只有在某些特定模型中才能找到显式解（例如，参见[28]，其中考虑了布朗运动和二次成本）。实际上，当θ=0时，我们可以提供一个解决方案，读者可以参考[13]。在结束本节之前，我们将展示后一个结果与上述观点是一致的。在[13]中，库存值的区间[0，1]再次被一个点分成两个子区间，为了清晰起见，我们在这里用^c表示（在[13]中用^c表示）。在[13]的状态空间的部分R×[0，~c）中，作用区的边界是与上述第3点一致的排斥类型，尽管在这种情况下存在两个排斥边界。对于c∈ [13]中的自由边界相对于c是恒定的，尽管最优策略因此是bang-bang类型，但不难看出它可能同样被解释为反射边界的极限。当c∈ （c，1），以及与最佳停车的不同联系（见第。

3在[13]的导言和其中的备注3.3）中，使定性行为与上文第1点中所述的相同。电力系统分析中自然产生的一个问题是电力存储的最佳充电。我们考虑代理人的观点，即在随机发生的需求时间τ>0时或之前，对蓄电池进行完全充电。在需求到达之前的任何时间t>0，代理商可以通过以现货价格Xt购买电力来增加存储水平Ct（在其容量限制内，即一个单位）。可以考虑现货价格动态的几个具体情况。我们采取（Xt）t≥0作为一个连续、强大的马尔科夫过程，适用于过滤（Ft）≥完全概率空间上的0(Ohm, F、 P）。如果电池在时间τ处未满，则采用一种较小的方法填充电池，以便终端现货价格由严格凸函数Φ加权，因此等于ψ（Xτ，Cτ）=XτΦ（Cτ），Φ（1）=0（参见假设1.1）。存储级别只能增加，进程Ct=c+νt随动力学（1.1）而变化∈ Sc（参见（1.5））。为简单起见，在不损失通用性的情况下，我们假设成本以r=0的比率贴现。代理商的目标是通过在其有限容量内以最佳方式增加存储量，将未来的预期成本降至最低。然后，代理面临随机成熟度infν的优化问题∈ScEhZτXtdνt+XτΦ（Cτ）i.（A-1）非凸奇异随机控制18τ定律的各种规定显然是可能的。这里我们只考虑τ独立于过滤（Ft）t的情况≥0，并按参数λ>0的指数规律分布；也就是说，Pτ>t= E-λt.（A-2）该设置有效地将需求建模为完全不可预测。

根据τ和（X，C）的独立性假设，对于任何一个ν，我们很容易得到ehxτΦ（Cτ）i=EhZ∞λe-λtXtΦ（Ct）dti（A-3）和hzτXtdνti=EhZ∞λe-λsZsXtdνtdsi=EhZ∞Z∞tλe-λsdsXtdνti=EhZ∞E-λtXtdνti，（A-4），其中积分通过应用富比尼定理进行交换。然后，问题（A-1）可以按照（1.2）和（1.3）重写。B关于Ornstein-Uhlenbeck过程的事实回顾（1.4）中的Ornstein-Uhlenbeck过程X。众所周知，X是具有状态间隔的正恒流高斯过程（参见[7]，附录1第24节，第136-137页），并且（1.4）允许显式解xxt=u+（X- u）e-θt+Ztσeθ（s）-t） 星展银行。（B-1）我们推出了小型发电机LXin（2.4）；特征方程LXu=λu，λ>0，允许两个线性独立的正解（参见[22]，第280页）φλ（x）：=eθ（x）-u）2σD-λθ（十）- u)σ√2θ（B-2）和ψλ（x）：=eθ（x）-u）2σD-λθ-（十）- u)σ√2θ, （B-3）分别严格减少和严格增加。在（B-2）和（B-3）中，Dα是α阶的柱面函数（见第八章[8]等），并且值得回顾的是（例如，见第八章第8.3节第119页等式（3））Dα（x）：=e-xΓ(-α） Z∞T-α-1e-T-xtdt，Re（α）<0，（B-4），其中Γ（·）是欧拉伽马函数。我们用px表示(Ohm, F） 由过程（Xxt）t诱导≥0，即Px（·）=P（·| X=X），X∈ R、 根据这个指标的预期。然后，这是关于一维规则扩散过程的一个众所周知的结果（参见，例如[7]，第一章，第10节）-λτy]=φλ（x）φλ（y），x≥ y、 ψλ（x）ψλ（y），x≤ y、 （B-5）φλ和ψλ为（B-2）和（B-3）且τy:=inf{t的非凸奇异随机控制≥ 0:Xxt=y}Xxt在y级的命中时间∈ R.由于Ornstein-Uhlenbeck过程的递推性质，X有τy<∞ Px-a.s。

对于任何x，y∈ R.C.第2C节的一些证明。1定理的证明2.1证明要经过许多步骤，我们把这些步骤组织在引理、命题和定理中。通过（2.1）中的部分积分，并注意到鞅（Rte）-λsσdBs）t≥0是一致可积的，我们可以写eu（x；c）：=v（x；c）+x=supσ≥0EZσe-λs[k（c）Xxs- θu]ds, （C-1）与（1.6）中的k（C）相同。对于每个c∈ [0，1]我们分别用cc:={x:u（x；C）>0}和Dc:={x:u（x；C）=0}，（C-2）定义了问题（C-1）的连续区域和停止区域。根据基于小球退出时间的标准参数，我们注意到 {x:x≤θuk（c）}因为在其补码{x:x>θuk（c）}中立即停止永远不是最优的。从X7开始→ u（x；c）在增加，D低于c，我们还预计最佳停止策略为阈值类型。现在，对于任何给定的c∈ [0,1]和β（c）∈ R我们定义了命中时间σβ（x，c）：=inf{t≥0:Xxt≤ β（c）}。为了简单起见，我们设置∑β（x，c）=σβ。问题（C-1）的自然候选值函数的形式为β（x；C）=EZσβe-λs（k（c）Xxs- θu）ds, x>β（c），0，x≤ β（c）。（C-3）Fubini定理（B-1）和一些简单代数的应用导致了Emma C.1。适用于所有人（x，c）∈ R×[0,1]和G，如（2.2）中的一个相Z∞E-λs（k（c）Xxs- θu）ds= G（x；c）。（C-4）回想定理2.1中的lx和φλ。在nextLemma C.2中提供了uβ的分析表达式。对于（C-3）中的uβ，它包含suβ（x；C）=G（x；c）-G（β（c）；c） φλ（β（c））φλ（x），x>β（c）0，x≤ β（c）。（C-5）证据。根据（C-3），（2.2）和强马尔可夫性质，我们得到了所有x>β（C）uβ（x；C）=G（x；C）- EEZ∞σβe-λs（k（c）Xxs- θu）dsFσβi（C-6）=G（x；C）- Ehe-λ∑βG（Xx∑β；c）i，=G（x；c）- G（β（c）；c） φλ（x）φλ（β（c）），非凸奇异随机控制20，其中自Xxis以来的最后一个等式是正循环的，并使用附录B中总结的已知命中时间特性以获得完整性（参见。

（B-5））。候选最优边界β*（c） 通过引入熟悉的光滑fit原理，即一阶导数uβxat与边界β的连续性，可以发现*. 这相当于解决问题（2.6）。提案3。召回（2.3）。对于每个c∈ [0,1]存在唯一的解决方案β*（c）∈(-∞, （2.6）中的x（c））。此外，β*∈ C（[0，1]），并且它是严格递减的。证据因为我们只对allx的（2.6）和φλ（x）>0的有限值解感兴趣∈ (-∞, +∞) 我们不妨考虑发现x的等效问题∈ R使得h（x；c）=0，其中h（x；c）：=Gx（x；c）φλ（x）- G（x；c）φλ（x）。（C-7）我们首先注意到G（x（C）；c） =0（参见（2.2）和（2.3）），既然k（c）>0，那么（i）G（x；c）>0表示x>x（c），（ii）G（x；c）<0表示x<x（c）和（iii）Gx（x；c）>0表示所有x.HenceH（x（c）；c） =Gx（x（c）；c） φλ（x（c））>0。（C-8）还记得φλ是严格凸的（参见附录B中的（B-2）和（B-4），那么它很容易被（2.2）和（C-7）跟随，即hx（x；C）=-G（x；c）φλ（x）>0，对于x<x（c）。（C-9）此外，对于所有x，H（x；C）>0≥ x（c），如果β*（c） H（β）的存在*（c） )；c） =0然后是β*（c） <x（c）。（C-9）关于x的导数给定xx（x；C）=-Gx（x；c）φλ（x）- G（x；c）φλ（x）<0，对于x<x（c），这意味着x7→ H（x；c）是连续的，严格递增的，严格凹的(-∞, x（c））。因此，在（C-8）中存在一个独特的β*（c） <x（c）解H（β）*（c） )；c） =0（相当于（2.6））。自Hx（β*（c） )；c） 所有的c都大于0∈ [0,1]（cf.（C-9）），然后是β*∈ C（[0,1]）来自隐函数定理，带有β*（c） =-Hc（β*（c） )；c） Hx（β*（c） )；c） ，c∈ [0, 1]. （C-10）我们现在证明C7→ β*（c） 正在严格地减少。直接研究（C-10）右手边的符号似乎很重要，所以我们使用了不同的技巧。从（2.3）中不难验证C7→ 自C7以来，x（c）严格地降低→ Φ（c）严格地在增加。