连续时间条件风险值的最优控制

我们证明了一种求解内部问题的动态规划方法，并给出了定理4中外部问题梯度的偏微分方程刻画的条件。这允许在解决双层优化问题时使用梯度下降。条件风险值的最优控制64。最后，我们提供了收敛近似，放松了对问题施加的两个关键假设。在定理5和6中，我们给出了每个近似方案下的次优界。利用这些结果，我们可以通过两层优化问题的梯度下降解来解决包含极值风险测度的时间不一致最优控制问题。作为如何使用近似方案和梯度下降的示例，请考虑显式问题：infA∈ACVaRαXAT.我们可以通过以下步骤解决这个问题：o步骤1：调用fCVaR（ξ，y）：=y+（1）- α)-1(ξ - y） +。这不满足我们的统一微腔假设，因此我们首先将inf卷积应用于havef（ξ，y）：=infz∈R“fCVaR（ξ，z）+（y- z） 二,#,这是一致的半塌陷(-半山洞近似法）第2步：我们注意到，我们可以重新表述涉及f的扰动最优控制问题作为以下两层优化问题：infA∈安菲∈重新F（X，y）= 英菲∈R五、（y） ：=infA∈AEF（X，y）,其中，内部问题是一个标准的随机控制问题第3步：我们在y中使用梯度下降算法解决外部问题。在每次迭代中使用y∈ Rm，我们通过求解一个评价V（y）的HJBE方程，通过动态规划来解决内部问题。此外，我们通过求解线性抛物方程来计算它的梯度值DV（y），我们称之为梯度偏微分方程第四步：当梯度下降算法收敛时，我们得到一个极小值y？关于外问题及其相关的极小值A？内部问题。

我们用定理5量化了这个解的次优界。这个解和最优解之间的差距随着时间的推移趋于零 → 0.在对所提出的方法的这一高级描述中，我们注意到了它的几个优点。首先，提出的梯度下降方法不需要我们在终端成本问题的情况下提升状态空间。与现有方法相比，这是一个相当大的优势，因为动态编程的计算复杂度随着状态空间的维数呈指数增长，因此将y作为另一个状态变量。第二，梯度偏微分方程提供了任意y上DV（y）的非对称数值逼近∈ Rm。因此，它避免了使用一般不收敛的导数free优化算法或自动微分工具，例如当目标函数包含（数值）噪声时可能不准确的有限微分[43]。最后，分析研究放松了用于证明主要结果的假设，扩大了所提出方法的适用性。特别地，我们证明了从-半洞穴近似收敛到真最优解，如下所示： 趋于0。我们通过陈述以下结果的一般版本来总结完整的近似系列。我们强调，在允许各种额外假设的情况下，对条件风险价值的最优控制在整个过程中提供了显著更强的结果。我们把下面的陈述分成三部分。这些对应于（1）将最优控制重新写入双层问题，（2）引入近似方案，其中顶层问题的近端超梯度可以用偏微分方程组计算，以及（3）近似方案的收敛结果。定理1。

（1） 设f:R×Rm→ R和g:Rn→ R都是凸的和Lipschitz连续的。定义一个极端风险度量ρ：L(Ohm) → R作为ρ（ξ）：=infy∈RmE[f（ξ，y）]。此外，定义（y）：=infA∈AEFGXAT, Y.然后呢？：=英法∈Aρ（g（XAT））=infy∈RmV（y）。（2） 无论如何, η>0，定义（x，y）：=infz∈Rmf（x，z）+ky- zk2.设^W为独立的n维布朗运动，设^F为联合过程（W，^W）产生的过滤。设^A代表A中所有^F适应过程值的集合。对于每个控制A∈^A，定义^XA，η为扰动SDEd^XA的唯一强解，ηt=u^XA，ηt，Atdt+σ^XA，ηt，AtdWt+ηd^Wt.defi neV,η（y）：=infA∈^AEhf（g（^XA，ηT），y）i表示为五、,η（y）V的近端超梯度的集合,η在y上，我们得到以下结果：（a）对于任何y∈ 如果我们确定,η（y）：=EhDyf（g（^XA，ηT），y）i，然后是DV,η（y）∈ 五、,η（y）。（b） 对任何人来说∈ Rm，V,η（y）和DV,η（y）可以用两个偏微分方程的解来计算。值函数与HJB方程有关，而近似超梯度与HJB方程的形式线性化有关。（3） 让我来？是V和y的最小值吗？,η是V的极小值,η. 然后呢？,η) ≤ V（y？+C( + η） ，其中C>0是一个常数，仅取决于f、g、u和σ的Lipschitz常数。那就是，V（y）？,η) → P线性地, η → 0.条件风险值的最优控制8.总之，该定理为求解ρ（g（XAT））的最优控制提供了一个完全收敛的算法。首先，我们展示了如何将其改写为一个双层最小化问题，其下层是一个标准的最优随机控制问题。

一般来说，上层问题没有特殊的结构（例如，凸性），因此我们证明了一个非常普遍的半凹近似，其目标函数和近端超梯度可以用PDE系统的解来计算。最后，我们展示了近似问题的解如何收敛到原问题的最优解。在第3节和第4.1–4.3.3节中开发了相关的机器和近似后，我们将在第4.4节中给出定理1的证明。主要结果：梯度下降和粘度解3。1等效双层优化回想一下，我们的目标是解决广义随机控制问题∈Aρ（g（XAT）），（3.1），其中ρ是固定的极值风险度量，g（XAT）是执行控制时的状态相关成本。一般来说，（3.1）是一个时间不一致的非线性随机最优控制问题，我们不能应用动态规划。然而，我们展示了如何使用ρ的结构作为一个额外的风险度量，将其转化为一个等价的双层优化问题。命题1（双层优化）。我们可以把极值风险测度的动态优化问题写成NFA∈ρg（XAT）= 英菲∈RmV（y），（3.2），其中V通过形式V（y）：=infA的标准随机最优控制问题定义∈AEf（g（XAT），y）. （3.3）通过定义极端风险度量，证明非常简单。备注1。V（y）的值取决于XA的初始值xof。

然而，为了简单起见，我们支持依赖关系，并隐式假设我们将本文其余部分的初始值定义为x。此时，我们将时间不一致的随机控制问题（3.1）转化为涉及标准随机控制问题（3.3）的等价双层优化问题（3.2）。为了方便起见，我们将（3.2）和（3.3）的右边分别称为外部优化问题和内部优化问题。3.2假设注释记录了三个主要假设。这些被用来获得两层优化问题的各种性质，我们讨论了在适用的情况下，它们可能在第4节中被放松。在许多情况下，例如本文的主要例子，我们实际上可以证明近似是一个凸极小问题，这允许应用更专门的技术。条件风险值的最优控制9假设1（均匀半腔）。函数y7→ f（x，y）对所有x都是一致半连续的∈ 也就是说，存在M>0，使得f（x，y+ξ）≤ f（x，y）+ξ·Dyf（x，y）+Mkξkforall（x，y）∈ R×Rmand表示所有ξ∈ Rm。需要注意的是，f的凸性和假设1保证了映射为y 7→ f（x，y）对于每个x是连续可微的∈ Rm。这种规律性最终会转化为我们的两层优化问题中外部优化问题的各种平滑结果，即（3.2）的右侧。备注2。从应用程序的角度来看，放松假设1尤其重要。例如，请注意，CVaR和MAD不满足此统一假设。然而，为了表述的明确性，我们从这个看似限制性的假设开始，但后来通过使用第4.1节中的inf卷积算子重新推导。假设2（一致抛物线性）。

存在一个 > 使σ（x，a）σ（x，a）>- Inis正半成品（x，a）∈ Rn×A。假设2的主要用途是构造随机控制问题的最优控制（3.3）。特别是，这个假设保证了哈密顿-雅可比-贝尔曼方程的粘性解是光滑的[24,39]。在第4.2节中，我们通过在XA的动力学中添加额外的独立布朗运动来放松这个约束。假设3（凸性）。控制集A是凸的，映射（A，y）为7→ 几乎可以肯定，f（g（XAT），y）是联合凸的。假设3的主要用途是在我们的双层优化公式中保证外部优化问题的凸性。特别是，这使我们能够实现一种保证收敛到全局最小值的梯度下降算法。当假设3不成立时，我们仍然可以计算所谓的近端超梯度，并运行一个收敛到局部极小值的下降算法。例3。我们强调以下三个有效条件，每个条件都保证假设3成立（例如[11]）：→ g（XAT）是一个函数，o一个7→ g（XAT）是凸的，x7→ f（x，y）对于每个y都是非递减凸的∈ Rm或oA 7→ g（XAT）是凹的，x7→ f（x，y）对于每个y都是非递增凸的∈ Rm。回想一下fCVaR（ξ，y）：=y+（1- α)-1(ξ - y） +x 7→ fCVaR（x，y）是非递减凸的。因此，如果一个7→ g（XAT）是凸的，假设3成立。我们注意到假设3是非常有力的。然而，在工程和金融领域的一些实际应用中，如风险感知需求响应、电动汽车收费控制、库存控制和投资组合管理（例如[50,62]），它被证明是有效的。作为一个具体的例子，考虑第5节中考虑的平均CVaR投资组合优化问题。

为了解释清楚，我们保留这一点作为主要假设，但强调类似的结果，即使这个假设被打破了。我们承认检查A 7的凸性→ 超出[4,17]中提出的标准通常是一项非中心任务。这是未来研究的主题。条件风险值的最优控制103.3外部目标函数的分析性质本节我们研究外部目标函数V的一些分析性质。Webegin通过展示V的凸性。然后，我们在存在最优控制的点给出了V的半腔估计。此外，我们使用这种估计和凸性来显示V在这些点上的可微性，并提供梯度的概率表示。定理2（凸性）。假设假设3成立。然后，外部目标函数是凸的。V的凸性促使我们使用（次）梯度下降型算法来解决外部优化问题。在半腔假设（假设1）下，我们通过证明V的可微性来证明梯度下降方法的合理性。为此，我们首先记录一个估计值。需要注意的是，该估计值不依赖于V的凸性或假设3。这个结果将f的半空穴与V的半空穴连接起来。提议2。假设假设1成立。对于任何固定的∈ Rm，我们假设存在∈ 这样的v（y）=Ef（g（XAT），y）.然后，我们有v（y+ξ）≤ V（y）+ξ·EDyf（g（XAT），y）+Mkξk对于所有ξ∈ Rm。证据修好∈ Rm。根据假设1，存在M>0，使得f（x，y+ξ）≤ f（x，y）+ξ·Dyf（x，y）+Mkξk（3.4）对于所有x∈ R和ξ∈ Rm。让我们∈ A是一个控制，使得v（y）=Ef（g（XAT），y）.请注意，这样的控件取决于y的选择。

如果我们逐点应用不等式（3.4）并取期望值，我们会看到v（y+ξ）≤ Ef（g（XAT），y+ξ）≤ Ef（g（XAT），y）+ ξ·EDyf（g（XAT），y）+Mkξk对于所有ξ∈ Rm。然后，结果成立。在下面的结果中，我们结合了V的凸性和半腔估计来证明V实际上是可微的。特别是，我们提供了每个点处梯度的概率表示。定理3（可微性）。假设假设1和3成立。对于任何固定的∈ Rm，我们假设存在一个∈ 这样的v（y）=Ef（g（XAT），y）.然后，V在y处可微分，其梯度可计算为dv（y）=EDyf（g（XAT），y）. （3.5）我们假设在这个命题中存在一个最优控制。然而，我们将在下一小节中通过在假设2下从相关的HJB方程构造最优控制来证明这个假设是有效的。条件风险值的最优控制11我们强调，虽然梯度的值似乎是包络理论的自然结果，但我们不知道V是可区分的。这个定理证明了可微性是凸性和半凹性的直接结果，同时确定了过程中的梯度。证据根据定理2，函数V是凸的。由于f的二次增长、g、u和σ的Lipschitz假设以及A的紧性，标准结果是V（y）是有限的∈ Rm（见[22]）。因此，它的次微分在每个点上都是非空的[52]。

修好∈ 我想∈ A是这样一个控件：v（y）=Ef（g（XAT），y）.让z∈ V（y）是V在y处的任意次梯度，即V（y+ξ）≥ V（y）+ξ·zξ ∈ Rm。根据命题2，我们还有不等式v（y+ξ）≤ V（y）+ξ·EDyf（g（XAT），y）+Mkξkξ ∈ Rm。把这些加在一起，我们得到ξ·（z）- EDyf（g（XAT），y）) ≤Mkξkξ ∈ Rm。选择ξ：=M-1（z）- EDyf（g（XAT），y）), 我们有mkξk=ξ·（z）- EDyf（g（XAT），y）) ≤Mkξk，这是一个矛盾，除非z=EDyf（g（XAT），y）.因为V（y）是单值的，我们得出结论，V在y处是可微的，并且thatDV（y）=EDyf（g（XAT），y）如你所愿。根据定理3，在给定函数值V（y）及其梯度DV（y）的情况下，我们可以使用梯度描述算法来解决外部优化问题。我们注意到v（y）可以通过动态规划来计算。值得一提的是，总体问题仍然是时间不一致的，但我们的双层分解允许我们使用动态规划解决内部优化问题。在下面的小节中，我们研究了内部优化问题，并提供了一种解决整体问题的构造性方法。3.4 V和DVE的PDE特征：在给定状态初始值XO的情况下，V（y）是内部优化问题（3.3）的最优值。请注意，这个问题可以通过动态规划来解决，我们首先根据相关HJB方程的粘度解来计算V（y）。在这个过程中，我们构造了一个最优控制，它保证V可由定理3微分。此外，我们可以用线性抛物方程的粘性解来计算DV（y）。条件风险价值的最优控制12命题3。

考虑到∈ Rm，设v:[0，T]×Rn→ R是HJB方程vt+infa的粘度解∈A.tr（σ（x，a）σ（x，a）>Dxv）+u（x，a）·Dxv= [0，T）×Rnv（T，x）=f（g（x），y）在{T=T}×Rn.（3.6）然后，我们有v（y）=v（0，x），其中xis是SDE（2.1）的初值。这是一个标准结果。重要的一点是，在假设2下，方程（3.6）在Dxv中是一致抛物线和凹的。然后，我们从HJBequation的正则性结果中知道，值函数v在空间中是两倍可微的（参见[21, 12, 26]). 这允许我们通过解一个线性方程来计算DV（y）。定理4（梯度偏微分方程）。假设假设2-3成立。考虑到∈ 设v为（3.6）的粘度溶液。一个最优控制，一个？t:=a？（t，XA？t），存在，其中a？：[0，T）×Rn→ 满意吗？（t，x）∈ 阿格米纳∈A.tr（σ（x，a）σ（x，a）>Dxv）+u（x，a）·Dxv适用于所有人（t，x）∈ [0，T）×Rn.2.设w:[0，T]×Rn→ 人民币定义asw（t，x）：=EthDyf（g（XA？t），y）| XA？t=xi。（3.7）那么，w:=（w（1），···，w（m））是线性方程组解耦系统的粘性解SW（k）t+tr（σ（x，a？（t，x））σ（x，a？（t，x））>Dxw（k））+u（x，a？（t，x））·Dxw（k）=0 in[0，t）×Rnw（k）（t，x）=[Dyf（g（x），y）]kon{t=t}×Rn（3.8）对于k=1，···，m，我们有Dxw=0的初始值。在提供严格的证据之前，我们注意到结果背后的直觉。很明显，（3.7）中定义的WD（t，x）=Ethw（t+h，XA*t+h）|XA*t=xi（3.9）表示所有（t，x）∈ [0，T）×r和h∈ （0，T- t） 。这是根据迭代期望定律得出的。如果w是光滑的，我们可以对小h>0应用伊藤引理，得出w满足（3.8）的结论。然而，（3.8）的系数不一定是连续的，因此解可能是不连续的。也就是说，我们必须在不连续粘性解决方案的框架内考虑这一点。