约束随机线性二次模型的最优控制

为了克服这一困难，我们对我们的模型（PTLQ）导出的约束HJB方程采用了偏微分方程粘性解的概念。我们在任何时间t首次定义问题的值函数（PTLQ）∈ [0，T]如下，V（T，x）：=min{u（s）}| Ts=tEtZTt公司u（s）x（s）Q（s）u（s）x（s）ds公司+ qTx（T）s.T。dx（s）=A（s）x（s）+B（s）u（s）ds公司+x（s）C（s）+u（s）D（s）dW（s），x（t）=x，u（s）∈ Us（x（s）），s∈ 【t，t】，根据经典最优控制理论（【23】，【19】），值函数V（t，x）满足以下HJB方程，Vt（t，x）+infu（t）∈Ut（x（t））Vxx（t，x）C（t）C（t）x+2xC（t）D（t）u+uD（t）D（t）u+ Vx（t，x）×A（t）x+B（t）u+用户体验Q（t）用户体验= 0（8），边界条件V（T，x）=qTx。在给出主要结果之前，我们首先介绍两个未知函数^G（t）和^G（t）的以下两个普通微分方程（ODE），如下所示，˙G（t）=-^G（t）C（t）C（t）- 2^G（t）A（t）- q（t）- 水貂（吨）∈K（t）^f（t，K（t），^G（t））（9）˙G（t）=-(R)G（t）C（t）C（t）- 2？G（t）A（t）- q（t）- 水貂（吨）∈K（t）’f（t，K（t），’G（t））（10）终端条件^G（t）=qT和‘G（t）=qT，其中^f（t，K（t），^G（t））表示Vx（t，x），Vt（t，x）和Vxx（t，x）表示值函数V（t，x）的一阶和二阶偏导数。符号˙G（t）表示一些可微分函数G（t）的sdg（t）dt。和'f（t，K（t），'G（t））分别定义如下，^f（t，K（t），^G（t））=K（t）[^G（t）D（t）D（t）+R（t）]K（t）+2^G（t）C（t）D（t）+^G（t）B（t）+S（t）K（t），\'f（t，K（t），\'G（t））=K（t）[\'G（t）D（t）D（t）+R（t）]K（t- 2.\'G（t）C（t）D（t）+\'G（t）B（t）+S（t）K（t）。我们需要ODE（9）和（10）的以下属性。引理1在假设2下，常微分方程（9）和（10）的解满足^G（t）≥ 0和G（t）≥ 0表示所有t∈ [0，T]。证据证明^G（t）≥ 0，我们引入另一个ODE，如下所示，˙^G*（t） =-^G*（t） C（t）C（t）- 2^G*（t） A（t）- q（t）- 水貂（t）^f（t，K（t），^G*（t） ）（11）其中^G*（t） 是未知函数。

求解方程（11）右侧的优化问题得到˙G*（t） =-^G*（t） C（t）C（t）- 2^G*（t） A（t）- q（t）-^G*（t） D（t）C（t）+^G*（t） B（t）+S（t）×^G*（t） D（t）D（t）+R（t）-1×^G*（t） D（t）C（t）+^G*（t） B（t）+S（t）. （12） 请注意，（9）和（11）之间的区别在于，（11）中没有控制约束。此外，不难看出，方程（12）是经典无约束LQ最优控制模型的相应Riccati方程。众所周知，（12）saties^G的解*（t）≥0对于所有t∈ [0，T]（例如，参见[23]中的第7章）。由于约束集，等式（11）的右侧不大于等式（9）的右侧。因此，它有|˙^G*（t） |≤ |˙^G（t）|对于所有t∈ [0，T]。在两侧进行积分得到0≤^G*（t）≤所有t的^G（t）∈ [0，T]。这个证明同样适用于方程（10）。我们省略了细节。2现在，我们提供了问题的主要结果（PTLQ）。定理2问题的最优控制策略（PTLQ）isu*（t）=^K*（t） x（t）如果x（t）≥ 0-\'\'K*（t） 如果t的x（t）<0（13），则为x（t）∈ [0，T]，其中^K*（t） 和“K”*（t） 定义为，K*（t） =arg水貂（t）∈K（t）^f（t，K（t），^G（t）），（14）(R)K*（t） =arg水貂（t）∈K（t）’f（t，K（t），’G（t）），（15），以及^G（t）和‘G（t）分别在（9）和（10）中定义。此外，问题的最优目标值（PTLQ）为v（PTLQ）=x（0）^G（0）1{x（0）≥0}+(R)G（0）1{x（0）<0}（16） 证明。证明的结构如下。

我们验证以下值函数V（t，x）=x^G（t）1{x≥0}+(R)G（t）1{x<0}（17） 是HJB方程（8）的粘度解，相关的最优反馈控制为，u+（t，x）=^K*（t） x如果x≥ 0,-\'\'K*（t） 如果x<0，则为x。（18） 用（17）和（18）中的状态变量x（t）代替虚拟变量x，我们可以分别得到问题（PTLQ）的最优控制策略（13）和最优目标值（16）。为了证明（17）是（8）的粘度解，我们首先考虑（t，x）-平面中的区域Φ为，Φ=（t，x）∈ [0，T]×Rx>0.显然，在区域Φ中，值函数（17）变成V（t，x）=x^G（t），这使我们能够计算导数，Vt（t，x）=˙G（t）x，Vx（t，x）=2^G（t）x，Vxx（t，x）=2^G（t）。然后，我们将这些项替换为HJB方程（8）。（8）的左侧（LHS）变为LHS=˙^G（t）x+^G（t）C（t）C（t）x+2^G（t）A（t）x+q（t）x+分钟∈Ut（x）L（x，u，t），（19），其中L（x，u，t）定义为，L（x，u，t）=u^G（t）D（t）D（t）+R（t）u+2倍^G（t）C（t）D（t）+^G（t）B（t）+S（t）u、 注意，根据假设2和引理1，它有R（t）+^G（t）D（t）D（t）因此，内部优化问题，minu∈方程（19）中的Ut（x）L（x，u，t）是一个凸优化问题，它允许唯一的最优解。现在我们将定理1应用于这个问题。更具体地说，我们将术语R（t）+^G（t）D（t）D（t），^G（t）C（t）D（t）+^G（t）B（t）+S（t）和x视为术语Ohm, ω和α分别位于问题（P（α））中。因此，在Φ区域，它有x^K*（t） =参数分钟∈Ut（x）L（x，u，t），其中^K*（t） 定义见（14）。

从（5）中，LHS（19）可以写为，LHS=x˙^G（t）+^G（t）C（t）C（t）+2^G（t）A（t）+q（t）+水貂（t）∈K（t）^f（t，K（t），^G（t））.根据定义（9），其LHS=0，这意味着值函数（17）是区域Φ中HJB方程（8）的解，最优控制策略为x^K*（t） 。现在我们考虑（t，x）-平面中的区域Φ为，Φ=（t，x）∈ [0，T]×Rx<0.在此区域中，值函数变为V（t，x）=x'G（t）。我们可以应用区域Φ的类似求解过程来证明值函数V（t，x）=x'G（t）是HJB方程（8）的解，并导出关联的最优控制策略为（18）。细节省略。最后，我们考虑（t，x）-平面中的区域Φ为，Φ=（t，x）∈ [0，T]×R | x=0.V（t，x）的非光滑性就出现在这个区域。但是，对于任何（t，x），值函数V（t，x）仍然是连续的∈ Φ，因为该区域的V（t，x）=^G（t）x=(R)G（t）x=0。此外，V（t，x）在Φ区域的任何点上都存在一阶偏导数，即V（t，x）=Gx=0，Vx（t，x）=2？Gx=0∈Φ. 然而，由于^G（t）6=(R)G（t），二阶偏导数Vxx（t，x）在Φ上的任何点都不存在，这导致V（t，x）的非光滑性。因此，我们需要使用粘度解决方案的框架来克服这一困难。我们遵循[25]和[16]中给出的验证定理的类似想法，证明值函数（17）是HJB方程（8）的粘度解。根据粘度溶液理论（见[23][25]），我们在（t，x）处引入了V（t，x）的二阶超微分和次微分∈ Φ如下所示，D1,2，+t，xV（t，x）={0}×{0}×[^G（t）+∞),D1,2，-t、 xV（t，x）={0}×{0}×(-∞,分别为\'G（t）]。

此外，我们为HJB方程（8）定义了以下项，W（t，x，u，p，p）=pC（t）C（t）x+2xC（t）D（t）u+uD（t）D（t）u+ pA（t）x+B（t）u+q（t）x+2xS（t）u+uR（t）u.对于任何（η，p，p）∈ D1,2，+t，xV（t，x）和（t，x）∈ Φ，有η+分钟∈Ut（x）W（t，x，u，p，p）=分钟∈Ut（x）uP D（t）D（t）+2R（t）u≥ 分钟∈Ut（x）u^G（t）D（t）D（t）+2R（t）u= 因此，我们可以看到V（t，x）是HJB方程（8）的粘度亚解。另一方面，对于任何（η，p，p）∈ D1,2，-t、 xV（t，x）带（t，x）∈ Φ，ithas，η+分钟∈Ut（x）W（t，x，u，p，p）=分钟∈Ut（x）uP D（t）D（t）+2R（t）u≤ 分钟∈Ut（x）u(R)G（t）D（t）D（t）+2R（t）u= 0，这表明V（t，x）是HJB方程（8）的粘度上解。总的来说，我们可以得出（17）中给出的值函数V（t，x）是HJB方程（8）的粘度解，终端条件V（t，x）=qTx。注意，对于任何（t，x）∈ Φ，取（η*（t，x），p*（t，x），P*（t，x））=（0，0，^G（t））∈ D1,2，+t，xV（t，x）和u+（t，x）=0，它有η*（t，x）+W（t，x，u+（t，x），p*（t，x），P*（t，x））=0。Chp中可以找到二阶辅助和次级辅助的详细定义。5在参考文献【23】中，可在【23】中找到下解和上解的定义。因此，根据[25]定理3.1中的验证定理，我们得出表达式（18）中定义的u+（t，x）是最佳反馈控制。2在定理2中，两个Raccati方程（9）和（10）的作用与由经典无约束连续时间随机LQ控制问题导出的单个Riccati方程相同。如果没有约束Ut（x（t）），这两个方程将合并为一个方程，这是从经典LQ控制问题生成的方程。

为了求解方程（9）和（10），通常我们需要使用数值方法，因为对于一般线性约束，这两个方程中的内部优化问题都没有解析解。更具体地说，我们可以将时间范围[0，T]离散为一些离散时间点。然后，根据这些离散的样本周期，我们用差分公式近似这两个方程。在任何固定时间内，我们都可以解决内部优化问题并实现这些方程的求解。4问题的最优解（P∞LQ）在这一节中，我们着重于为问题（P∞LQ）。主要思想如下。我们首先研究具有有限视界的关联问题，然后通过将时间视界扩展到有限视界来研究渐近性能。用有限视界T，（AT）min{u（T）}Tt=0E引入以下辅助问题ZT公司u（t）x（t）Qu（t）x（t）dt公司（20） s.t。dx（t）=Ax（t）+Bu（t）dt公司+x（t）C+u（t）DdW（t），x（0）=x，u（t）∈Ut（x（t）），t∈ [0，T]。显然，如果我们将问题（PTLQ）中的所有参数设置为时不变常数并将qT设置为0，那么问题（AT）只是问题（PTLQ）的一个特例。为了研究不同时间范围长度下问题（AT）的性质，我们引入符号^G（t；t）和'G（t；t），分别表示在时间范围为且终端条件为'G（t；t）='G（t；t）=0时ODE（9）和（10）的输出（解）。根据定理2，辅助问题（AT）的最优目标值可以表示为，v（AT）=x^G（0；T）1{x≥0}+(R)G（0；T）1{x<0}. （21）我们可以看到问题（AT）的最优值是x^G（0；T）或x'G（0；T），这取决于初始状态x的符号。

此外，输出^G（t；t）和'G（t；t）具有以下特性。引理2考虑τ>0的问题（AT）和（AT+τ）。设{G（t；t），\'G（t；t）}和{G（t；t+τ），\'G（t；t+τ）}分别是这两个问题在时间t时常微分方程（9）和（10）的解。对于任何t，它有^G（t；t）=^G（t+τ；t+τ）和'G（t；t）=G（t+τ；t+τ∈ [0，T]。通过将定理2应用于问题（AT）和（AT+τ），可以很容易地验证引理2。引理2表明，输出^G（t；t）和'G（t；t）是时间齐次的，也就是说，这两个函数，^G（t；t）和'G（t；t）仅取决于时间差- t、 引入以下集合▄K：={K∈ Rn |香港≤ d}，它与约束集▄Ut（x（t））关联。然后我们给出问题的主要结果（P∞LQ）。定理3对于辅助问题（AT），如果任意T的^G（0；T）和'G（0；T）的统一上界M>0，则存在极限^G*> 0和'G*> 0，使^G*= 限制→∞^G（0；T）和'G*= 限制→∞\'G（0；T）。此外，^G*和'G*满足以下方程式，0=-^G*科科斯群岛- 2^G*A.- q- 水貂∈~K^f（K，^G*), (22)0 = -\'\'G*科科斯群岛- 2？G*A.- q- 水貂∈K'f（K，'G*), （23）其中^f（K，^G*) 和f（K，’G*) 定义为，^f（K，^G*) =K^G*DD+RK+2^G*镉+^G*B+SK、 （24）’f（K，’G*) =K\'\'G*DD+RK- 2.\'\'G*镉+(R)G*B+SK、 （25）分别。最优控制策略u*（t） 对于问题（P∞LQ）智能开关单元*（t）=^K*x（t）如果x（t）≥ 0-\'\'K*x（t）如果x（t）<0（26）且有^K*和“K”*给出人，^K*= arg水貂∈~K^f（K，^G*) （27）千*= arg水貂∈K'f（K，'G*). （28）此外，问题的最优目标值（P∞LQ）由v（P）给出∞LQ）=x（0）^G*{x（0）≥0}+(R)G*{x（0）<0}. （29）此外，在平稳最优控制策略（26）下，闭环系统（3）是L-渐近稳定的，即limt→∞E[（x*（t） ）]=0。证据我们首先表明，随着时间范围T的增加，问题的最优目标值（AT）不会减少。

我们假设策略▄u（·）解决了问题（AT+τ），而▄x（·）是相关的状态轨迹，这导致了以下不等式，v（AT+τ）=EZT+τ~u（t）~x（t）Q~u（t）~x（t）dt公司≥ EZT公司~u（t）~x（t）Q~u（t）~x（t）dt公司≥ v（AT），（30），其中最后一个不等式来自以下事实，即截断策略u（t）| Tt=0只是问题（AT）的可行策略。根据表达式（21）和（30），它有^G（0；T+τ）≥^G（0；T）和'G（0；T+τ）≥\'G（0；T）。因此，很难看出^G（0；T）和^G（0；T）都不会随着T的增加而减少。当存在统一的上界M，使得任何T的^G（0；T）<M和‘（0；T）<M时，非减量序列^G（0；T）和‘（0；T）将随着T的进入而收敛。接下来，我们证明极限^G*和'G*满足方程式（22）和（23）。介绍t的以下方程式∈ [0, ∞):˙^G+（t）=-^G+（t）CC- 2^G+（t）A- q- 水貂∈K^ft、 K，^G+（t）, （31）G+（t）=-\'G+（t）CC- 2？G+（t）A- q- 水貂∈K'ft、 K，\'G+（t）, （32）式中，^G+（0）=0和^G+（0）=0，其中^f（t，K，^G+（t））和^f（t，K，G+（t））定义如下，^f（t，K，G+（t））=K^G+（t）DD+RK+2^G+（t）CD+^G+（t）B+SK、 \'f（t，K，\'G+（t））=K(R)G+（t）DD+RK- 2.\'G+（t）CD+\'G+（t）B+SK、 根据引理2，对于任何T>0，我们得到以下结果，^G（T；T）=^G+（T- t） ，\'G（t；t）=\'G+（t- t） ，对于t∈ [0，T]。在上述方程式中取t=0，则得出t的^G（0；t）=^G+（t），(R)G（0；t）=G+（t≥ 也就是说，研究^G（0；T）和'G（0；T）相对于T的渐近性质等同于研究^G+（T）和'G+（T）相对于T的渐近性质。由于存在^G（0；T）和^G（0；T）的极限，因此它具有极限→∞˙^G+（t）=0和极限→∞G+（t）=0。因此，等式（31）和（32）分别变为（22）和（23）。最后，我们证明了闭环系统（3）在平稳最优策略u下是渐近稳定的*（t） 。

当x（t）时≥ 0，将[7]中的公式（9）应用于以下具有平稳最优策略（26）的表达式，dx（t）=2A+CC+2（B+CD）^K*+ （^K*)DD^K*×x（t）dt+（2C+2（^K*)D） x（t）dW（t）。根据上述SDE的预期得出todE【x（t）】dt=^N（^K*)E[x（t）]其中^N（K）=2A+CC+2（B+CD）K+（K）DDK.将上述方程与（22）的产率进行比较，G*^N（^K*) = -[q+（^K*)R^K*+ 2S^K*]= -^K*Q^K*.从Q0和G*>0，我们得到^N（^K*) < 0，这将进一步导致→+∞E[x*（t） {x*（t）≥0}] = 0.类似地，当x（t）<0时，我们可以证明*) < 0，带N（K）=2A+CC- 2（B+CD）K+（K）DDK.在这种情况下，它有限制→+∞E[x*（t） {x*（t） <0}]=0。总的来说，它有局限性→+∞E[x*（t） ]=0，这就完成了证明。2在定理3中，我们可以使用数值方法来求解方程（22）和（23）。定义与方程式（22）和（23）相关的以下函数，^F（^G）=-^GCC- 2^GA- q- 水貂∈~K^f（K，^G），（33）f（\'G）=-“”GCC- 2英寸GA- q- 水貂∈K'f（K，'G）。（34）显然，解方程^F（^G）=0和'F（'G）=0提供了解^G*和'G*. 我们以方程（22）为例来说明牛顿迭代法的主要思想。设^Gk>0为第k次迭代的解，梯度为^F（^Gk）。请注意，以下方程式y-^F（^Gk）=^F（^Gk）（z-^Gk），描述了通过点（^Gk，^F（^Gk））的直线与坡度{y，z}空间中的^F（^Gk）。该方程是原始方程^F（^G）=0在点^Gk处的线性近似值。让y=0给出这条线与0的交点，并为我们提供下一次迭代的解，^Gk+1=^Gk-^F（^Gk）/^F（^Gk）。方程^F（^G）=0的解可以通过重复此过程获得，直到满足某些标准。我们在算法1中总结了此过程。

上述程序可通过将^F（^G）替换为‘‘F（’G）来简单修改方程式（23）。5动态均值-方差投资组合选择中的应用在本节中，我们使用第3节中提供的求解方法来解决经过训练的动态MV投资组合选择问题。我们考虑一个有n项风险资产和一项无风险资产的金融市场。无风险资产的价格为S（t），由以下等式决定：，dS（t）=r（t）S（t）dt，t∈ [0，T]，S（0）=S>0，^F（^Gk）的梯度可近似为，^F（^Gk）≈^F（^Gk+)-^F（^Gk）对于某些数字.算法1（22）的迭代解法要求：参数A、B、C、D、R、S和q、初始解^G+、参数 > 0和最大迭代次数Imax。确保：1：让k← 0，^Gk←^G+；2： 计算^F（^Gk）；3： 如果（|^F（^Gk）|<), 停止，返回溶液^Gk；否则进入下一步；4： 计算^F（^Gk）和^Gk+1=^Gk-^F（^Gk）/^F（^Gk）5:k→ k+1，如果k>Imax，则转到下一步，否则转到步骤2；6： 未能找到方程（22）的解。其中，r（t）>0是无风险回报率。n项风险资产的价格满足SDE，dSi（t）=Si（t）{ui（t）dt+Pnj=1σij（t）dWj（t）}，Si（0）=Si>0，其中ui（t）>0和σij（t）分别是升值率和波动系数。Letu（t）：=u（t），···，un（t）和σ（t）：=σ（t）··σ1n（t）··σn1（t）··σnn（t）,对于所有t∈ [0，T]。我们假设r（t）、u（t）和σ（t）是时间的确定性函数，并且它们对t有界∈ [0，T]。我们还假设以下非退化条件适用于某些常数δ>0，σ（t）σ（t）≥ δI，t∈ [0，T]。投资者以初始财富X进入市场，并在投资期内持续分配该财富【0，T】。