约束随机线性二次控制的显式解

统计分离理论为了推导问题的有效解（PTLQ），我们首先引入与控制约束集Ut（xt），Kt相关的以下集合：={K∈Rn | HtK≤dt}，对于t=0，···，t- 对于问题（PTLQ），我们进一步介绍了t=0，1，···，t的三个辅助优化问题（Pt），（^Pt）和（(R)Pt）- 1如下，（Pt）分钟∈Utgt（u，x，y，z），（6）（^Pt）水貂∈Kt^gt（K，y，z），（(R)Pt）水貂∈Kt'gt（K，y，z），用于模型（P∞LQ），因为{A，B}随时间而独立，我们只需将符号E[·]简化为E[·]。2018年11月7日《乳胶类薄膜绘图杂志》，第XX卷，第X期，2015年8月8日，其中X∈ R是Ft可测随机变量，y∈ R+和z∈ R+是Ft+1-可测随机变量，gt（u，x，y，z）：Rn×R×R+×R+→ R、 ^gt（K，y，z）：Rn×R+×R+→R和'gt（K，y，z）：Rn×R+×R+→ R、 分别定义为GT（u、x、y、z）：=Eth用户体验′计算机断层扫描用户体验+ （Atx+Btu）×y1{Atx+Btu≥0}+z1{Atx+Btu<0}i、 （7）^gt（K，y，z）：=EthK′计算机断层扫描K+ （At+BtK）×y1{At+BtK≥0}+z1{At+BtK<0}i、 （8）(R)gt（K，y，z）：=Eth-K′计算机断层扫描-K+ （位于- BtK）×y1{在-BtK公司≤0}+z1{在-BtK>0}i、 （9）自Ct以来 0，gt（u，x，y，z）始终成立≥ 0，^g（K，y，z）≥ 0和g（K、y、z）≥ 在给出主要结果之前，我们先给出以下引理。引理1。函数gt（u，x，y，z）是关于u的凸函数，而^gt（K，y，z）和^gt（K，y，z）都是关于K的凸函数。检查函数gt（u，x，y，z）相对于ugives上升的梯度和Hessian矩阵ugt（u，x，y，z）=第2个（Rtu+Stx）+B′tAtx+Btu×y1{Atx+Btu≥0}+z1{Atx+Btu<0}i（10）在下一部分中，我们需要计算函数Et[f（u）]相对于u的偏导数。在某些mildconditions下，我们总是可以通过在期望值内取f（u）的导数来计算导数。

[33]的定理1.21中给出了保证微分和期望可交换性的技术条件。2018年11月7日《乳胶类薄膜绘图杂志》，第XX卷，第X期，2015年8月9日和ugt（u，x，y，z）=第2个Rt+yB′tBt{Atx+Btu≥0}+Rt+zB′tBt{Atx+Btu<0}i=EthRt+y1{y≤z} +y1{y>z}B′tBt{Atx+Btu≥0}+z1{y≤z} +z1{y>z}B′tBt{Atx+Btu<0}i.（11）注意以下两个不等式始终成立，y1{y>z}>z1{y>z}，z1{y≤z}≥ y1{y≤z} 。（12） 利用上述不等式，并注意到y>0和z>0，我们可以重新排列（11）的项，得出以下结论：ugt（u、x、y、z） Et公司Mt公司, 其中MT=Rt+y1{y≤z} +z1{y>z}B′tBt。（13） 假设1意味着Et【B′tBt】 0和Rt 0、此外y1{y≤z} +z1{y>z}是正随机变量。这些条件保证Et【Mt】 0，这进一步意味着ugt（u、x、y、z） 也就是说，gt（u，x，y，z）是u的三重凸函数。当我们也可以对^gt（K，y，z）和'gt（K，y，z）应用相同的过程来证明它们相对于K的凸性时，我们省略了这里的详细证明。引理1的一个直接含义是，所有（Pt）、（^Pt）和（(R)Pt）都是凸优化问题，因为它们的目标函数是凸的，并且它们的约束ts与决策变量是线性的。我们可以看到，问题（Pt）依赖于随机状态xt，而问题（^Pt）和（(R)Pt）则不依赖于随机状态xt。也就是说，一旦给出{At，Bt}T随机过程的具体描述，问题（^Pt）和（(R)Pt）就可以离线解决-1t=0。此外，现有的现代数值方法可以有效地解决这两个凸优化问题。下面的结果说明了问题（Pt）、（^Pt）和（(R)Pt）之间的关系，这在开发问题的显式解（PTLQ）中起着重要作用。定理1。

对于任何x∈ R、 问题的最优解（Pt）isu*（十）=^Kx如果x≥ 0，\'Kx如果x<0，（14）2018年11月7日《乳胶类纤维学报》，第XX卷，第x期，2015年8月10日，其中^K和\'K分别定义为^K=arg minK∈Kt^gt（K，y，z），\'K=arg貂∈Kt'gt（K，y，z），最佳目标值为v（Pt）=x^gt（^K，y，z）1{x≥0}+(R)gt（(R)K，y，z）1{x<0}. （15） 证明：由于问题（Pt）是凸的，一阶opti-mality条件足以确定最优解（例如，参见[34]中的定理27.4]）。如果u*是最佳解决方案，应满足ugt（u*, x、 y，z）′（u- u*) ≥ 0，用于 u∈ Ut，（16）其中ugt（u、x、y、z）在（10）中给出。请注意，条件（16）取决于状态x。因此，我们考虑以下三种不同的情况。（i） 我们首先考虑x>0的情况。设^K为问题的最优解（^Pt），满足以下一阶最优性条件，K^gt（K，y，z）′（K-^K）≥ 0，用于 K∈ Kt，（17）其中K^gt（K）定义为K^gt（K，y，z）=第2个（Rt^K+St）+B′t（At+Bt^K）×y1{At+Bt^K≥0}+z1{At+Bt^K<0}i、 （18）如果我们让你*= 好的，不难验证*满足约束u*∈ u和（Pt）的一阶优化条件*返回（16）并使用条件（17）。也就是说，u*解决x>0时的问题（Pt）。替换u*返回到（7）给出了（Pt）的最佳目标值为gt（u*, x、 y，z）=x^gt（^K，y，z）。（ii）对于x<0的情况，我们考虑问题的一阶最优性条件（(R)gt），K'gt（'K，y，z）'（Kt-\'Kt）≥ 0，用于 千吨级∈ Kt，其中K'gt（'K，y，z）定义为：，K'gt（'K，y，z）=第2个（Rt'K+St）+B′t（At- 英国电信（K）×y1{在-B’t’K≤0}+z1{在-Bt'K>0}i、 2018年11月7日《乳胶类薄膜绘图杂志》，第XX卷，第X期，2015年8月11日同样，让我们*= -好的。我们可以验证*满足约束u*∈ u和问题（Pt）的最优性条件（16）。

因此，u*解决x<0的问题（Pt），最佳目标值为gt（u*) = x'gt（'K）。（iii）当x=0时，（Pt）的目标函数（7）变为（u，0，y，z）=Ethu′Rtu+u′B′tBtuy1{Btu≥0}+z1{Btu<0}i、 （19）根据（12）中的不等式，我们没有+yB′tBt{Btu≥0}+zB′tBt{Btu<0} Mt，其中Mt在（13）中定义。注意，（19）从下方以bygt（u，x，y，z）| x=0为界≥ u’Et【Mt】u≥ 如我们所示，Et【Mt】 0，gt（u*, 0，y，z）=仅当u*= 0n×1。很明显，u*= 0n×1也满足约束Ut。也就是说，u*= 当x=0时，0n×1解决问题（Pt）。综上所述，p问题（Pt）的最优解可以表示为（14），最优目标值可以表示为（15）。B、 问题的显式解（PTLQ）借助定理1，我们可以得到问题的显式解（PTLQ）。我们首先产生以下两个随机序列，^G，^G，···，^GTand‘‘G，’G，·····，’GT，其向后递归定义如下：=minKt∈Kt^gt（Kt，^gt+1，’gt+1），（20）’gt：=minKt∈Kt'gt（Kt，^gt+1，'gt+1），（21），其中，对于t=t，在（8）和（9）中分别定义了^gt（···）和'gt（···）- 1，··，0，边界条件为^GT=(R)GT=qT。显然，^Gtand'gtft是可测量的随机变量。定理2。时间t的最优控制策略（PTLQ）是一个线性反馈策略*t（xt）=^K*txtif xt≥ 0,-\'\'K*txtif xt<0，（22）2018年11月7日《乳胶类薄膜绘图杂志》，第XX卷，第X期，2015年8月12日，其中^K*tand'K*皮重定义为，K*t=arg minKt∈Kt^gt（Kt，^gt+1，\'gt+1），\'K*t=arg minKt∈Kt'gt（Kt，^gt+1，'gt+1），其中{gt}'Tt=0和{gt}'Tt=0分别在（20）和（21）中给出，对于t=0，··，t，则'gt>0和'gt>0- 1、F u r更重要的是，问题的最优目标值（PTLQ）为v（PTLQ）=x^G{x≥0}+(R)G{x<0}. （23）证明：我们通过调用动态规划来证明这个定理。

在任何时间t=0，···，t，问题的值函数（PTLQ）定义为vt（xt）：=分钟，ut+1，··，ut-1台TXk=tukxk公司′Ck公司ukxk公司,s、 t.{xk，英国}对于k=t，···，t，满足度（1）和（2）- 1、根据Bellmen最优原则，价值函数Vt（xt）满足回归，Vt（xt）=分钟∈美国犹他州utxt公司′计算机断层扫描utxt公司+ Et[Vt+1（xt+1）]。（24）通过使用数学归纳法，我们证明以下权利要求是正确的，Vt（xt）=xt（^Gt{xt≥0}+(R)Gt{xt<0}）（25）对于t=t，t- 1，···，1，其中^gt和'gt分别满足（20）和（21）中的递归。显然，在时间t=t时，值函数是vt（xT）=qTxT。正如我们定义的^GT=(R)GT=qT，索赔（25）是真实的。现在，我们假设权利要求（25）在时间t+1时为真，Vt+1（xt+1）=xt+1（^Gt+1{xt+1≥0}+(R)Gt+1{xt+1<0}）。根据（24）和时间t时gtin（7）的定义，我们得到vt（xt）=分钟∈Utgt（ut，xt，^Gt+1，’Gt+1），2018年11月7日，《乳胶类纤维学报》，第XX卷，第X期，2015年8月13日，这只是（6）中给出的sam e问题，分别用^Gt+1和‘Gt+1替换y和z。通过定义^Gt=^Gt（^K），我们得到了（22）中的结果，并且（25）中的声明在时间t时为真*t、 ^Gt+1，\'Gt+1）和\'Gt=\'Gt（\'K*t、 上述定理表明，方程组（20）和（21）与经典LQG优化问题的Riccati方程起着相同的作用。在接下来的部分中，我们将（20）和（21）的空气命名为扩展的Riccati方程。此外，当没有控制约束时，这两个方程将合并为（26）中的一个方程，后面在第III-C节中介绍*求解（20）和（21）的^K*tand'K*t、 分别针对每个t=t- 1, · · · , 0 .

一般来说，一旦{At}| T的随机过程-1t=0和{Bt}| T-1t=0是特定的，我们可以使用以下程序来计算K*tand^K公司*t： 算法1^K最佳增益的计算*tand'K*t1：Let^GT← qT，(R)GT← qT。2： 对于k← T- 1，T- 2，···，0 do3：解决^K的问题ems（20）和（21）*坎特郡*k4： 计算^Gk← ^gk（^Kk，^gk+1，\'gk+1）(R)gk← \'\'gk（\'Kk，^gk+1，\'gk+1）5：结束注意，如果{At}| T-1t=0和{Bt}| T-1t=0在时间上是统计上独立的，则^gt（···）和'gt（···）中的所有条件期望将退化为无条件期望，从而生成{gt，'gt}和{K的确定性对*t、 \'\'K*t} 。但是，如果{At}| T-1t=0或{Bt}| T-1t=0随时间连续相关，所有条件期望Et[·]取决于过滤Ft，或者换句话说，所有这些对也是随机变量。在这种情况下，通常需要数值方法来离散样本空间，并解决每个样本路径的（20）和（21）两个问题。2018年11月7日《乳胶类薄膜绘图杂志》，第XX卷，第X期，2015年8月14C。无控制约束的问题解决方案（PTLQ）如果（PTLQ）中没有控制常数t，即Ht=0，则可将定理2简化为：对于所有t=t- 1、··、0，解决问题（^Pt）和（(R)Pt）产生^Gt=(R)Gtand^K*t型=-\'\'K*t、 分别为。让K*t： =^K*tand Gt=^Gt，对于t=t- 1, · · · , 0. 因此，我们有以下明确的控制策略。提案1。当问题（PTLQ）中没有控制约束时，最优控制变为*t=-Rt+Et【Gt+1B′tBt】-1（Et[Gt+1AtB′t]+St）xt，对于t=t- 1，···，0，其中Gt定义为Gt=qt+Et[Gt+1At]- （St+Et[Gt+1AtB′t]））\'×（Rt+Et[Gt+1B′tBt]）-1（St+Et[Gt+1AtB′t]），（26）Gt=qT。命题1是文献[1]中推论5的推广，它解决了收益相关的动态均值-方差组合控制问题。四、

问题的最优解（P∞LQ）在本节中，我们为（P∞LQ）。主要的id ea是通过将时间范围扩展到有限范围来研究相应有限范围问题的解的渐近行为。更具体地说，我们考虑了以下有关单位HORIZON，（AT）min{ut}| T的问题-1t=0ET-1Xt=0utxt公司′Cutxt公司s、 t.{xt，ut}满足（4）和（5），对于t=0，···，t- 1，其中xis给定。显然，（AT）变成（P∞LQ）当T变为单位时。当我们假设{AT，Bt}为i.i.d，qT=0时，问题（AT）可以被视为第三节研究的p-ro-b-lem（PTLQ）的特例。因此，定理2可以应用于s olve（AT）。为了研究不同时间范围T的（AT），我们使用符号{GT，GT，···，GTT}和{GT，'GT，····，'GTT}表示递归的输出（20）和（21），分别与2018年11月7日的《乳胶类纤维学报》（DRAFTJOURNAL of LATEX CLASS FIL），第二十卷，第十期，2015年8月15日条件'GTT='GTT=0。根据定理2，p问题（AT）的最优值可以表示为v（AT）=x^GT{x≥0}+(R)GT{x<0}. （27）正如xis所知，最佳值v（AT）为x^GT或x'GT。输出序列{GTt}| Tt=0和{GTt}| Tt=0具有以下属性。引理2。考虑一些k的问题（AT）和（AT+k）∈ {1, 2, · · · }. 如果{GT、··、GTT}、{GT、··、·GTT}和{GT+k、··、GT+kT+k}、{GT+k、·GT+k、·GT+kT+k}分别是这两个问题的递归（20）和（21）的输出，那么对于所有t，GTT=GT+kT+k、·GTT=·GT+kT+k=0，1，···，t- 引理2的证明很简单，分别将定理2应用于问题（AT）和（AT+k），并注意到递归（20）和（21）的相同边界条件^GTT=^GT+kT+k=0和'GTT='GT+kT+k=0。

引理2基本上表明，解序列{GTt}| Tt=0和{GTt}| Tt=0是TIME-齐次的，即这两个序列的值不依赖于精确的时间t，而是依赖于（20）和（21）中的总递归数。设K：={K∈Rn |香港≤d} 。现在我们给出了问题（P∞LQ）。定理3。对于问题（AT），如果存在一些M>0，使得任何T的^GT<M和'GT<M，则以下方程组包含一对解，^G*> 0和'G*> 0，^G*:= 水貂∈K^g（K，^g*,\'\'G*), （28）克*:= 水貂∈K'g（K，^g*,\'\'G*), （29）式中^g（K，y，z）：Rm×R+×R+→ R+和'g（K，y，z）：Rm×R+×R+→ R+定义为^g（K，y，z）=EhK′CK+ （A+BK）×y1{A+BK≥0}+z1{A+BK<0}i、 （30）’g（K，y，z）=Eh-K′C-K+ （A）- 黑色）×y1{A-黑色≤0}+z1{在-BtK>0}i、 （31）2018年11月7日《乳胶类薄膜绘图杂志》，第XX卷，第X期，2015年8月16日和政策*t=^K*xt{xt≥0}+(R)K*xt{xt<0}，（32）t=0，····，∞, 解决问题（P∞LQ），其中^K*= arg水貂∈K^g（K，^g*,\'\'G*), （33）千*= arg水貂∈K'g（K，^g*,\'\'G*). （34）此外，在最优控制u*t闭环系统，xt+1=xtA+B（^K*{xt≥0}+(R)K*{xt<0}）, 是L-渐近稳定的，即limt→∞E[（x*t） ]=0。证明：我们首先证明，当t增加时，问题的最优值（AT）是不变的。假设最优控制策略{ut}| Tt=0解决了问题em（AT+1）。很明显，v（AT+1）=ETXt=0utxt′Cutxt≥ ET-1Xt=0utxt′Cutxt≥ v（AT）。（35）同时应用（35）和（27）会产生^GT+1≥^GTand^GT+1≥(R)GT。因此，^gt和'gt是关于T的非减量序列。如果存在M，使得任何T的^GT<M和'GT<M，则存在^GT和'GT的两个极限。我们表示^G∞:= 限制→∞^GTand？G∞:= 限制→∞(R)GT。现在，我们分别推导出^GT和^GT+1之间的关系，以及^GT和^GT+1之间的关系。

问题（AT+1）的值函数V（x）由（25）得出，V（x）=x^GT+1{x≥0}+(R)GT+1{x<0}= x个^GT{x≥0}+(R)GT{x<0}），（36），其中最后一个等式来自引理2。然后在时间t=0时，递归（24）表示v（x）=min∈U（x）Eutxt公司′Cutxt公司+ V（x）. （37）替换g（36）至（37）将（37）的目标函数改写为（7）中定义的gt（u，x，^gt，(R)gt）。因此，应用定理1得到问题（37）的最优值asV（x）=x（^GT+1{x≥2018年11月7日，胶乳类薄膜DRAFTJOURNAL，第XX卷，第x期，2015年8月17日，其中，^GT+1和^GT+1由^GT+1=minK给出∈K^g（K，^GT，'GT），（38）'GT+1=貂∈K'g（K，^GT，'GT）。（39）当T转到∞, 如果^gt和^gt的极限都存在，则方程（38）和（39）将分别转化为方程（28）和（29）。在这种情况下，平稳最优策略（32）变为最优，其中对应的^K*和“K”*分别是（28）和（29）的最小值。接下来我们展示了在最优控制下*t、 闭loo-p系统（3）是渐近稳定的。在任何时候，我们首先假设x*t型≥ 0。那么，x*t+1=（A+B^K*)x个*t以下等式成立，E（十）*t+1）（^G*{x*t+1≥0}+(R)G*{x*t+1<0}）- （十）*t） ^G*= E（十）*t） （A+B^K*)^G*{A+B^K*≥0}+(R)G*{A+B^K*<0}- （十）*t） ^G*= -（十）*t）^K*′C^K*, （40）最后一个等式来自（28）。当xt<0时，我们可以导出类似的等式E[（x*t+1）（^G*{x*t+1≥0}+(R)G*{x*t+1<0}）]- （十）*t） \'\'G*= -（十）*t）-\'\'K*′C-\'\'K*. （41）将（40）和（41）组合在一起可提高脚趾（十）*t+1）（^G*{x*t+1≥0}+(R)G*{x*t+1<0}）- （十）*t） （^G*{x*t型≥0}+(R)G*{x*t<0}）=-（十）*t）^J1{x*t型≥0}+(R)J1{x*t<0}, （42）其中^J=^K*′C^K*,\'\'J=-\'\'K*′C-\'\'K*.2018年11月7日《乳胶类滤材绘图杂志》，第XX卷，第。

十、 2015年8月18日，申请（42）次成功，并取得预期的雅思成绩，E[（X*t+1）（^G*{x*t+1≥0}+(R)G*{x*t+1<0}）]=x（^G*{x≥0}+(R)G*{x<0}）-tXk=0Eh（x*k）^J1{x*k≥0}+(R)J1{x*k<0}i、 （43）自^G起*≥ 0和'G*≥ 0，则（43）的左侧对于所有t都是非负的。因此，limt→∞Eh（x*t）^J1{x*t型≥0}+(R)J1{x*t<0}i=0。（44）根据假设3，我们知道^J>0和'J>0。因此，（44）意味着限制→∞E[（x*t） ]=0。虽然定理3描述了（P∞（28）和（29）的解的存在条件不容易检验。受[35]中命题4.1和7的启发，我们可以采用以下算法来检查（28）和（29）在实际应用中是否存在解。算法2迭代解满足（28）和（29）的方法要求：A和B的分布信息、阈值d参数>0和最大迭代次数Imax。确保：1：让我← 0，^Gi← 0和“Gi”← 0.2：计算^Gi+1← 水貂∈K^g（K，^Gi，\'Gi），（45）\'Gi+1← 水貂∈K'g（K，^Gi，'Gi）。（46）3：如果| Gi+1-^Gi |≤ 和Gi+1-\'Gi |≤ ，转至步骤6；4： 如果i>Imax，则转至步骤7；5： 让我← i+1并转至步骤2；6： 返回^G*←^Gi+1，(R)G*←？Gi+1和^K*和“K”*分别按（33）和（34）计算；7： 方程（28）和（29）没有解。2018年11月7日《乳胶类薄膜绘图杂志》，第XX卷，第X期，2015年8月19日，针对问题（P∞LQ），由于控制约束，我们需要在算法2中使用迭代过程来检查（28）和（29）是否允许溶液。然而，可以导出一些充分条件来保证解的存在。在我们给出我们的结果之前，值得一提的是一些经典的结果。对于经典的LQG问题，众所周知，系统的能控性和能观性都保证了相应代数Riccati方程解的存在性。