约束随机线性二次模型的最优控制

相似文件 换一批

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

英文标题：
《Optimal Control of Constrained Stochastic Linear-Quadratic Model with
  Applications》
---
作者：
Weiping Wu and Jianjun Gao and Junguo Lu and Xun Li
---
最新提交年份：
2018
---
英文摘要：
  This paper studies a class of continuous-time scalar-state stochastic Linear-Quadratic (LQ) optimal control problem with the linear control constraints. Applying the state separation theorem induced from its special structure, we develop the explicit solution for this class of problem. The revealed optimal control policy is a piece-wise affine function of system state. This control policy can be computed efficiently by solving two Riccati equations off-line. Under some mild conditions, the stationary optimal control policy can be also derived for this class of problem with infinite horizon. This result can be used to solve the constrained dynamic mean-variance portfolio selection problem. Examples shed light on the solution procedure of implementing our method.
---
中文摘要：
研究了一类具有线性控制约束的连续时间标量状态随机线性二次（LQ）最优控制问题。应用由其特殊结构导出的状态分离定理，我们得到了这类问题的显式解。所揭示的最优控制策略是系统状态的分段仿射函数。通过离线求解两个Riccati方程，可以有效地计算出该控制策略。在一些温和的条件下，对于这类具有无限时域的问题，也可以导出平稳最优控制策略。该结果可用于求解约束动态均值-方差投资组合问题。实例说明了实现我们的方法的求解过程。
---
分类信息：

一级分类：Quantitative Finance        数量金融学
二级分类：Portfolio Management        项目组合管理
分类描述：Security selection and optimization, capital allocation, investment strategies and performance measurement
证券选择与优化、资本配置、投资策略与绩效评价
--
一级分类：Computer Science        计算机科学
二级分类：Systems and Control        系统与控制
分类描述：cs.SY is an alias for eess.SY. This section includes theoretical and experimental research covering all facets of automatic control systems. The section is focused on methods of control system analysis and design using tools of modeling, simulation and optimization. Specific areas of research include nonlinear, distributed, adaptive, stochastic and robust control in addition to hybrid and discrete event systems. Application areas include automotive and aerospace control systems, network control, biological systems, multiagent and cooperative control, robotics, reinforcement learning, sensor networks, control of cyber-physical and energy-related systems, and control of computing systems.
cs.sy是eess.sy的别名。本部分包括理论和实验研究，涵盖了自动控制系统的各个方面。本节主要介绍利用建模、仿真和优化工具进行控制系统分析和设计的方法。具体研究领域包括非线性、分布式、自适应、随机和鲁棒控制，以及混合和离散事件系统。应用领域包括汽车和航空航天控制系统、网络控制、生物系统、多智能体和协作控制、机器人学、强化学习、传感器网络、信息物理和能源相关系统的控制以及计算系统的控制。
--

---
PDF下载：
--> Optimal_Control_of_Constrained_Stochastic_Linear-Quadratic_Model_with_Applications.pdf (576.21 KB)

2022-6-10 03:23:19 上传

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：最优控制 Optimization Experimental Quantitative Implementing

约束随机线性二次模型的最优控制及其应用？魏平Wua、建军Gaob、，*, 卢俊国，中国上海交通大学自动化系，中国上海财经大学信息管理与工程学院，中国香港理工大学应用数学系，本文研究了一类具有线性控制约束的连续时间标量状态随机线性二次（LQ）最优控制问题。应用由其特殊结构导出的状态分离定理，我们得到了这类问题的显式解。所揭示的最优控制策略是系统状态的一个分段函数。通过求解两个Riccati方程，可以有效地计算出该控制策略。在一些温和的条件下，对于这类具有不完全水平的问题，也可以导出平稳最优控制策略。该结果可用于求解约束动态均值-方差组合选择问题。实例说明了实现我们的方法的求解过程。关键词：线性二次调节器，最优控制，随机控制，金融系统？这项研究工作得到了国家自然科学基金61573244的部分资助。*通讯作者。电子邮件地址：godream@sjtu.edu.cn（吴卫平），高。jianjun@shufe.edu.cn（高建军），jglu@sjtu.edu.cn（陆军国），李。xun@polyu.edu.hk（李迅）。本文研究了连续时间随机标量状态系统的约束线性二次型（LQ）控制问题。

毫无疑问，LQ类型的控制模型（参见，例如，[14][21][4]）在理论研究和各种应用中都发挥着重要作用（[1][19][24][16]），这主要是由于其优雅的结构。从解的角度来看，连续时间LQ最优控制是通过求解一个无约束凸二次优化问题来实现的，该问题允许闭式解。线性反馈控制策略和相应的Riccati方程自然由此结构产生。然而，在实际应用中，控制约束是不可避免的，例如，系统通常受到执行者的物理限制或经济监管限制。一般来说，包含控制约束通常会破坏LQ控制的优雅结构，即控制策略的封闭形式不再可用。在文献中，有许多研究约束随机LQ控制问题的控制策略的工作。然而，即使对于具有简单非负控制约束的确定性系统（例如，控制策略是非负的），也没有封闭形式的解决方案（例如，参见[6][11]）。对于离散时间约束LQ控制模型，只能针对某些特殊情况开发分析控制策略。例如，Gao等人[10]研究了在总控制周期上具有基数约束的确定性LQ控制模型。他们应用动态规划来制定半解析控制策略。Bemporad等人[2]研究了在状态和控制上都具有一般线性不等式约束的确定性LQmodel。利用所提出的参数规划方法，他们得到了一个明确的解决方案。然而，即使问题的规模不大，这种方法也可能会承受沉重的计算负担。最近，Wu等人。

[22]采用状态分离定理，对一类带乘性噪声系统的约束离散时间随机LQ最优控制问题给出了显式的控制策略。除了这些特殊情况外，所谓的模型预测控制（MPC）方法（例如，见[3][18]）已经很好地建立起来，用于描述近似控制策略。对于求解约束随机LQ控制模型的MPC方法的最新发展，读者可参考文献[20][3][17]进行全面调查。据我们所知，在目前的文献中，研究连续时间约束随机LQ控制问题的解析控制策略的工作很少。虽然可以用一般的最优conFor和经典的离散时间LQ控制模型来建立这类问题的最优性条件，但我们需要解决一系列无约束的凸二次规划问题。trol理论（参见，例如，[23][19]），分析控制策略仅适用于某些特殊的结构化问题。动态平均方差（MV）投资组合选择问题就是其中之一。研讨会工作【24】首先将经典的MV投资组合选择模型扩展到连续时间设置，并使用随机控制方法制定最优投资组合策略。按照这条思路，Li等人[16]解决了无卖空约束（或等效的非负控制约束）的投资组合优化问题。他们将该问题转化为约束LQ控制问题，并通过构造相关Hamilton-Jacobi-Bellman（HJB）方程的粘度解来发展半解析解。基于动态编程，Cui等人。

[8] [9]分别在无短路约束和圆锥约束的离散时间模型下开发了此类问题的解决方案。对于约束随机LQ控制问题，Hu等人[13]采用倒向随机微分方程（BSDE）方法来描述具有锥约束控制问题的解析解。最近，Hu等人[12]描述了具有输入约束的LQmean-field博弈的解析解。我们的工作有助于发展约束随机LQ控制问题的控制策略。这项工作的贡献包括几个方面。首先，对于有限时间范围的问题，我们成功地导出了一类具有一般线性约束的随机LQ控制问题的解析解。这种类型的约束超出了[9][13]中考虑的锥约束和[8][16]中考虑的非负约束。我们证明了最优控制策略是状态变量的一个函数，可以通过求解两个Riccati方程来有效地计算。其次，对于时间范围内的问题，我们证明了在一些温和的条件下，可以得到平稳的最优控制策略。当存在平稳控制时，我们还提供了一种算法来识别相关代数Riccative方程的解。最后，我们应用这样一个最优控制模型来解决有约束的动态MV投资组合选择问题。基于realmarket数据，我们还提供了一个示例来说明如何在实际应用中使用我们的solutionmethod。本文的组织结构如下。第2节提供了有限时间和有限时间范围内连续时间约束随机LQ控制问题的基本模型。

第3节和第4节分别给出了这两个问题的解析解。第5节致力于推导约束动态MV投资组合选择问题的最优投资政策和有效边界。第6节提供了一些示例，说明如何在实际应用中使用我们的解决方案。最后，第7节对全文进行了总结，并提供了一些进一步的扩展。符号在本文中，我们使用以下基本符号：Rn表示n维实列向量集，Rn×mde表示n×m实矩阵集，R 0（R 0）表示正半定义（正定义）矩阵；0和I分别表示属性维数中的零矩阵（向量）和标识矩阵；1A表示指示器功能，如果条件A为真，则1A=1，否则1A=0。我们使用v（P）来表示任何问题（P）的最优目标值。2问题公式2.1有限时间范围的问题公式在这项工作中，我们考虑以下标量状态线性随机微分方程（SDE），对于∈ [0，T]，dx（t）=A（t）x（t）+B（t）u（t）dt公司+x（t）C（t）+u（t）D（t）dW（t），x（0）=x，（1），其中t是一个有限数，a（t）∈ R、 B（t）∈ Rn，C（t）∈ Rm，D（t）∈ Rn×mare确定性和有界系统矩阵，u（t）∈ Rn是控制向量，x（t）∈ R是系统状态，W（·）是m维标准布朗运动。所有随机性都由一个完整的过滤概率空间建模(Ohm, F、 {Ft}t≥0，P），其中fti是由W（t）生成的增广σ-代数，它表示在t，t时可用的信息集∈ [0，T]。我们将LF（0，T；Rk）定义为fta适应的平方可积随机过程集，即{Ft}T的集≥满足E[RTkf（t）kdt]的0-自适应随机过程f（t）<+∞.

在下一部分中，我们使用Et[·]表示条件期望E[·| Ft]。我们假设容许控制u（·）是平方可积的，即u（·）∈LF（0，T；Rn）。此外，从实际应用出发，容许控制满足以下控制约束Ut（x（t））=u（t）∈ LF（0，T；Rn）H（t）u（t）≤ d（t）| x（t）|（2） 对于t∈ [0，T]，其中H（T）∈ Rk×nand d（t）∈ Rk分别给出了确定性矩阵和向量。为了确保状态x（t）和控制u（t）的可行性的存在，u（t）是所有t的随机变量∈ （0，T），我们假设（2）中给出的不等式应该几乎肯定成立，即对于概率测度为零的情况，不等式的性质无效。为了简化符号，我们在本文中省略了“几乎肯定”一词。控制策略，我们需要以下假设。假设1以下集合，K∈ Rn | H（t）K≤ d（t），H（t）K≤ 0,对于所有t都是非空的∈ [0，T]。不难看出，在假设1下，可行集Ut（x（t））总是非空的。在该模型中，约束集（2）可以自由建模几种类型的控制约束。如果我们设置d（t）=0，H（t）=-一、 约束（2）成为非负约束，即u（t）≥ 0、如果weset H（t）=我-我和d（t）=d（t）-d（t）对于所有t，d（t）>d（t）∈ [0，T]在约束（2）中，它等价于上下界约束d（T）| x（T）|≤ u（t）≤ d（t）| x（t）|，对于所有t∈ [0，T]。此外，如果我们将d（t）=0，则约束（2）将成为锥约束。为了制定性能指标，我们引入以下确定性矩阵和向量R（t）∈ Rn×Nw，带R（t） 0，q（t）∈ R带Q（t）≥0和S（t）∈ Rnfor t公司∈ [0，T），分别表示对控件、系统状态和交叉项的惩罚。让qT∈ 带qT的R≥ 0 bethe终端状态的惩罚。

这些参数可以用更紧凑的公式Q（t）表示：=R（t）S（t）S（t）q（t）对于t∈ [0，T）.我们提出了连续时间内的无质量约束随机LQ控制问题（ICLQ），如下所示，（PTLQ）min{u（T）}| Tt=0EZT公司u（t）x（t）Q（t）u（t）x（t）dt公司+ E[qTx（T）]s.T.{x（T），u（T）}满意度（1）和（2）。为了解决上述问题，我们需要以下假设。假设2假设Q（t） 0和D（t）D（t） t为0∈ [0，T]。注意，假设2要求矩阵D（t）D（t）是非奇异的。这类假设也适用于连续时间MV投资组合选择问题，该问题要求波动系数σ（t）为非退化（请参考[16][24][13]）。此外，假设2还保证了问题（PTLQ）的凸性。2.2有限时间范围内的问题公式我们还对问题的平稳控制（PTLQ）感兴趣，当时间范围T变为有限时。在这种情况下，我们假设所有系统参数，A（t）、B（t）、C（t）和D（t）表示t≥ 0是时不变的，即A（t）=A，B（t）=B，C（t）=C，D（t）=D表示t≥ 0，其中A、B、C和D是适当维数中的常数矩阵（向量）。系统动态（1）变为dx（t）=Ax（t）+Bu（t）dt公司+x（t）C+u（t）D对于t，dW（t），x（0）=x（3）≥ 对于约束（2），我们还假设所有参数都是常数，即￠Ut（x（t））=u（t）∈ LF（0，∞; Rn）|胡（t）≤ d | x（t）|, （4） 对于t≥ 0，其中H∈ Rk×nand d∈ Rnare常数矩阵和向量。与假设1类似，我们提出以下假设以确保约束集的可行性，假设3以下集，K∈ Rn |香港≤ d、 香港≤ 0,是非空的。对于代价函数，我们假设所有矩阵都是时不变的，即Q（t）=Q=R SSq对于任何t∈ [0, ∞), 其中R∈ Rn×n，S∈ Rnand q∈ 分别为稀有常量矩阵、向量和标量值。

然后，我们考虑以下在有限时间范围内的问题，（P∞LQ）min{u（t）}|∞t=0EZ∞u（t）x（t）Qu（t）x（t）dt公司s、 t.{x（t），u（t）}满意度（3）和（4）。对于问题（P∞LQ），我们需要一个更强的假设，要求Q为正定义，假设4假设Q 0和DD 0.3问题的解决程序（PTLQ）在本节中，我们首先提供了一个重要的定理，该定理描述了我们公式的状态分离特性。然后，我们将此结果应用于求解问题（PTLQ）。3.1状态分离性质为了发展问题的解析解（PTLQ），我们需要以下状态分离定理，它可以被视为[16]中发展的定理的推广。我们引入以下与控制约束Ut（x（t））相关的集合，即，K（t）=nK∈ Rn | H（t）K≤ d（t）o，用于t∈ [0，T]。定理1在任意时间t∈ [0，T]，给定一个矩阵Ohm ∈ Rn×N带Ohm  0和向量ω∈ Rn，假设下列问题的解和最优目标值，（^P）minK∈K（t）KOhmK+2ωK和（(R)P）水貂∈K（t）KOhmK- 2ωK，分别是^K与v（^P）和'K与v（'P）。然后给出了一类α的下列问题的解∈ R、 （P（α））分钟∈Ut（α）uOhmu+2αωuisu*(α) =α1{α≥0}^K+|α|1{α<0}\'\'K最佳目标值V（P（α））=αv（^P）1{α≥0}+v（(R)P）1{α<0}. （5） 证明。我们首先考虑α的情况≥ 0、引入拉格朗日乘子β≥ 0表示约束H（t）u≤ |α| d（t）在问题（P（α））中，该问题的Karush-KuhnTucker（KKT）条件（例如，见[5]）为，u*= Ohm-1（αω+H（t）β），H（t）u*≤ d（t）α，H（t）u*- αd（t）iβi=0，βi≥ 0，对于i=1，···，k，（6），其中β=（β，···，βk），u*=（u）*, · · · , u*n） 以及H（t）u*- αd（t）iis向量H（t）u的第i个元素*- αd（t）对于所有i=1，···，k。同样，我们引入了拉格朗日乘数ρ=（ρ，···，ρn）≥ 0表示问题（^P）。

相应的KKT条件如下：，^K=Ohm-1（ω+H（t）ρ），H（t）^K≤ d（t），H（t）^K- d（t）iρi=0，ρi≥ 0，对于i=1，···，k，（7），其中ρ=（ρ，··，ρk），^k=（^k，···，^Kn）和（H（t）^k- d（t））是H（t）^K的第i个元素- d（t）对于所有i=1，···，k。比较两个KKT条件（6）和（7），我们可以使用（7）的解构造KKT条件（6）的解。更具体地说，假设ρ*和^K*解决KKT条件（7）。如果我们让β*= αρ*和u*= α^K，则可以轻松验证该对{u*, β*} 满足KKT条件（6）。也就是说，u*= α^K求解问题（P（α）），最优值为g（u*, α） =α^g（^K）。对于α<0的情况，我们可以采用类似的分析来证明相应的结果。因此，我们省略了细节。2定理1表明，我们可以通过使用问题（^P）和（(R)P）的解来构造问题（P（α））的解。这一结果对于随机动态优化问题具有重要意义。例如，如果α∈ rre表示随机系统中的系统状态（允许正或负），直接解决问题（P（α））很困难，因为α是一个随机变量。然而，通过使用定理1，我们可以分别为^K和'K求解两个确定性优化问题（P）和（'P）o off-line，然后构造问题的解（P（α））。3.2问题解（PTLQ）对于经典的无约束随机LQ控制问题（例如，见[23]），众所周知，对应的Hamilton-JacobiBellman（HJB）方程的解对于系统状态采用二次型，这使我们能够识别解析最优反馈控制律。然而，由于我们的模型（PTLQ）中的限制，传统方法不再适用。此外，相应的HJB方程不再允许光滑解。