约束随机线性二次控制的显式解

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

英文标题：
《Explicit Solution for Constrained Stochastic Linear-Quadratic Control
  with Multiplicative Noise》
---
作者：
Weipin Wu and Jianjun Gao and Duan Li and Yun Shi
---
最新提交年份：
2017
---
英文摘要：
  We study in this paper a class of constrained linear-quadratic (LQ) optimal control problem formulations for the scalar-state stochastic system with multiplicative noise, which has various applications, especially in the financial risk management. The linear constraint on both the control and state variables considered in our model destroys the elegant structure of the conventional LQ formulation and has blocked the derivation of an explicit control policy so far in the literature. We successfully derive in this paper the analytical control policy for such a class of problems by utilizing the state separation property induced from its structure. We reveal that the optimal control policy is a piece-wise affine function of the state and can be computed off-line efficiently by solving two coupled Riccati equations. Under some mild conditions, we also obtain the stationary control policy for infinite time horizon. We demonstrate the implementation of our method via some illustrative examples and show how to calibrate our model to solve dynamic constrained portfolio optimization problems.
---
中文摘要：
本文研究了一类带乘性噪声的标量状态随机系统的约束线性二次型（LQ）最优控制问题，该问题在金融风险管理中有着广泛的应用。模型中考虑的控制变量和状态变量的线性约束破坏了传统LQ公式的优雅结构，并阻碍了文献中明确控制策略的推导。本文利用这类问题结构的状态分离性质，成功地导出了这类问题的解析控制策略。我们发现，最优控制策略是状态的分段仿射函数，可以通过求解两个耦合的Riccati方程离线有效地计算出来。在一些温和的条件下，我们还得到了无限时间范围内的平稳控制策略。我们通过一些示例演示了我们的方法的实现，并展示了如何校准我们的模型以解决动态约束投资组合优化问题。
---
分类信息：

一级分类：Computer Science        计算机科学
二级分类：Systems and Control        系统与控制
分类描述：cs.SY is an alias for eess.SY. This section includes theoretical and experimental research covering all facets of automatic control systems. The section is focused on methods of control system analysis and design using tools of modeling, simulation and optimization. Specific areas of research include nonlinear, distributed, adaptive, stochastic and robust control in addition to hybrid and discrete event systems. Application areas include automotive and aerospace control systems, network control, biological systems, multiagent and cooperative control, robotics, reinforcement learning, sensor networks, control of cyber-physical and energy-related systems, and control of computing systems.
cs.sy是eess.sy的别名。本部分包括理论和实验研究，涵盖了自动控制系统的各个方面。本节主要介绍利用建模、仿真和优化工具进行控制系统分析和设计的方法。具体研究领域包括非线性、分布式、自适应、随机和鲁棒控制，以及混合和离散事件系统。应用领域包括汽车和航空航天控制系统、网络控制、生物系统、多智能体和协作控制、机器人学、强化学习、传感器网络、信息物理和能源相关系统的控制以及计算系统的控制。
--
一级分类：Quantitative Finance        数量金融学
二级分类：Portfolio Management        项目组合管理
分类描述：Security selection and optimization, capital allocation, investment strategies and performance measurement
证券选择与优化、资本配置、投资策略与绩效评价
--

---
PDF下载：
--> Explicit_Solution_for_Constrained_Stochastic_Linear-Quadratic_Control_with_Multi.pdf (302.73 KB)

2022-6-1 08:49:17 上传

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：Optimization Quantitative formulations Successfully Conventional

LATEX CLASS FIL ES杂志，第XX卷，第X期，2015年8月1带乘法的约束随机线性二次控制的解析解IseWeiping Wu，IEEE学生成员，高建军，IEEE成员，段丽，IEEE高级成员，Yun Shi摘要本文研究了一类带乘性噪声的标量状态随机系统的约束线性二次型（LQ）最优控制问题，该问题在金融风险管理中有着广泛的应用。我们模型中考虑的控制变量和状态变量的线性约束破坏了传统LQ公式的优雅结构，并阻碍了文献中迄今为止明确控制策略的推导。本文利用从这类问题的结构中引入的状态分离性质，成功地导出了这类问题的解析控制策略。我们发现，最优控制策略是一个分段的状态函数，可以通过求解两个耦合的Riccati方程进行离线有效计算。在一些温和的条件下，我们还得到了有限时间范围内的平稳控制策略。我们通过一些示例演示了我们方法的实现，并展示了如何校准我们的模型以解决动态约束投资组合优化问题。索引项SW。P、 Wu在中国上海交通大学自动化系工作（电子邮件：godream@sjtu.edu.cn).J、 J.Gao就职于中国上海财经大学信息管理与工程学院（电子邮件：Gao）。jianjun@shufe.edu.cn).D、 Li在香港中文大学系统工程与工程管理系工作（电子邮件：dli@se.cuhk.edu.hk).Y

Shi现就读于中国上海大学管理学院，（电子邮件：yshi@shu.edu.cn).这项研究工作得到了中国国家自然科学基金会61573244和香港研究资助委员会14213716的部分资助。2018年11月7日《乳胶类薄膜DRAFTJOURNAL》，第XX卷，第X期，2015年8月2日，训练线a r二次控制、随机控制、动态均值方差投资组合选择。一、 本文研究了带乘性噪声的离散时间随机标量状态系统的约束线性二次型（LQ）控制问题。过去几年，由于其在不同领域有着广阔的应用前景，包括动态港口管理、金融衍生品定价、模型推广和核传热（参见，例如，[1][2][3]），这一主题受到了越来越多的关注。文献中存在着关于乘性噪声系统的估计和控制问题的各种研究[4][5]。对于具有多重噪声的LQ型随机最优控制问题，研究的重点是LQ公式，该公式对连续时间和离散时间模型的控制和状态变量具有不确定性（参见，例如，[6][7][8][9][10]）。一个有趣的发现是，即使状态和控制的惩罚矩阵都是不确定的，这种带有乘性噪声的模型在某些条件下仍然是适定性的。这类模型的一个重要应用是动态均值方差（MV）投资组合分析[11][12]，它概括了马科维茨在静态投资组合选择方面的经典工作[13]。

例如，请参见[1][14]，了解有关这一主题的一些详细调查，近年来，这一主题已显著增长。LQ型最优控制模型的一个突出优点是其显式控制策略，可通过求解相应的Riccati方程得出。然而，在实际应用中，由于一些物理限制、风险考虑或经济监管限制，必须考虑对控制变量的一些约束。不幸的是，当涉及一些控制约束时，除了少数特殊情况外，约束LQ最优控制模型几乎不存在闭式控制策略。对于确定性LQ控制问题，Gao等人[15]研究了带有基数约束的LQ模型，并得出了半解析解。Bemporad等人[16]提出了一种使用参数编程方法计算显式控制策略的方法，用于状态和控制非等质量约束的模型。然而，当问题的规模增大时，这种方法可能会承受沉重的计算负担。当问题只涉及控制的正约束时，一些学术著作[17][18]提供了描述最优控制策略的最优条件和一些数值方法。2018年11月7日《乳胶类薄膜DRAFTJOURNAL》，第二十卷，第十期，2015年8月3由于在描述显式最优控制方面存在困难，因此更容易通过使用模型预测控制（MPC）方法来制定近似控制策略【19】【20】。MPC背后的主要思想是为开环控制策略在每个时间段解决具有有限水平的子问题，并以滚动水平的方式实现这种控制。

由于每一步只需求解一个静态优化问题，这种模型可以处理一般的凸约束。对于带有乘性噪声的随机ic MPC问题，Primbs等人[3]提出了一种使用半有限规划的方法，并为系统稳定性提供了条件。Bernardini和Bemporad[21]研究了一个具有不同随机场景的类似问题，并通过离线求解二次约束二次规划问题，提出了一些有效的计算方法。Patrinos等人【22】进一步扩展了这种方法，以解决Markovain跳跃问题。读者可以参考[23][24]了解随机系统的MPC的更完整调查。当前文献在获得约束随机LQ型最优控制问题的显式解方面缺乏进展。然而，对于动态MV投资组合选择这类特殊的问题，最近出现了一些有希望的结果。Li等人[25]通过使用偏微分方程的粘性解来描述连续时间MV投资组合选择问题的解析解，而不存在卖空。Huand Zhou[26]的工作使用倒向随机微分方程（BSDE）方法解决了具有标度状态的锥约束连续时间LQ控制问题。Cui等人[27][28]分别在没有短路约束和CONEConstraint的情况下解决了这类问题的离散时间版本。请注意，[27][28]中研究的模型只是本文所研究模型的一些特例。Gao等人[1]推导了带有基数约束的动态投资组合优化模型的解。本文研究了带乘性噪声的标量状态随机系统的约束LQ最优imal控制。

我们工作的贡献包括几个方面。首先，我们推导了这类具有一般线性约束的问题的解析控制律，这超出了[26][28]中研究的锥常数。这种广义约束还包括正约束和负约束，状态相关的上下边界约束作为其特例。我们证明了控制策略是关于状态变量的分段函数，其特征是求解两个具有两个未知量的耦合Driccati方程。其次，我们将这些结果推广到有限范围内的问题。我们提供了对应于2018年11月7日DRAFTJOURNAL of LATEX CLASS FIL ES，VOL.XX，NO.X，2015年8月4代数Riccati方程的解存在的条件，并表明闭环系统在平稳最优控制下渐近稳定。除了理论研究之外，我们还举例说明了如何使用这种模型来解决约束动态均值-方差投资组合优化问题。论文组织如下。第二节提供了随机LQ控制问题的公式，以及有限层和无限层的控制约束。第III节和第IV节分别为这两个问题制定了明确的解决方案。第五节说明了如何应用我们的方法来解决受约束的动态均值-方差组合选择问题。第六节给出了一些数值例子来证明所提出的解决方案的有效性。最后，第七节对本文进行了总结，并提出了一些可能的进一步扩展。符号0n×mand分别表示n×m零矩阵和n×n恒等矩阵，R 0（R 0）表示正半定义（正定义）矩阵，R（R+）表示实（非负实）n个数的集合。

我们用1A表示指示符函数，如果条件A成立，1A=1，否则1A=0。设Et[·]为条件期望E[·| Ft]，Ft为时间t的过滤（信息集）。对于任何问题（P），我们使用v（P）表示其最佳目标值。二、问题公式a。在这项工作中，我们考虑以下标量状态离散线性随机动态系统，xt+1=Atxt+Btut，t=0，1，···，t- 1，（1）其中T是一个有限的正整数，xt∈ R是给定xB的状态，ut∈ Rn是控制向量{At∈ R} | T-1t=0和{Bt∈ R1×n}| T-1t=0是随机系统参数。在上述系统模型中，所有随机性都由一个完全过滤的概率空间建模{Ohm, {Ft}| Tt=0，P}，其中Ohm 是事件集，fti是可用时间t的信息过滤，F={, Ohm}, P是概率测度。更具体地说，随时t∈ {1，···，T}，过滤fti是由{Ak}T的实现生成的最小西格玛代数-1k=0和{Bk}| t-1k=0。也就是说，在我们的模型中，随机参数At和Btarenover2018年12月7日《乳胶类薄膜学报》，第XX卷，第X期，2015年8月5英尺+1可测量任何t=0，···，t- 1、为了简化符号，我们使用Et[·]表示过滤Ft的条件期望。为了保证模型的适定性，我们假设所有At和Bt都是平方可积的，即Et[| At |]<∞ 和Et[kBtk]<∞ 对于所有t=0，···，t- 1、请注意，上述随机动态系统模型非常通用。

例如，它用标量状态空间和乘性噪声覆盖了传统的随机不确定系统。它还包括{At，Bt}| T-1t=0是连续相关的随机过程，如马尔可夫链模型[10][30]或传统的时间序列模型，在财务决策中有重要应用[1][31]。至于控制变量{ut}| T-1t=0，则要求它们是Ft可测的，即控制utat时间t仅取决于时间t之前可用的信息。此外，出于一些实际应用的动机，我们考虑以下一般控制约束集Ut（xt）={Ut | utis Ft可测，Htut≤ dt | xt |}，（2）对于t=0，···，t- 1，其中Ht∈ Rm×nand dt∈ r是确定性矩阵和向量。注意，集合（2）使我们能够对各种控制约束进行建模，如下所示：o无负性（或非正性）约束情况，ut≥ 0n×1（或ut≤ 0n×1）通过设置HT=-In（或Ht=In）和dt=0n×1in（2）；o具有状态相关上下界的约束情形，dt | xt |≤ 美国犹他州≤dt | xt |对于某些dt∈Rnanddt∈Rnby设置Ht=在里面-在里面和dt=dt公司-dt公司;o 一般圆锥约束情况，Htut≥ 0m×1，对于某些Ht；o无约束情况，ut∈ Rn，通过设置Ht=0m×nand和dt=0m×1。为了对成本函数进行建模，我们引入以下决定参数{Rt∈ Rn×n | Rt0}T-1t=0，{St∈ Rn}| T-1t=0和{qt≥ 0}| Tt=0，可以进一步以更紧凑的形式书写，本文采用的随机结构在金融工程领域中得到了广泛的应用【29】。

这类模型非常通用，因为它不需要指定A和B所遵循的特定随机过程。在[3]和许多相关文献中，随机动力系统被建模为xt+1=Axk+Buk+Pqj=1[Cjxk+Djuk]ωjk，其中ωjk是不同k的i.i.d随机变量，k的均值为零，E[（ωjk）]=1，E[ωikωjk]=0，如果i 6=j。由于对于所有t>0，xt和uta都是随机变量（x除外），所以（2）中给出的不等式应几乎确定，即。，对于具有非零概率测度的情形，这些不等式成立。为了简化符号，我们在本文中没有明确写出“几乎肯定”一词。2018年11月7日《乳胶类薄膜绘图杂志》，第XX卷，第X期，2015年8月6Ct：=RtStS的tqt对于t=0，···，t-1和CT：=n×nn×11×nqT. 总的来说，我们感兴趣的是以下一类不等式约束随机LQ控制问题（ICLQ），（PTLQ）min{ut}| T-1t=0ETXt=0utxt公司′计算机断层扫描utxt公司（3） 对于t=0，···，t，s.t.{xt，ut}满意度（1）和（2）- 为了解决问题（PTLQ），我们需要以下假设。假设1。计算机断层扫描 0表示t=0、··、t和Covt【Bt】 0表示所有t=0，···，t- 假设1保证了问题（PTLQ）的凸性。假设1可以被视为均值-方差投资组合选择中广泛使用的假设的推广，该假设要求 0（有关详细讨论，请参见，例如，[1]）。此外，假设n 1比[32]中使用的假设宽松，这需要随机矩阵的路径位置。并非如此，因为Covt【Bt】：=Et【B′tBt】- Et[B′t]Et[Bt]，假设1意味着Et[B′tBt]0表示t=0，···，t- 1.B.现场时间范围内的问题我们还对具有现场时间范围的问题变体（PTLQ）感兴趣。

更具体地说，我们希望研究实时范围内的静态控制策略和长期性能。在这样一个有限的时间范围内，我们假设所有随机参数{Ak}|∞k=0和{Bk}|∞k=0，在不同时间段内独立且均匀分布（i.i.d）。因此，我们降低了时间指数，并简单地使用随机变量A和随机向量B来表示随机参数，从而得出以下简化版的动力学系统（1），xt+1=Axt+But，t=0，1，···，t- 1，（4）其中s系统参数A和B是具有已知j点分布的随机m w。对于约束（2），我们还假设所有的Ht和Dt分别固定在H和d，这导致了以下约束（2）的简化版本，Ut（xt）={Ut | Ut∈ Rn，小屋≤ d | xt |}，（5）2018年11月7日《乳胶类薄膜绘图杂志》，第XX卷，第X期，2015年8月7日，t=0，1，···，∞. 为了保证约束的可行性，我们施加以下假设。假设2。集合Ut（0）={u∈ Rn |胡≤ 0m×1}为非空。注意，Ut（0）独立于xt，假设2意味着可行集Ut（xt）对于任何| xt |>0都是非空的。我们还设置了所有惩罚矩阵Ct，t=0，·····，∞, 在C：=R SS′q. 我们现在考虑以下有限时间范围内的ICLQ问题（P∞LQ）最小值{ut}|∞t=0E∞Xt=0utxt公司′Cutxt公司s、 t.{xt，ut}满足（4）和（5），对于t=0，···，∞.注意p问题（p∞LQ）是一个无条件的期望，因为{A，B}随时间而独立。对于问题（P∞LQ），我们需要通过要求C为正定义来加强假设1，如下假设3。C 0和Cov[B]=E[B′B]- E[B′]E[B] 0III。问题解决方案（PTLQ）在这方面，我们首先揭示了模型状态分离的一个重要结果，然后开发了问题解决方案（PTLQ）。A.