约束随机线性二次控制的显式解

然而，当系统矩阵A和B中存在不确定性时，众所周知，可控性和可观测性无法确保相应的代数Riccati方程的解的存在（例如，见[36][37]）。Athans等人[36]提出了称为不确定性阈值原理的条件，该条件保证了由具有标量状态和标量控制的简单不确定系统产生的代数Riccati方程的解的存在。粗略地说，如果由系统参数计算出的阈值小于或等于1，则相应的代数RiccatieEquation允许一个解。[37]中给出的结果进一步将这样的结果推广到具有向量状态和向量控制的系统。但是，由于（P∞LQ），不确定性的结果与保留原则不适用于我们的问题。让我们用下面的反例来解释。示例1。我们考虑一个问题（P∞LQ）n=1，q=1，R=1，S=0.1。假设不确定系统矩阵采用以下5种情况，id诱惑概率=0.2，（A，B）∈ { (-0.8 , -0.7), (-0.4, -0.6), (0.2 , 0.4), (0.6, 0.8), ( 0.9, 1)}. 不难计算[36]中给出的阈值，因为阈值=E[A]-（E[A]E[B]）E[B]=0.4014<1。根据Athans等人[36]的结果，相应的代数Riccati方程具有唯一的解。但是，如果我们将控制约束设置为3 |xt |≤ 美国犹他州≤ 4 | xt |对于所有T=0，···，T- 1，应用算法2得出t^G*和'G*随着迭代次数的增加，进入单元（参见图1中的子图（b））。

图1中的子图（a）绘制了输出^G*和'G*由算法2为2 | xt生成|≤美国犹他州≤3 | xt |，表示^G的收敛*和'G*.在经典的LQG模型中，噪声在状态方程中是加性的，并且没有控制约束。这种不确定系统也称为带乘性噪声的系统。2018年11月7日《乳胶类薄膜绘图杂志》，第XX卷，第X期，2015年8月20（a）5 10 15 20 25 30^G*\'\'G*（b） 5 10 15 20 25 30^G*\'\'G*迭代迭代图。1、^G的输出*和'G*来自算法2的迭代，例如示例1。控制约束为2 | xt|≤美国犹他州≤ 3 | xt |在子图（a）和3 | xt中|≤ 美国犹他州≤ 4 | xt |在子图（b）中。从前面的例子中，我们知道，保证（28）和（29）可接受性的条件非常复杂，因为它们取决于多个参数A、B、C、H和d。幸运的是，我们能够推导出以下易于检查的充分条件。定理4。对于问题（P∞LQ），如果E[A]+ηKmax<1，其中η是E[B′B]和Kmax的最大特征值<∞ 是kKk的有限上界，使得Kmax=ma x{kKk | HK≤ d} ，然后（28）和（29）接受解决方案。证明：我们考虑（45）和（46）中给出的算法m 2的一个迭代周期。我们首先检查（45）中的优化问题。引入拉格朗日多重数λ∈ Rm+产生以下拉格朗日函数，L（K，λ）：=^g（K，^Gi，\'Gi）+λ′（HK- d） 。根据凸对偶理论，最优解可以表示为^K*:= arg水貂∈RnL（K，λ*) （47）2018年11月7日《乳胶类薄膜绘图杂志》，第XX卷，第X期，2015年8月21日，带λ*作为对偶问题的最优解，λ*=arg最大λ≥0{水貂∈RnL（K，λ）}。问题（47）的一阶最优性条件如下所示KL（K，λ）=E2R^K*+ 2S+2B′（A+B^K*)×（^Gi{A+B^K*≥0}+(R)Gi{A+B^K*<0})+ H′λ=0n×1。

（48）替代g^K*into（45）产生^G*i+1=E（^K*)′R^K*+ 2S′^K*+ q+A+2AB^K*+ （^K*)′B′B^K*^Gi{A+B^K*≥0}+(R)Gi{A+B^K*<0}. （49）注意，互补松弛条件为λ′（HK- d） =0。现在，将（48）与（49）组合得到^Gi+1=E[（A- （^K*)′B′B^K*)（^Gi{A+B^K*≥0+(R)Gi{A+B^K*<0}）]+q- （^K*)′R^K*- d′λ*.注意，在我们的假设下，最后三项以某个常数L为界。因此，^Gi+1≤E【A】- （^K*)′B′B^K*]最大{Gi，\'Gi}+L≤ （E[A]+ηKmax）max{Gi，\'Gi}+L.（50）类似地，对于\'Gi+1，我们可以导出以下不等式，\'Gi+1≤ （E[A]+ηKmax）max{Gi，\'Gi}+L.（51）显然，条件（E[A]+ηKmax）<1保证当i→ ∞. 由于^Giand^Giare非减量序列（参见第3项的证明），我们可以得出结论，^Giand^gi都收敛于某个有限数。五、 在动态MV投资组合选择中的应用在本节中，我们将说明如何应用第三节中的导出结果来解决动态MV投资组合选择问题。我们使用[1]中给出的模拟符号。投资者以初始财富X进入市场，同时投资n项风险资产和一项无风险资产。假设投资期限为t个周期，投资者在t=0，1，···，t时决定其适应性投资政策- 1、将确定性无风险利率表示为rt，并将2018年11月7日《乳胶类金融杂志》第XX卷第X期2015年8月22日t期风险资产的随机回报向量表示为et（et，et，··，ent）。所有的随机性都是由一个标准的概率空间建模的{Ohm, {Ft}| Tt=0，P}，其中Ohm 是事件集，fti是时间t可用事件的σ-代数，P是概率度量。我们使用旋转Et[·]表示条件期望E[·| Ft]。

设Uit为t期间投资于第i项风险资产的美元金额，i=1，···，n，xt为t期间的财富水平。然后，财富的动态根据以下精确差分方程演化，xt+1=rtxt+Ptut，t=0，··，t- 1，（52）式中，ut，（ut，ut，···，unt）′和Pt，（Pt，Pt，···，Pnt）=（et- rt，et- 耳鼻喉科- rt）i s超额回报向量。表示γt：=QT-1k=t=0时的trk，···t- 1和γT=1作为时间T的贴现因子。然后投资者采用以下均值-方差公式来指导其投资，（MV）：min{ut}| T-1t=0Var[xT]+T-1Xt=0E[u′tRtut]（53）s.t.E[xT]=xd，xT+1=rtxt+Ptut，t=0，···，t- 1，ut≥ 0，t=0，···，t- 1，（54）其中xd是预先给定的目标wealt h水平，Var[xT]：=E[xT]-E[xT]是终端财富的方差，约束（54）意味着没有卖空。objectivefunction（53）中的第二个术语是对风险资产投资的惩罚，例如，投资者希望控制其暴露于风险资产的财富。假设4。我们假设xd>γx。假设4强制要求目标财富水平xd大于将全部初始财富投资于无风险资产所产生的最终财富水平。与【27】和【28】中研究的模型相比，我们的模型允许随时间变化的相关收益，无符号约束，并且为了控制风险敞口，还包括惩罚术语u′trtut。如果Sit是时间t时i-资产的价格，则eit=Sit+1/Sit。在时间t，t=1，···，t时，过滤fti是通过实现e，e，···，et生成的最小sigma al gebra-1、在【27】中，假设E【Pt】>0对于推导解至关重要。2018年11月7日《乳胶类滤材绘图杂志》，第XX卷，第。

十、 2015年8月23日为了解决问题（MV），我们首先将其重新表述为模型的特例（PTLQ）。由于方差在动态规划意义上是不可分离的，我们采用了文献[11]中首次提出的嵌入方法。更具体地说，引入拉格朗日乘数λ∈ R forE[xT]=xd产生以下拉格朗日函数，Var[xT]+2λ（E[xT]- xd）+T-1Xt=0E[u′tRtut]=E[（xT- xd）+2λ（xT- xd）]+T-1Xt=0E[u′tRtut]，这进一步导致以下辅助问题，（dMV（λ））：min{ut}| T-1t=0Eh（xT- （xd- λ） ）i+T-1Xt=0E[u′tRtut]- λs.t.xt+1=rtxt+Ptut，t=0，···，t- 1，ut≥ 0，t=0，···，t- 将状态变量xtin（dMV（λ））替换为xt=wt+（xd- λ） /γT生成以下等价问题，（MV（λ））：min{ut}| T-1t=0EwT公司+T-1Xt=0E[u′tRtut]s.t.重量+1=rtwt+Ptut，t=0，···，t- 1，ut≥ 0，t=0，···，t- 不难看出，问题（MV（λ））只是问题（PTLQ）的一个特例，t=rt，Bt=Pt，qt=0，St=0n×1，t=0，···，t- 1和qT=1。此外，我们还介绍了以下两种映射：^gMVt（K，y，z）：Rn×R+×R+→ R和'gMVt（K，y，z）：Rn×R+×R+→ R、 ^gMVt（K，y，z）：=EthK′RtK+（rt+PtK）×y1{rt+PtK≥0}+z1{rt+PtK<0}i、 （55）(R)gMVt（K，y，z）：=EthK′RtK+（rt- PtK）×y1{rt-PtK公司≤0}+z1{rt-PtK>0}i、 （56）2018年11月7日《乳胶类纤维学报》（DRAFTJOURNAL OF LATEX CLASS FIL），第XX卷，第X期，2015年8月24日，与问题（PTLQ）相同，我们进一步粗略定义了以下两个随机变量，即^GMVt=minK≥0^gMVt（K，^gMVt+1，\'gMVt+1），（57）\'gMVt=貂≥0'gMVt（K，^gMVt+1，'gMVt+1），（58），边界条件为'gMVt=1和'gMVt=1。对于序列{GMVk}| Tk=0和{GMVk}| Tk=0，我们有以下属性。引理3。

对于任何t=0，1，···，t- 1，^GMVt≤ rtEt公司^GMVt+1{^GMVt+1≥\'GMVt+1}+\'GMVt+1{GMVt+1<\'GMVt+1},(R)GMVt≤ rtEt公司^GMVt+1{^GMVt+1≥\'GMVt+1}+\'GMVt+1{GMVt+1<\'GMVt+1}.此外，^GMV<γ和'GMV<γ。我们省略了引理3的证明，因为我们可以使用拉格朗日对偶理论以类似于定理4的证明的方式来证明它。以下定理描述了F问题（MV）的解。定理5。以下策略解决了问题（MV），u*t型=xt公司-除息的- λ*γt^KMVtif xt-除息的- λ*γt≥ 0,-xt公司-除息的- λ*γt(R)KMVtif xt-除息的- λ*γt<0，（59），其中^KMVt和'KMVt由^KMVt=arg minKt计算≥0^gMVt（Kt，^gMVt+1，\'gMVt+1），\'KMVt=arg minKt≥0'gMVt（Kt，^gMVt+1，'gMVt+1），分别从（57）和（58）计算{gMVt}'Tt=0和{gMVt}'Tt=0。最优拉格朗日乘子λ*为λ*=(R)GMV（xd- γx）(R)GMV- γ. （60）证明：对于任何fixλ，应用定理2为（MV（λ）），u生成以下最优策略*t（λ）=wt（^KMVt{wt≥0}-(R)KMVt{wt<0}）。（61）2018年11月7日《乳胶类薄膜DRAFTJOURNAL》，第二十卷，第十期，2015年8月25日剩余的任务是找到最佳拉格朗日乘数λ，它可以通过解决对偶问题λ来确定*= 最大λ∈Rnv（dMV（λ））。应用定理2，在替换wby x时，得到γv（dMV（λ））=（γx- xd+λ）^GMV{λ≥除息的-xγ}+(R)GMV{λ<xd-xγ}- γλ=λ（^GMV- γ） +2^GMVλ（γx- xd）+^GMV（γx- xd）如果λ≥ 除息的- xγ，λ（(R)GMV- γ） +2’GMVλ（γx- xd）+GMV（γx- xd）如果λ<xd- xγ。从引理3我们知道^GMV≤ γ和？GMV≤ γ、 这意味着v（dMV（λ））是λ的分段凹函数。不难找到最佳λ*如（60）所示。然后用λ替换xtin（61）的值*收益率（59）。对于均值-方差有效前沿，包含λ*返回到v（dMV（λ））会产生Var[x*T] =v（dMV（λ*) -T-1Xk=0E[（u*t） ′Rtu*t] =(R)GMV（E[x*T]- xγ）γ-(R)GMV-T-1Xk=0E[（u*t） ′Rtu*t] 。注意，在上述表达式中，第二项没有解析表达式。

然而，一旦我们计算出所有的“KMVt”和“KMVt”，就可以用蒙特卡罗模拟方法对其进行评估。六、 示例和应用在本节中，我们首先提供几个示例来说明我们的求解程序（PTLQ）和（P∞LQ）。然后，我们考虑（PTLQ）的一个实际应用来解决动态PortfolioOptimization问题。A、 LQ模型示例示例2。我们首先考虑一个简单的（PTLQ）示例，其中n=3，T=5。成本矩阵areRt=1.2 0.3 0.40.3 1.4 -0.30.4 -0.3 1.9, St公司=-0.20.6-0.52018年11月7日《乳胶类薄膜DRAFTJOURNAL》，第XX卷，第X期，2015年8月26日，对于t=0，1，···，4，q=1，qt=1.1。我们考虑了两类不确定系统参数，即独立同分布情形和相关马尔可夫酶。案例1：在第一种情况下，我们假设Atand Bt，t=0、1、2、3、4，遵循相同的离散分布，五种情况如下：∈ {-0.7, - 0.6、0.9、1、1.1}，（62）Bt∈n0.18-0.05-0.14,0.03-0.12-0.03,-0.050.050.05-0.010.050.01,-0.050.010.06o、 （63）每个都具有相同的概率0.2。我们还考虑以下控制约束，dt | xt |≤ 美国犹他州≤dt | xt |带dt=0.10.10.1,dt公司=0.50.50.5. 利用定理2，我们可以将问题的最优控制（PTLQ）识别为u*t（xt）=^Ktxt{xt≥0}-\'Ktxt{xt<0}，t=0，···，4，其中^kt和\'kt规定如下，^K=0.2160.1000.158,^K=0.2010.1000.169,^K=0.1790.1000.183,^K=0.1490.1000.203,^K=0.1080.1000.231,\'\'K=0.1000.50.100,“K”=0.1000.5000.100,\'\'K=0.1000.4960.100,\'\'K=0.1000.4800.100,\'\'K=0.1000.4580.100,2018年11月7日《乳胶类滤材绘图杂志》，第XX卷，第。

十、 2015年8月27日，^G=3.474，^G=3.240，^G=2.920，^G=2.482，^G=1.881，^G=1和'G=3.250，'G=3.030，'G=2.729，'G=2.319，'G=1.760，'G=1。此外，最优成本isV（x）=3.474x{x≥0}+3.250x{x<0}。然后，我们将控制范围扩展到T=∞ 并考虑问题（P∞LQ）。根据算法2和定理3，我们可以计算^G*= 4.111和'G*= 3.856，用于求解扩展的Riccati方程（30）和（31）。响应最优稳态控制智能开关单元∞t（xt）=^K*xt{xt≥0}-\'\'K*xt{xt<0}，对于所有t=0，····，∞, 其中^K*=0.2590.1000.130,\'\'K*=0.1000.5000.100.在图2中，子图（a）绘制了^G的输出*和'G*关于迭代算法2和子图（b），通过实施静态控制u，绘制100条样本路径的状态轨迹∞t（xt）。我们可以观察到x*t很快收敛到0，相应的闭环系统渐近稳定。情况2：在前一种情况下，随机矩阵At和Bt随时间独立。现在，我们考虑一个简单的情况，即At和Bt在连续时段之间相关。虽然仍然假设和Bt取（62）和（63）中给出的5种情况下的值，但场景之间按照一步概率的马尔可夫链传递，P=0.1 0.2 0.4 0.2 0.10.4 0.1 0.3 0.1 0.10.2 0.2 0.1 0.2 0.30.1 0.4 0.1 0.1 0.30.1 0.2 0.1 0.5 0.1. （64）注意，在这种情况下，当我们通过（20）和（21）计算出{Gt}| Tt=0和{Gt}| Tt=0时，我们实际上需要计算不同场景的条件预期（参见（8）和（9）中的定义）。因此，我们使用符号^Gt（j）和'Gt（j）来表示场景j的（20）和（21）的输出∈ {1, 2, 3 , 4, 5}.

表I提供了所有t=0、1、2、3和j=1、2、3、4、5的f^Gt（j）和'Gt（j）值（我们不列出^G（j）和'G（j），因为所有j的'G（j）=G（j）=qf）。2018年11月7日《乳胶类薄膜绘图杂志》，第XX卷，第X期，2015年8月28日第10 20 30 40 50^G次*\'\'G*t0 5 10 15 20 25 30 35 40 45-10-5（a）（b）图2。子图（a）绘制了输出^G*和'G*来自算法2。子图（b）通过实施静态最优控制u，绘制了100个模拟样本的状态轨迹*例如2j^G（j），\'G（j）^G（j），\'G（j）^G（j），\'G（j）^G（j），(R)G（j）j=1（3.236，3.010）（2.915，2.711）（2.473，2.302）（1.873，1.747）j=2（3.029，2.842）（2.742，2.568）（2.348，2.193）（1.805，1.684）j=3（3.353，3.155）（3.017，2.835）（2.556，2.400）（1.921，1.802）j=4（3.147，2.928）（2.840，2.643）（2.422，2.254）（1.844，1.720）j=5（3.339，3.113）（3.005，2.803）（2.548，2.379）（1.927，1.803）table ITHE当处理At和Bt遵循示例2B中的MARKOVCHAIN。动态均值-方差投资组合选择的应用示例3。我们考虑了[27]中给出的类似市场设置，其中有一个无风险资产和三个风险资产，并且市场不允许做空。初始财富为x=100，投资期限为T=4。对于t=0、1、2、3，无风险资产的回报率为rt=1。access return（访问返回）按钮执行（63）中给出的5种状态之一。与[27]中给出的设置不同，该设置假定独立{Pt}| T-1t=0随着时间的推移，我们假设{Pt}| T-1t=0根据2018年12月7日《乳胶类薄膜DRAFTJOURNAL》，第XX卷，第X期，2015年8月29a马尔可夫链演化，其中一步转移概率矩阵如（64）所示。

更具体地说，如果当前状态为i∈ {1，2，····，5}在时间t，在下一时间段t+1，超额回报pt+1应为（63）中给出的5种情况之一，概率在（64）中矩阵p的第i行中指定。惩罚矩阵RTI设置为Rt=10-6如果t=0，···，3。假设预期目标财富水平设定为xd=x（1+6%）=106。根据定理5，我们可以计算λ*= -0.7824和最优投资组合策略asu*t（一）=xt公司- 106.78^KMVt（i）如果xt- 106.78≥ 0 ,-xt公司- 106.78\'KMVt（i）如果xt- 106.78<0，对于i∈ {1，···，5}，t=0，1，2，3。自{Pt}| T-1t=0随时间相关，在最优组合策略中，向量^KMVt（i）和'KMVt（i）取决于马尔可夫链的当前状态i。在时间阶段t=0，对于i=1，···，5，我们仅列出解决方案^KMVt（i）和'KMVt（i），如下所示'KMV（i）∈0.3074.294.412.037.151.96,(R)KMV（一）∈33.6646.3041.861.46747.0840.4846.1436.3340.8331.502.9234.14.派生策略u*它具有反馈性质，即依赖于当前状态信息i、时间段t和当前财富水平xt。这项政策也超出了[27]中推导出的辅助政策，因为它不仅假设超额回报率t的独立性，而且还假设所有t的e[Pt]>0。这些假设限制了[27]中推导出的结果的使用，因为e[Pt]在实际市场中可能并不总是正的。2018年11月7日《乳胶类薄膜绘图杂志》，第二十卷，第十期，2015年8月30VII。结论本文针对带乘性噪声的s标度状态随机系统，给出了约束LQ最优控制的解析最优控制策略。