风险敏感平均场型的随机极大值原理

此外，在[12]中开发的方法不能扩展到一般情况，如非马尔可夫动力学和平均场型控制问题，其中贝尔曼原理不适用。仔细观察Lim和Zhou（[12]）的方法，事实上，使用一个通用的平方可积鞅将对（p，q）转化为伴随过程（~p，0），其中过程＠pis仍然是平方可积鞅，这意味着＠p（t）=＠p（t），并等于常数E[~p（t）]。但是，这个一般鞅不需要像（[12]）那样与伴随过程~p有关。相反，它将是与风险敏感SMP相关联的伴随方程的一部分（见上文定理1）。大致来说，注意dp（t）=q（t）dband p（t）=-θφθT，这个反向SDE isp（T）的显式解=-θE[φθT | Ft]=-θvθ（t），（21）式中，vθ（t）：=E[φθt | Ft]，0≤ T≤ T.（22）鉴于（21），选择（~p，~q）到伴随过程（~p，~q）的变换是很自然的，其中，~p（T）：=~p（t）~p（t）, q（t）：=~q（t）~q（t）, 0≤ T≤ T、 使得p（T）=p（T）θvθ（T）=-1, 0 ≤ T≤ T、 （23）这意味着，几乎每0≤ T≤ T，~q（T）=0，lP- a、 s.我们考虑以下变换p（t）=~p（t）~p（t）:=θvθ（t）~p（t），0≤ T≤ T.（24）考虑到f（15）和（33），我们有p（T）=-hx（T）+vθ（T）E[vθ（T）hy（T）]！。（25）一般鞅vθ的下列性质对于研究这些新过程（~p，~q）的性质至关重要。首先，我们注意到，由于假设1，f和h被某个常数C>0所限定，所以我们有0<e-（1+T）Cθ≤ φθT≤ e（1+T）Cθ。（26）因此，vθ是一致有界的lF鞅，满足0<e-（1+T）Cθ≤ vθ（t）≤ e（1+T）Cθ，0≤ T≤ T

（27）此外，鞅vθ享有在命题3.1（[7]中建立的以下有用的对数变换：vθ（t）=expθYt+θZtf（s，\'x（s），E[\'x（s）]，\'u（s））ds, 0≤ T≤ T、 （28）andvθ（0）=E[φθT]=exp（θY），（29）其中，考虑到（27）和f的有界性，sup0≤T≤T|Yt|≤ CT，（30）式中，CT是一个正常数t，它仅取决于t以及f和h的边界。此外，过程Y是lF自适应过程对（Y，l) 以下二次BSDE的唯一解决方案是：dYt=-{f（t，\'x（t），E[\'x（t）]，\'u（t））+θ|l（t） |}dt+l（t） dBt，YT=h（\'xT，E[\'xT]），（31）式中，EZT|l（t） |dt< ∞. （32）特别是，vθ解出以下线性向后SDEdvθ（t）=θl（t） vθ（t）dBt，vθ（t）=φθt.（33）因此，vθ（t）vθ（0）=expZtθl（s） 星展银行-θZt|l（s） |ds:= Lθt，0≤ T≤ T（34）是一致有界的lF鞅。我们希望确定过程α和q，使得dp（t）=-~a（t）dt+~q（t）dBt。（35）我们可以将It^o公式应用于过程~p（t）=θvθp（t），使用（33）中的vθ表达式，得到d~p（t）=θvθ（t）dp（t）+θl（t） vθ（t）~q（t）dt+θl（t） vθ（t）~p（t）dBt。因此，d~p（t）=d~p（t）θvθ（t）- θl（t） q（t）d t- ~p（t）θl（t） dBt。将d~p的表达式代入（15）并确定系数，我们得到微分项q（t）=θvθ（t）~q（t）- θl（t） p（t），0≤ T≤ T、 （36）和过程的漂移项pα（T）=bx（t）0fx（t）0′θvθ（t）~p（t）+σx（t）00 0′θvθ（t）~q（t）+θvθ（t）E“到（t）0fy（t）0′~p（t）+σy（t）00 0′~q#+θl（t） q（t）。现在使用关系式~p（t）=θvθ（t）~p（t），~q（t）=θvθ（t）~q（t）+θp（t）θl（t） vθ（t），我们最终得到∧α（t）=bx（t）0fx（t）0′~p（t）+σx（t）00 0′{q（t）+θl（t） ~p（t）}+θl（t） q（t）+vθ（t）E“vθ（t）到（t）0fy（t）0′~p（t）+vθ（t）σy（t）00 0′{q（t）+θl（t） ~p（t）}#。（37）可以很容易地验证dp（t）=q（t）[-θl（t） dt+dBt]，~p（t）=-1.考虑到f（34），我们可以用G-irsanov定理来证明dp（t）=q（t）dBθt，pθ- a、 美国。

~p（T）=-1，式中，Bθt:=Bt-Ztθl（s） Ds是一个Pθ-布朗运动，其中dPθdP | Ft:=Lθt=expZtθl（s） 星展银行-θZt|l（s） |ds, 0≤ T≤ T.根据（34）和（26），概率测度lP和lPθ实际上是等价的。因此，注意到tp（t）：=[θvθ（t）]-1p（t）是平方可积的，我们得到p（t）=EPθ[~p（t）| Ft]=-1.因此，它的二次变量rt |q（t）| dt=0。这意味着≤ T≤ T，~q（T）=0，Pθ和P- a、 因此，由（37）给出的∧α的第一个分量表示∧α（t）=bx（t）~p（t）+σx（t）（~q（t）+θl（t） ~p（t））- fx（t）+q（t）θl（t） +vθ（t）Evθ（t）（by（t）~p（t）+σy（t）（~q（t）+θ）l（t） ~p（t））- fy（t））.（38）和主要的风险敏感的一阶伴随方程（p，~q）和（vθ，l) 变成dp=-△α（t）dt+~qdBt，dvθ（t）=θl（t） vθ（t）dBt，vθ（t）=φθ（t），~p（t）=-hx（T）-φθ（T）E[φθ（T）hy（T）]。（39）这种后向SDEs系统的解决方案是独一无二的。3.3从f（24）和（36）的角度看哈密顿量的变换，与（14）相关的哈密顿量Hθ由Hθ（t，\'x（t），u，~p（t），~q（t）给出=b（t，\'x（t），E[\'x（t）]，u）f（t，\'x（t），E[\'x（t）]，u）· ~p（t）+σ（t，\'x（t），E[\'x（t）]，u）· ~q（t），满足度Hθ（t，\'x（t），u，~p（t），~q（t））=[θvθ（t）]Hθ（t，\'x（t），u，~p（t），~q（t），l（t） ）（40）式中，Hθ是（6）给出的风险敏感哈密顿量。利用不定式（4），我们得到了（37）中的漂移项α与风险敏感哈密顿量Hθ的梯度之间的以下关系：△α（t）=Hθx（t）+vθ（t）E[vθ（t）Hθy（t）]+θl（t） q（t）。

（41）因此，风险敏感的一阶伴随方程（39）变得dp=-nHθx（t）+vθ（t）E[vθ（t）Hθy（t）]odt+~q(-θl（t） dt+dBt），dvθ（t）=θl（t） vθ（t）dBt，vθ（t）=φθ（t），~p（t）=-hx（T）-φθ（T）E[φθ（T）hy（T）]。（42）3.4二阶伴随过程的变换对于二阶伴随方程，我们应用了[12]中建议的相同类型的变换，并设P（t）：=P（t）θvθ（t）+θP（t）~P′（t），0≤ T≤ T、 （43）和<<Q（T）：=Q（T）θvθ（T）+θ<<Q（T）~p′（T）+θ<<p（T）~Q′（T）- θ l （t）~P（t）- θp（t）~p′（t）, 0≤ T≤ T

（44）鉴于（18）已被（P，Q）所满足，与[12]类似的简单（但冗长）计算得出的P（t）=§P（t）00 0,~Q=Q（t）00 0, 0≤ T≤ T、 （45）式中，（~P，~Q）是一对一维过程，唯一地解风险敏感性二阶伴随方程：dP=-n（2bx（t）+σx（t）+2θl（t） σx（t）~P（t）+2σx（t）~Q（t）-θ（~q（t）+σx（t）~p（t））+Hθxx（t）dt+~Q（t）(-θl（t） dt+dBt），~P（t）=-hxx（T）。（46）3.5风险敏感随机最大值原则得出风险敏感SMP，用伴随过程（~p，~q），（vθ，l)分别求解（42）和（46），我们注意到，鉴于（43）、（44）和（45），变分不等式（20）中的第二项满足Δσ（t）′P（t）Δσ（t）= [θvθ（t）]Δσ（t）′高压（t）- θ~p（t）~p′（t）iΔσ（t）=θvθ（t）~P（t）- θp（t）（Δσ（t））。将这个关系式与（40）结合，我们得到δ∧Hθ（t）+Δσ（t）′P（t）Δσ（t）= θvθ（t）δHθ（t）+~P（t）- θp（t）（Δσ（t））.因此，由于vθ>0，变分不等式（20）转化为δHθ（t）+~P（t）- θp（t）（Δσ（t））≤ 0，为了所有的你∈ U、 几乎每个t∈ [0，T]和P-几乎可以肯定。本文完成了定理1.4的证明示例：线性四次风险敏感模型由布朗运动驱动的线性随机系统的最优控制，在状态和控制中具有二次成本，这可能是连续时间内最著名的可解随机控制问题。为了说明我们的方法，我们考虑了线性状态动力学和指数二次成本泛函的一维情形。众所周知，在没有平均场耦合的情况下，最优控制是一种线性反馈控制，其反馈增益来自风险敏感的Riccati方程的解，与二次成本问题的（经典）Riccati方程相比，该方程有一个附加项。

在下面的例子中，我们将说明该特性在LQ风险敏感问题（有无平均场耦合）中仍然有效。4.1没有平均场耦合的LQ风险敏感控制我们考虑线性二次风险敏感控制问题：infu（·）∈UEeθ[RTu（t）dt+x（t）]，受todx（t）=（ax（t）+bu（t））dt+σdBt，x（0）=x，（47）式中，a，b和σ为实常数。满足定理1最优性必要条件的容许对（`x（·），`u（·））可通过求解以下正反向SDE系统获得：d\'x（t）=（a\'x（t）+b\'u（t））dt+σdBt，dp（t）=- {ap（t）+θl（t） q（t）}dt+q（t）dBt，dvθ（t）=θl（t） vθ（t）dBt，vθ（t）=φθ（t），x（0）=x，p（t）=-其中，φθ（T）：=eθ[RT\'u（T）dt+\'x（T）]。该系统只涉及第一个伴随方程，因为状态动力学中的扩散系数与控制无关（常数！）。相关的风险敏感哈密顿量isHθ（t，x，u，p，q，l) := （ax+bu）p-u+σ（q+θ）lp） 。我们有Hθx=ap，Hθu=bp- u、 最大化哈密顿量产生u（t）=bp（t）。（49）关联的状态动力学解出SDEd（t）=a\'x（t）+bp（t）dt+σdBt。（50）我们试着用公式P（t）的解：-其中，β（t）是一个确定性函数，使得β（t）=1。根据（51），状态动力学解线性SDEd（t）=A.- bβ（t）\'x（t）dt+σdBt。（52）此外，我们有dp（t）=-˙β（t）- aβ（t）+bβ（t）\'x（t）dt- σβ（t）dBt。（53）从（48）我们也得到dp（t）=- {-aβ（t）`x（t）+θl（t） q（t）}dt+q（t）dBt。（54）确定我们得到的这两个方程的系数q（t）=-σβ（t），（55）和-˙β（t）- 2aβ（t）+bβ（t）\'x（t）=σβ（t）θl（t） 。这个等式只有在我们选择的情况下才可行l（t） =γ（t）×x（t）。

（56）对于某些确定性函数γ（t）。给定确定性函数β和γ，考虑（48）、（52）和（56），一般鞅vθ满足线性SDEdvθ（t）=θγ（t）\'-x（t）vθ（t）dBt，vθ（t）=φθ（t）。（57）在这个阶段，γ可以被视为一个自由参数，它的选择给出了o pt ima l对（\'x（·），\'u（·））行为的不同特征。让我们来研究两个典型案例（在许多其他案例中）。案例1。γ（t）：=σβ（t）。这个选择产生了l（t） =-σp（t）由Lim和Zhou[12]提出，利用SMP和动态编程原理之间的关系，进而给出β的风险敏感Riccati方程：˙β（t）+2aβ（t）+（θσ）- b） β（t）=0，β（t）=1。其显式解由β（t）给出=B- θσ2a+1.-B- θσ2aE-2a（T-（t）-1.案例2。γ（t）：=1。这个选择产生了l（t） =`x（t），与林和周[12]所做的选择无关。我们得到了β的另一个里卡蒂方程：˙β（t）+（2a+θσ）β（t）- bβ（t）=0，β（t）=1。其显式解由β（t）=e（2a+θσ）（t）给出-（t）1.-beθσT2a+θσe（2a+θσ）（T）-（t）- 1.-1.注意，根据参数的不同，在两种解决方案中，函数β在时间内可能会爆炸。4.2具有平均场耦合的LQ风险敏感控制我们保持（47）中相同的函数f、σ、b，但我们将终端成本h修改为beh（x（T），E[x（T）]=x（T）+uE[x（T）]，对于某些给定常数u，其中唯一的平均场耦合是E[x（T）]。因此，一阶伴随方程与（48）相同，但终端条件为sp（T）=-\'x（T）-φθTE[φθT]，（58）式中，φθT:=eθ[RT\'u（T）dt+\'x（T）+ue[\'x（T）]。考虑到f（28），我们有lθt:=vθ（t）E[φθt]=vθ（t）vθ（0）=expθZtl（s） 星展银行-θZt|l（s） |ds. （59）满足线性SDEdLθt=θl（t） LθtdBt，Lθ=1。（60）因此，终值（58）变为θTp（T）=-LθT′x（T）- u.

（61）相关的风险敏感哈密顿量isHθ（t，x，u，p，q，l) := （ax+bu）p-u+σ（q+θ）lp） 。我们有Hθx=ap，Hθu=bp- u、 最大化哈密顿量产生u（t）=bp（t）。（62）考虑到形式（61），我们尝试一个解p（t），使得p（t）Lθt=-β（t）`x（t）Lθt- 其中，α（t）和β（t）是确定性函数，使得α（t）=1和β（t）=1。如上所述，鉴于（62），我们将It^o公式应用于过程vθ（t）p（t），使用（48）和（60），然后使用（63）和（50），并确定我们获得的系数q（t）=θl（t） Lθtμα（t）- σβ（t），-u˙α（t）+u（bβ（t）- a） α（t）-H˙β（t）+2aβ（t）- bβ（t）\'x（t）+σθl（t） β（t）iLθt=0。同样，就像前面的例子一样，只有当我们假设l（t） =γ（t）`x（t），（64）对于某些确定性函数γ（t）。这就产生了˙β（t）+2aβ（t）- bβ（t）+θσγ（t）β（t）=0，˙α（t）+（a- bβ（t））α（t）=0，q（t）=μθγ（t）x（t）（Lθ（t））-1α（t）- σβ（t），β（t）=1，α（t）=1。（65）最后，选择γ（t）=∑β（t）或γ（t）=1，如前一个例子所示，我们得到了系统（65）的近似解。我们注意到，当u变为零时，我们得到了上一小节中给出的无平均场解。此外，流程的选择l 不必与随机最大值原理和动态规划原理之间的任何关系有关。数值研究在本小节中，我们提供了上述风险敏感线性二次系统的数值解。状态参数为a=0，b=1。初始状态为1。噪声参数为σ=10-2风险敏感指数设为θ=10-5.离散化的步长设置为10-6.我们观察到小窗口[0，1]存在局部解，如图1所示。

当T变大时（例如图2中的T=5），会出现溶液的指数。5结论在本文中，我们建立了平均场型风险敏感性随机控制的彭氏型随机最大值原理，扩展了Lim和Zho u[12]之前的结果。参考文献[1]Andersson，D.和Djehiche，B.，平均场型SDE的最大原理。阿普尔。数学擎天柱。63(3), 341-356, 2010.[2] A.Bensoussan、K.C.J.Sung、S.C.P.Ya m和S.P.Yung。线性二次平均场博弈。2012年[3]Ba hlali，K.，Djehiche，B.和Mezerdi，B.关于随机最大值原理对具有Lipschitz系数的退化微分的非最佳控制。阿普尔。数学还有Optim。56（3），第364-378页，2007.0 0.5 10.511.522.53时间tP和X PX1 1.5 2 2.5 30.511.52图1：具有小参数θ的风险敏感线性二次系统的局部解。[4] Buckda hn，R.，B.D jehiche，B.和Li，J.，平均场型DES的一般随机最大原理。应用数学。和优化，64（2），197-216，2011年。[5] Buckda hn R.和Li J.以及Peng S.，平均场反向随机微分方程和相关偏微分方程，Stoch。过程阿普尔。119(10), 31333154, 2009.[6] Chighoub，F。，Mezerdi，B.，跳跃微分平均场最优控制问题中的随机最大原理，阿拉伯数学科学杂志，第19卷，第2期，2013年7月，第223-241页。[7] El Karoui，N.和Hamad`ene，S.，BSDEs和风险敏感控制，随机泛函微分方程的零和与非零和博弈问题。斯托克。Pro0 2 4 6-5000-4000-3000-2000-100001000次tP和X PX-5000 0 5000-5000-4000-3000-2000-100001000过程xp图2：风险敏感线性二次系统的局部解在较大时爆炸。塞斯。阿普尔。

（107），145-1692003年。[8] Hafayed，M.，《具有泊松跳跃过程的forwar d-后向随机微分方程最优控制的平均场最大原理》，国际动力学与控制杂志2013年12月，第1卷，第4期，第300-315页。[9] Hosking，J.，一个amean-field型随机微分博弈的随机极大值原理。阿普尔。数学还有Optim。第66页，第415-45页，2012年。[10] Jacobson，D.H.，具有指数准则的最优随机线性系统及其与微分代数的关系。跨。自动装置。控制AC-18124-1311973。[11] Li，J.，平均场控制中的随机最大值原理。Automatica，48，第366-373页，2012年。[12] 林安波，周X。一种新的风险敏感最大值原理。IEEE Trans Autom Cont，2005，50（7）：958-966。[13] Shen，Y.和Siu，T.K.，《跳跃扩散平均场模型的最大原理及其在均值-方差问题中的应用》，非线性分析：理论、方法和应用，第86卷，2013年7月，第58-73页。[14] Shi，J.和Wu，Z.，最优控制跳跃差异的风险敏感随机最大值原理及其应用。《数学科学学报》，31（2），第419-4332011页。[15] Shi，J.和Wu，Z.，《风险敏感随机最优控制问题的最大原理及其在金融中的应用》，随机分析与应用卷，30，2012年第6期。[16] Tembine H.a and Zhu Q.and Basar T.，风险敏感平均场游戏，IEEE自动控制交易，59（4）：835-850（2014）。