部分观测下的风险敏感平均场型控制

这种情况的一个典型例子是经典的线性二次（LQ）控制问题（见下文第4节），在该问题中，所解的系数几乎是四次的，但没有必要的约束。3主要结果的证明在这一节中，我们给出了定理1的证明，展示了几个步骤。3.1平均场型控制的中间SMP在本小节中，我们首先从增强状态过程和终端支付问题的角度重新描述了风险敏感控制问题（4）-（8）。然后，将（[1]，定理3.1和[5]，定理2.1）中获得的SMP应用于无运行成本的损失泛函，得到了中间随机最大值原理。然后，我们将中间的一阶调整过程转换为更简单的形式。动力学（8）下的平均场型控制问题（9）相当于NFU（·）∈UEρ（T）eθ[h（x（T），e[ρ（T）x（T）]）+ξ（T）], （27）根据dρ（t）=ρ（t）β（t，x（t））dYt，dx（t）={b（t，x（t），E[ρ（t）x（t）]，u（t））- α（t，x（t），E[ρ（t）x（t）]）β（t，x（t））}dt+σ（t，x（t），E[ρ（t）x（t）]dWt+α（t，x（t），E[ρ（t）x（t）]dYt，dξ=f（t，x（t），E[ρ（t）x（t）]，u（t））dt，ρ（0）=1，x（0），x（0），ξ（0）=0，（28）我们介绍了following。R:=ρxξ=Xξ,\'-R:=ρxξ=\'X\'ξ, R=`R:=十、,∧（t，R，m，u）：=F（t，X，m，u）F（t，X，m，u）, Γ（t，R，m）：=G（t，X，m，u）,φ（R）=φ（X），φ（\'R）=φ（\'X）。（29）使用该符号，系统（28）可改写为以下紧凑形式dR（t）=∧（t，R（t），E[φ（R（t））]，u（t））dt+Γ（t，R（t），E[φ（R（t）））dBt，R（0）=R（30），风险敏感成本泛函（9）由jθ（u（·））：=E[Φ（R（t），E[φ（R（t））]，（31）式中Φ（R（t），E[Φ（R（t））：=ρ（t）exp h（x（t），E[t）x（t）]。（32）我们定义了与随机变量R相关的哈密顿量，使得φ（R）∈ L(Ohm, F、 lP）如下所示。

对于（p，q）∈ lR×lR3×3He（t，R，p，q，u）：=h∧（t，R，E[φ（R）]，u），pi+tr（Γ）*（t，R，E[φ（R）]）q，（33）式中，Γ*表示矩阵Γ的转置。设置：=购买力平价, 问：=qqqqqq, （34）哈密顿量n（33）readsHe（t，ρ，x，ξ，p，q，u）：=He（t，R，p，q，u）=c（t，x，E[ρx]，u）p+f（t，x，E[ρx]，u）p+σ（t，x，E[ρx]）q+β（t，x）q+α（t，x，E[ρx]）q.（35）鉴于（20），我们为u设置∈ U、 十六进制（t）：=h∧x（t，\'x（t），E[φ（\'x（t））]，\'U（t）），pi+tr（Γ）*对于k=ρ，x，m，其显式为Hex（t）：=cx（t）p（t）+fx（t）p（t）+σx（t）q（t）+ρ（t）βx（t）q（t）+αx（t）q（t），Hem（t）：=cm（t）p（t）+fm（t）p（t）+σm（t）q（t）+ρρ（t）βm（t）q（t），Heρ（t）=β（t，\'x（t））q（t。（37）我们可以将风险中性平均场型控制的SMP（参见[1]，定理3.1和[5]，定理2.1）应用于增广状态动力学（ρ，x，ξ），以推导一阶伴随方程：dp（t）=-Heρ（t）+x（t）E[Hem（t）]Hex（t）+ρ（t）E[Hem（t）]dt+q（t）dBt，p（t）=-θψθT（θ′ρ（T））-1hx（T）- θ\'x（T）\'ρ（T）E[ψθThm（T）]。（38）这是一个具有平均场类型的线性后向SDE系统，考虑到（[6]，定理3.1），在假设1下，允许一个唯一的自适应解（p，q），满足这些“支持”∈[0，T]| p（T）|+ZT | q（T）| dt#∞. （39）其中，|·|表示具有适当维数的常用欧几里德范数。我们可以将（[1]、定理3.1和[5]、定理2.1）中的平均场型控制SDE的SMP与（[27]、定理2.1）中导出的风险中性部分可观测SDE的SMP一起应用，以获得以下SMP。提议1。让假设1保持不变。

如果（\'R（·），\'u（·））是受动力学（28）约束的风险中性控制问题（27）的最优解，则存在一对独特的适应于LF的过程（p，q），满足（38）-（39），使得E[He（t，\'R（t），p（t），q（t），u）- 他（t，\'R（t），p（t），q（t），\'u（t））|FYt]≤ 0，（40）代表所有美国∈ U、 几乎每个t和lP-几乎可以肯定。3.2一阶伴随过程的变换尽管命题1的结果对于具有部分观测值的风险敏感平均场类型控制来说是一个很好的SMP，但用第三分量ξ增加状态过程会产生一个由三个伴随方程组成的系统，在具体情况下似乎很难求解。在本节中，我们应用了[11]中介绍的伴随过程（p，q）的变换，从而去除（38）中的第三个分量（p，q，q），并仅用我们表示的两个伴随过程（^p，^q）来表示SMP，其中^p：=^p^p, ^q：=^q^q, ^qi:=（^qi1，^qi2），i=1，2。（41）事实上，注意到（38）中的t，我们有dp（t）=hq（t），dBti和p（t）=-θψθT，此向后SDE isp（T）的显式解=-θE[ψθT | Ft]=-θvθ（t），（42）式中，vθ（t）：=E[ψθt | Ft]，0≤ T≤ 特别地，我们有vθ（0）=E[ψθT]。因此，根据（42），选择（p，q）到伴随过程（^p，^q）的转换是自然的，其中，^p：=^p^p^p, ^q：=^q^q^q^q^q,使得^p（t）=p（t）θvθ（t）=-1, 0 ≤ T≤ T、 （44）这意味着，几乎每0≤ T≤ T，^q（T）=（^q（T），^q（T））=0，lP- a、 s.（45），从而将伴随过程的数量减少到（41）给出的for m的数量。我们考虑以下变换：^p（t）：=θvθ（t）p（t），0≤ T≤ 鉴于（38），我们有^p（T）=-（θ′ρ（T））-1hx（T）-\'x（T）\'ρ（T）ψθTE[ψθThm（T）]。

（47）我们应该识别过程^α和^q，使得d^p（t）=-^α（t）dt+^q（t）dBt，（48），其中（44）和（45）是满意的。为了研究这些新过程（^p，^q）的性质，在[11]中使用的一般鞅vθ的下列性质是必要的。为了完整起见，我们在这里复制它们。因为，根据假设1，f和h被某个常数C>0所限定，所以wehave0<e-（1+T）Cθρ（T）≤ ψθT≤ e（1+T）Cθρ（T）。（49）因此，vθ是一致可积的lF鞅，满足0<e-（1+T）Cθρ（T）≤ vθ（t）≤ e（1+T）Cθρ（T），0≤ T≤ 因此，鉴于（7），我们有[sup0]≤T≤T | vθ（T）|]≤ C.（51）此外，鞅vθ具有以下有用的对数C变换形式，建立于（[12]，命题3.1）vθ（t）=expθZt+θZtf（s，\'x（s），E[\'ρ（s）\'x（s）]，\'u（s））ds, 0≤ T≤ T、 （52）与vθ（0）=E[ψθT]=exp（θZ）。（53）此外，过程Z是lF自适应过程对（Z，l)这是以下二次BSDE的唯一解决方案：dZt=-{f（t，\'x（t），E[\'ρ（s）\'x（s）]，\'u（t））+θ|l（t） |}dt+hl（t） ，dBti，ZT=θln′ρ（t）+h（\'xT，E[\'ρ（t）\'x（t）]）。（54）凡，l（t） =(l（t） ,，l（t） ）令人满意ZT|l（t） |dt< ∞. （55）在本文中，vθ解出以下线性向后SDEdvθ（t）=θvθ（t）hl（t） ，dBti，vθ（t）=ψθt.（56）因此，引理1的证明。鉴于（51），vθ（t）vθ（0）=expZtθhl（s） ，dBsi-θZt|l（s） |ds:= Lθt，0≤ T≤ T（57）是一致可积的lF鞅。识别过程α和q，使d^p（t）=-^α（t）dt+^q（t）dBt，（58）我们可以将其^o公式应用于过程p（t）=θvθp（t），使用（38）和（56）并确定效率。

我们进去了α（t）=θvθ（t）Heρ（t）+x（t）E[Hem（t）]Hex（t）+ρ（t）E[Hem（t）]+ θ^q（t）l（t） ，^q（t）=θvθ（t）q（t）- θp（t）l（t） 。（59）因此，d^p（t）=-θvθ（t）Heρ（t）+x（t）E[Hem（t）]Hex（t）+ρ（t）E[Hem（t）]dt+^q（t）dBθt，^q（t）=θvθ（t）q（t）- θp（t）l（t） ，dvθ（t）=θvθ（t）hl（t） ，dBti，^p（t）=-（θ′ρ（T））-1hx（T）-\'x（T）\'ρ（T）ψθTE[ψθThm（T）]，vθ（T）=ψθT.（60），其中，BθT:=Bt- θRtl（s） ds，0≤ T≤ 根据（57）和Girsanov定理，这是一个lPθ-布朗运动，其中dlPθdlPFt:=Lθt.在特定情况下，d^p（t）=h^q（t），-θl（t） dt+dBti，^p（t）=-1.因此，注意到^p（t）：=[θvθ（t）]-1p（t）是平方可积的，我们得到了^p（t）=EPθ[^p（t）|Ft]=-1.因此，它的二次变量rt |^q（t）| dt=0，Pθ- a、 s。这意味着≤ T≤ T，^q（T）=0，Pθ和P- a、 因此，我们可以从伴随过程（^p，^q）中去掉最后的分量，只考虑（保持相同的符号）^p：=^p^p, ^q：=^q^q^q^q, （61）其中（60）简化为风险敏感伴随方程：d^p（t）=-θvθ（t）Heρ（t）+x（t）E[Hem（t）]Hex（t）+ρ（t）E[Hem（t）]dt+^q（t）dBθt，^q（t）=θvθ（t）q（t）- θp（t）l（t） ，dvθ（t）=θvθ（t）hl（t） ，dBti，^p（t）=-（θ′ρ（T））-1hx（T）-\'x（T）\'ρ（T）ψθTE[ψθThm（T）]，vθ（T）=ψθT.（62）考虑到lF适应对（p，q）的唯一性，（38）和对（vθ）的解，l)由（54）和（56）获得，后向SDE系统（62）的解是唯一的，且满足（24）。3.3风险敏感随机最大值原理我们可以使用变换（46）和（59）获得由Hθ（t，\'\'X（t），^p（t），^q（t）定义的风险敏感哈密顿量Hθ的显式（19），l（t，u）：=θvθ（t）He（t，\'R（t），p（t），q（t），u）。

（63）设δHe（t）：=He（t，\'R（t），p（t），q（t），u）- He（t，\'R（t），p（t），q（t），\'u（t））和δHθ（t）=Hθ（t，\'X（t），^p（t），^q（t），l（t） ，u）- Hθ（t，\'X（t），^p（t），^q（t），l（t），‘u（t））。我们有E[δHe（t）|FYt]=θE[vθ（t）δHθ（t）|FYt]=θvθ（0）Eθ[δHθ（t）|FYt]，其中，我们记得vθ（t）/vθ（0）=Lθt=dlPθ/dlP|Ft。现在，由于θ>0和vθ（0）=E[ψt]>0，变分不等式（40）转化为Eθ[Hθ（t，、ρ（t），^t），t），q，l（t） ，u）- Hθ（t，\'ρ（t），\'x（t），^p（t），^q（t），l（t） ，u（t））|FYt]≤ 0.（64）美元∈ U、 每t和lPθ的lmo st-几乎可以肯定。本文完成了定理1.4的证明。举例说明：在部分观测条件下，我们考虑了具有指数二次成本泛函的一维线性微分方程。也许，具有平均场耦合的线性四次方（LQ）风险敏感控制问题的最简单例子是infu（·）∈UEueθ[RTu（t）dt+x（t）+uEu[x（t）]，受todx（t）=（ax（t）+bu（t））dt+σdWt+αdfWt，dYt=βx（t）dt+dfWtx（0）=x，Y=0，（65），其中，a，b，α，β，ua和σ是实常数。在本节中，我们将通过只考虑局部观测条件下的LQ风险敏感性控制来说明我们的方法，而不考虑平均场耦合，即（u=0），以便我们的结果可以与[8]进行比较，在[8]中，使用动态规划原理研究了一个类似的例子（在许多方面）。u6=0的情况可以用类似的方式处理（参见[11]）。我们考虑线性二次型风险敏感控制问题：infu（·）∈UEueθ[RTu（t）dt+x（t）]，受todx（t）=（ax（t）+bu（t））dt+σdWt+αdfWt，dYt=βx（t）dt+dfWtx（0）=x，Y=0，（66）式中，a，b，α，β和σar e实常数。通过求解以下向前-向后SDE系统（参见。

（8） 和（22））（见上文备注1）。d′ρ（t）=β′ρ（t）’x（t）dYt，d′x（t）={c′x（t）+b′u（t）}dt+σdWt+αdYt，dp（t）=-Hθρ（t）Hθx（t）dt+q（t）(-θl（t） dt+dBt），dvθ（t）=θvθ（t）hl（t） ，dBti，p（t）=-（θ′ρ（T））-1英寸x（T）,vθ（T）=ψθT，\'ρ（0）=1，\'x（0）=x.（67）式中，c:=a- αβ，Bt：=YtWt, l :=ll, p:=聚丙烯, 问：=qqqq,ψθT:＝ρ（T）eθ[RT\'u（T）dt+\'x（T）]，以及相关的风险敏感哈密顿量isHθ（T，ρ，x，u，p，q，l) := （cx+bu）p-u+ρβx（q+θ）lp） +α（q+θ）lp） +σ（q+θ）lp） 。（68）下面，我们导出了系统（67）的显式解，并刻画了pr问题的最优控制。我们有hθu=bp- u、 Hθρ=βx（q+θ）lp） ，Hθx=cp+βρ（q+θ）lp） 。因此，根据定理1，如果u是系统（66）的最优控制，则eθ[bp（t）- \'u（t）|FYt]=0。（69）这就产生了u（t）=bEθ[p（t）|FYt]。（70）关联的状态动力学解出SDEd（t）=c′x（t）+bEθ[p（t）|FYt]dt+σdWt+αdYt（71）我们尝试了形式p（t）的一个解：-λ（t）／ρ（t），p（t）：=-其中，λ（t）和γ（t）是确定性函数，使得λ（t）=1/θ和γ（t）=1。注意到s（t）：=’ρ-1（t）满足标准差Eds（t）=β′x（t）s（t）dt- βx（t）s（t）dYt，（73）我们有dp（t）=-（˙λ（t）+β∠x（t）λ（t））s（t）dt+βλ（t）x（t）s（t）dYt，dp（t）=-（˙γ（t）\'x（t）+cγ（t）+b\'u（t））dt- σγ（t）dWt- αγ（t）dYt。（74）将（74）中的系数与（67）中相应的系数进行识别，我们得到q（t）=βλ（t）`x（t）s（t），q（t）=0，q（t）=-αγ（t），q=-σγ（t），（75）和˙λ（t）=0，（˙γ（t）+2cγ（t）- βλ（t）`x（t）+b\'u（t）γ（t）+θ（βλ（t）+αγ（t））l（t） +θσγ（t）l（t） =0，λ（t）=1/θ，γ（t）=1。（76）因此，λ（t）=1/θ，0≤ T≤ T、 及˙γ（t）+2cγ（t）- β/θ\'x（t）+b\'u（t）γ（t）=-（β+θαγ（t））l（t）- θσγ（t）l（t） 。（77）因此，鉴于（70）和（72），我们˙γ（t）+2cγ（t）- β/θ\'x（t）- b′γ（t）Eθ[\'x（t）|FYt]=-（β+θαγ（t））l（t）- θσγ（t）l（t） 。

（78）采用条件期望，收益率˙γ（t）+2cγ（t）- β/θ - bγ（t）Eθ[\'x（t）|FYt]=-（β+θαγ（t））Eθ[l（t） | FYt]-θσγ（t）Eθ[l（t） | FYt]。（79）只有当我们选择θ时，这个方程才可行[l（t） |FYt]=ξ（t）Eθ[|x（t）|FYt]，Eθ[l（t） |FYt]=ξ（t）Eθ[|x（t）|FYt]，（80）对于某些确定性函数ξ（t）和ξ（t）。如果我们选择，这是可能的。l（t） =ξ（t）`x（t），l（t） =ξ（t）`x（t）。（81）鉴于（67），ansatz（81）使一般鞅vθ满足线性SDEdvθ（t）=θvθ（t）`x（t）（ξ（t）dYt+ξ（t）dWt），（82）在这个阶段，对（ξ，ξ）通过l,它们都与P等价，并表征了通过SMP的最优过程（ρ（·），\'x（·），\'u（·））。让我们来研究两个典型案例（包括许多其他案例）。案例1。ξ（t）=ξ（t）=1。这个选择产生了l（t） =（\'x（t），\'x（t）），在ansatz（81）中，这反过来给出了γ的Riccati方程：˙γ（t）+（2c+θ（α+σ））γ（t）- bγ（t）+β- β/θ=0，γ（T）=1，（83），其溶液为标准溶液。案例2。ξ（t）=ξ（t）=γ（t）。这个选择产生了l（t） =γ（t）（\'x（t），\'x（t）），在theansatz（81）中，它给出了γ的Riccati方程：˙γ（t）+（2c+β）γ（t）+（θ（α+σ）- b） γ（t）- β/θ=0，γ（T）=1，（84），其溶液为lso标准溶液。给定γ，它解（83）（在这种情况下l（t） =x（t）或（84）（对于l（t） =γ（t）`x（t）），相应的最优控制为`u（t）=-bγ（t）Eθ[\'x（t）|FYt]，（85）其中，鉴于[23]中定理8.1所示的滤波方程，πt（\'x）：=Eθ[\'x（t）|FYt]是(Ohm, F、 lF，lPθ）：πt（\'x）=x+Zt（c）- bγ（s））πs（\'x）ds+αZt（1+θ[πs（\'xl) - πs（`x）πs(l)]) d′Yθs，（86）其中，对于t∈ [0，T]，πT（\'xl) := Eθ[\'x（t）l（t） |FYt]，πt(l) := Eθ[l（t） |FYt]和`Yθt=Yt-θRtπs(l)ds是一个(Ohm, F、 lFY，lPθ）-布朗运动。参考文献[1]Andersson，D.和Djehiche，B.，平均场型SDE的最大原理。阿普尔。数学擎天柱。

63(3), 341-356, 2010.[2] A.Bensoussan、K.C.J.Sung、S.C.P.Yam和S.P.Yung。线性二次平均场对策。201 2.[3] Baras，J.S.，Elliott，R.J.，和Kohlmann，M.，部分观察到的随机最小概率原理。暹罗J.控制与优化。27(6) , 1279-1292, 1989.[4] Bensoussan，A.，部分观测差异最优控制的最大值原理和动态规划方法。随机的，9169-2221983。[5] Buckdahn，R.，B.Dj ehiche，B.和Li，J.，关于平均场类型的一般随机最大值原理。应用数学。和优化，64（2），197-216，2011年。[6] Buckdahn R.和Li J.和Peng S.，平均场倒向随机微分方程和相关偏微分方程，Stoch。过程阿普尔。119(10), 31333154, 2 0 09.[7] Carmona，R.a和Delarue，F.，正反向随机微分方程和受控McKean-Vlasov动力学。预印本t:arXiv:1303.5835。[8] Charalambous，C.D.，部分可观测非线性风险敏感控制问题：动态规划和验证定理。IEEE自动控制学报，第42卷（8），1130-11381997年。[9] Charalambous，C.D.和Hibey，J.，使用测度值分解的部分可观测非线性风险敏感控制问题的最小原理。《随机与随机报告》，57247-2881996[10]戴维斯，M.H.A.，瓦拉亚，P。。部分可观测随机系统的动态规划条件。暹罗J.控制优化。11 (2), 226261, 197 3.[11] Djehiche，B.Tembine，H.和Tempone，R.（2014）：风险敏感平均场型控制的随机最大值原理。预印本：arXiv:1404.1441。[12] El Karoui，N.和Hamad`ene，S.，BSDEs和风险敏感控制，随机泛函微分方程的零和与非零和博弈问题。斯托克。过程阿普尔。(107) , 145-169 , 2003.[13] 弗莱明，W。

H.部分可观察差异的最优控制。SIAM J.Controland Op tim，6, 194-214, 1968.[14] Hausmann，U.G.，《par tialinformation差异最佳控制的最大原理》。暹罗J.C.控制和优化。，25, 341-361, 1987.[15] Hosking，J.，一个amean-field型随机微分博弈的随机极大值原理。阿普尔。数学还有Optim。66页。41 5-454, 2012.[16] Huang，J.，Wang，G.a和Xiong，J.，部分信息反向随机控制问题的最大值原理及其应用。暹罗J.控制与优化。，48,2106-2117, 20 09.[17] Jacobson，D.H.，具有指数准则的最优随机线性系统及其与微分对策的关系。跨。自动装置。控制AC-18124-1311973。[18] Jourdain，B.，M\'el\'eard，S.和Woyczynski，W.：由L\'evy过程和相关偏微分方程驱动的非线性SDE。Alea 41292008。[19] Kwakernaak，H.，具有输出反馈的随机控制问题的最小原理。系统控制。，1, 74 -77, 198 1 .[20] Li，J.，平均场控制中的随机最大值原理。Automatica，48，第366-373页，2012年。[21]Li，X.和Tang，S.，部分观测最优随机控制的一般必要条件。J.附录l.Probab。，32, 1118-1137, 1995 .[22]Lim A E B，Zhou X.一种新的风险敏感最大原则。IEEE Trans Autom Cont，2005，50（7）：958-966。[23]Liptser，R.S.和Shiryayev，A.N.，随机过程统计，第一卷，SpringServerLag，纽约，1977年。[24]Shen，Y.和Siu，T.K.，《扩散平均场模型的最大原理及其在平均值问题中的应用》，非线性分析：理论、方法和应用，第86卷，2013年7月，第58-73页。[25]Shi，J.和Wu，Z.，跳变最优控制的风险敏感随机最大值原理及其应用。《数学科学学报》，第31（2）页。