条件McKean-Vlasov方程的线性二次最优控制

|英尺|≥δ, 0 ≤ T≤ T，a.s.，对于某些δ>0。让我们定义随机McKean-Vlasov控制问题的动态公式。无论如何∈ [0，T]，ξ∈ L（G；Rd）和α∈ A、 存在一个唯一的强解，用{Xt，ξ，αs，t表示≤ s≤ T}，对于从时间T的ξ开始的方程（1.1），通过注意Xt，ξ，α在定律中也是唯一的，我们可以看到，Xt，ξ，α的条件定律仅通过其定律L（ξ）=L（ξ| W）依赖于ξ（回想一下，G独立于W）。然后，为了使G足够丰富，关系式ρt，u，αs:=L（Xt，ξ，αs | W），t≤ s≤ T、 u=L（ξ），定义任何T∈ [0，T]，u∈ P（Rd）和α∈ A、 F-逐步可测量的连续过程（直到修改）{ρt，u，αs，t≤ s≤ T}，其值在P（Rd）中，作为解{Xt，ξ，αs，T的路径唯一性序列≤ s≤ T}，我们有条件定律的流动性质（详见[32]中的引理3.1）：ραs=ρT，ραT，αs，T≤ s≤ T、 α∈ A.（2.4）然后我们考虑条件成本函数ljt（u，α）=EhZTt^fs（ρt，u，αs，αs）ds+^g（ρt，u，αt）Fti，t∈ [0，T]，u∈ P（Rd），α∈ A、 由（2.1）和二次成本函数加权矩阵的有界性假设很好地定义。接下来，我们定义F适应的随机场值函数VT（u）=ess infα∈AJt（u，α），t∈ [0，T]，u∈ P（Rd），所以v:=infα∈AJ（α）=v（L（ξ）），（2.5），这可能需要一个先验值-∞.

我们将在后面看到，假设（H1）和（H2）将确保最终结果，并且存在最优控制。（2.5）的动态对应项由vαt:=ess infβ给出∈At（α）Jt（ραt，β）=vt（ραt），t∈ [0，T]，α∈ A、 （2.6）式中，At（α）={β∈ A：βs=αs，s≤ t} （2.6）中的第二个等式来自于流动特性（2.4）和观察到的ρβt=ραt或β∈ At（α）。通过使用[22]中关于动态编程的一般结果，可以证明（在随机场v（u）有限的条件下）过程{vt（ραt）+Rt^fs（ραs，αs）ds，0≤T≤ T}是任意α的（P，F）-次鞅∈ A、 和α*∈ A是Vif的最优控制，且仅当{vt（ρα*t） +Rt^fs（ρα）*s、 α*s） ds，0≤ T≤ T}是一个（P，F）-鞅。我们将使用一个相反的结果，即动态规划验证定理，它在我们的上下文中采用以下公式。引理2.1假设可以找到一个F适应的随机场{wt（u），0≤ T≤ T、 u∈P（Rd）}满足二次增长条件| wt（u）|≤ Ckuk+It，u∈ P（Rd），0≤ T≤ T、 a.s.（2.7）对于某些正常数C，以及带有E[sup0]的非负F适应过程I≤T≤T|It |]<∞, 使（i）wT（u）=^g（u），u∈ P（Rd）；（ii）{wt（ραt）+Rt^fs（ραs，αs）ds，0≤ T≤ T}是任意α的（P，F）局部次鞅∈ A.（三）存在^α∈ A使得{wt（ραt）+Rt^fs（ραs，αs）ds，0≤ T≤ T}是（P，F）局部鞅。那么α是V的最优控制，即V=J（α），V=w（L（ξ））。此外，α在vαt=Jt（ραt，α）的意义上是时间一致的，0≤ T≤ T.证明。

根据条件（ii）中的局部子鞅性质，存在F-停止时间（τn）n，τnT a.s.的非减量序列，使得e[wτn（ρατn）+Zτn^ft（ραT，αT）dt]≥ w（ρα）=w（L（ξ）），α ∈ A（2.8）从（1.4）中f的二次型，我们很容易看到，对于所有n，呃Zτn^ft（ραt，αt）dt我≤ Cα1+Esup0≤T≤TkραTk,对于某些依赖于α的正常数Cα（当A=Rm时，Cα依赖于αviaE[RT |αt | dt]）∞, 当A=L（Rd；Rm）时，Cα通过其Lipschitz常数依赖于α。再加上w的二次增长条件和（2.1），我们可以通过将n发送到（2.8）的单位和getw（L（ξ））来应用优势收敛定理≤ E[wT（ραT）+ZT^ft（ραT，αT）dt]=E[g（ραT）+ZT^ft（ραT，αT）dt]=J（α），其中我们使用了终端条件（i）和成本函数的表达式（2.2）。由于α在A中是任意的，这表明w（L（ξ））≤ V.在条件（iii）中，利用^α的局部鞅性质得到等式。根据流动特性（2.4），由于ρβt=ραt或β∈ 在（^α）处，我们注意到（ii）和（iii）中的局部次鞅和鞅p性质在区间[t，t]上表示为：o{ws（ρt，ραt，βs）+Rst fu（ρt，ραt，βu，βu）du，t≤ s≤ T}是任意β的（P，F）局部s次鞅∈ 在（α）；o{ws（ρt，ραt，ραs）+Rst^fu（ρt，ραt，ραu，^αu）du，t≤ s≤ T}是一个（P，F）局部鞅。通过与初始日期相同的参数，这意味着V^αt=Jt（ρ^αt，^α）=wt（ρ^αt），这意味着一旦我们从初始状态ρ^αt在时间t开始，即^α的时间一致性，^α就是对[t，t]的最优控制。

引理2.1的实际应用包括找到一个随机场{wt（u），u∈P（Rd），0≤ T≤ T}，光滑（在某种意义上是精确的），因此我们可以将It^o’s公式应用于{wt（ραT）+Rt^fs（ραs，αs）ds，0≤ T≤ T}，并检查任何α的有限变化项是否为非负∈ A（局部次鞅条件），对于某些^α等于零∈ A（局部鞅条件）。为此，我们需要一个关于概率测度的导数概念，并将依赖于P.L.Lions在法国学院的课程[29]中介绍的概念。我们简要回顾了基本定义，并参考[14]了解详细信息，另请参见[12]、[21]。该概念基于通过设置u（X）=u（L（X））将P（Rd）上定义的函数提升为L（G；Rd）上定义的函数。我们说，如果升力U在L（G；Rd）上是Fr’echet可微的（对于连续导数是Fr’echet可微的），那么U在P（Rd）上是可微的（分别是C）。在这种情况下，根据Riesz定理被视为L（G；Rd）元素DU（X）的Fr’echet导数可以表示为DU（X）=uu（L（X））（X），对于某些函数uu（L（X））：Rd→ Rd，在u=L（X）时被称为u的导数。此外uu（u）∈ Lu（Rd）代表u∈ P（Rd）={L（X）：X∈ L（G；Rd）}。在[21]之后，我们说u是完全Cif，它是C，映射（u，x）∈ P（Rd）×Rd7→ uu（u）（x）是连续的，（i）对于每个固定的u∈ P（Rd），映射x∈ Rd7→ uu（u）（x）在标准意义上是可区分的，梯度表示为十、uu（u）（x）∈ Rd×d和s.t.映射（u，x）∈ P（Rd）×Rd7→ 十、uu（u）（x）是连续的；（ii）对于每个固定的x∈ 第三，地图∈ P（Rd）7→ uu（u）（x）在上述意义上是可区分的。它的导数，因此被解释为映射x′∈ Rd7→uuu（u）（x）（x′）∈ Rd×din Lu（Rd×d）用x′表示∈ Rd7→ uu（u）（x，x′）和。T

映射pin g（u，x，x′）∈ P（Rd）×Rd×Rd7→ uu（u）（x，x′）是连续的。我们说你∈ Cb（P（Rd））如果它完全是C，十、uu（u）∈ L∞u（Rd×d），uu（u）∈ L∞uu（Rd×d）表示任何u∈ P（Rd），对于P（Rd）的任何紧集K，我们有supu∈赫兹德uu（u）（x）|u（dx）+十、uu（u）k∞+uu（u）k∞我∞.接下来，我们需要一个It^o公式，以及[16]中针对常见噪声过程证明的一系列条件测度。在我们的上下文中，对于条件定律ραt的流动，0≤ T≤ T，α∈ A、 它的表述如下。让你∈ Cb（P（Rd））。那么，尽管如此∈ [0，T]，我们有u（ραT）=u（L（ξ））+ZtραTLαttu（ραt）+ ραt ραtMαttu（ραt）dt+ZtραtDαttu（ραt）dWt（2.9），其中为（t，u，a）∈ [0，T]×P（Rd）×A，Latu（u），Datu（u）是由Lu（R）定义的Ft可测量的随机函数（u）（x）：=bt（x，\'u，A）。uu（u）（x）+tr十、uu（u）（x）（σtσt+σt（σt）)（x，\'u，a）,达图（u）（x）：=uu（u）（x）σt（x，¨u，a）和Matu（u）是以Lu表示的Ft可测量的随机函数由Matu（u）（x，x′）定义的u（R）：=truu（u）（x，x′）σt（x，\'u，a）（σt）（x′，μ，a）.引理2.1中的动态规划版本结果和It^o公式（2.9）对于一般的随机McKean-Vlasov方程（超越LQ框架）是有效的，并且通过结合随机场过程的It^o-Kunita型公式（类似于[26]中的公式），可以将其应用于{wt（ραt）+Rt^fs（ραs，αs）ds，0≤ T≤ T}为了推导一种形式的随机Hamilton-Jacobi-Bellman，即wt（u）的反向随机部分微分方程（BSPDE），如[30]f中所做的，或具有随机系数的受控微分过程。

为了进一步研究，我们推迟了这种一般方法，在下一节中，我们将回到LQCMKV问题的重要特例，对于这个问题，我们将BSPDE简化为经典LQ框架中的倒向随机Riccati方程（BSRE）。3反向随机Riccati方程我们搜索LQCMKV问题的F适应随机场解，其二次形式为WT（u）=Var（u，Kt）+v（u，λt）+v（u，Yt）+v（u，Yt）+χt（3.1），用于一些F适应过程（K，λ，Y，χ），其值为Sd×Sd×Rd×R，且为反向SDE形式dKt=˙Ktdt+ZKtdWt，0≤ T≤ T、 KT=Pd∧T=˙∧tdt+Z∧tdWt，0≤ T≤ T、 ∧T=P+\'PdYt=˙Ytdt+ZYtdWt，0≤ T≤ T、 YT=LdχT=˙χT+ZχtdWt，0≤ T≤ T、 χT=0，（3.2）对于一些F适应过程˙K，˙∧，ZK，Z∧，其值在Sd中，˙Y，zy，其值在Rd中，以及˙χ，Zχ，其值在R中。注意，（3.2）中的终端条件通过（2.3）确保w在（3.1）中满足：wT（u）=g（u），接下来我们将确定生成器˙K，˙Y，∧和˙以满足局部条件。注意，函数Var，v，vare光滑w.r.t。

他们的论点和我们的uVar（u，k）（x）=2k（x- u), 十、uVar（u，k）（x）=2k=-uVar（u，k）（x，x′），kVar（u，k）=Var（u）：=R（x- u（x）- u)u（dx）uv（u，l)（x） =2lu, 十、uv（u，l)（x） =0，uv（u，l)（x，x′）=2l,lv（u，l) = uuuv（u，y）=y，十、uv（u，y）=0=uv（u，y）（x，x′），yv（u，y）=u。（3.3）对于任何α∈ A、 通过Sα，F适应过程等于Sαt=wt（ραt）+Rt^fs（ραS，αS）ds，0≤ T≤ 然后通过它的公式（2.9）观察，它的形式是DαT=Dαtdt+αtdWt，漂移项DαT=Dt（ραT，αT，Kt，λT，Yt），由Dt（u，a，k，l, y） =^ft（u，a）+uLatVar（u，k）+Latv（u，l) + Latv（μ，y）+ u  uMatVar（u，k）+Matv（u，l) + Matv（μ，y）+ tr(kVar（u，k）˙Kt）+tr(lv（u，l)˙∧t+yv（μ，y）˙Yt+˙χt+trkuDatVar（u，k）ZKt+ trluDatv（u，l)Z∧t+ yuDatv（u，l)ZYt，尽管如此∈ [0，T]，u∈ P（Rd），k，l ∈ Sd，y∈ Rd，a∈ A.（二阶激励术语SW.r.t.k.），l 因为函数v，Var和vare在k中分别是线性的，l 和y）。根据Var、vand vin（3.3）、wethen haveDt（u，a，k，l, y） =^ft（u，a）+Zbt（x，\'u，a）[2k（x）- u) + 2l\'u+y]u（dx）+Z[σt（x，\'u，a）kσt（x，\'u，a）+σt（x，\'u，a）kσt（x，\'u，a）]u（dx）+Zσt（x，\'u，a）u（dx）(l - （k）Zσt（x，\'u，a）u（dx）+ Var（u，˙Kt）+v（u，˙∧t）+v（u，˙Yt）+χt+Zσt（x，\'u，a）[2ZKt（x- \'u）+2Z∧t\'u+ZYt]u（dx）。

（3.4）我们现在区分控制集A为Rm（LQCMKV1）或Rd（Rd；Rm）（LQCMKV2）的情况。3.1控制集A=Rm根据bt的线性形式，σt，σtin（1.2），以及^ftin（2.3），经过一些简单的计算，我们得到：，l, y） =Var（u，Φt（k，ZKt）+v（u，ψt（k，l, Z∧t）+˙∧t）+v（u，Θt（k，l, Z∧t，y，ZYt）+Yt+t（k，l, y、 ZYt）+˙χt+aΓt（k，l)a+[2Ut（k，l, Z∧t）¨u+Rt（k，l, y、 ZYt）]阿维思Φt（k，ZKt）=Qt+Btk+kBt+DtkDt+（Dt）kDt+（Dt）ZKt+ZKtDtψt（k，l, Z∧t）=Qt+\'Qt+（Dt+\'Dt）k（Dt+\'Dt）+（Dt+\'Dt）l（Dt++Dt）+（Bt++Bt）l + l（Bt++Bt）+（Dt++Dt）Z∧t+Z∧t（Dt+\'Dt）Θt（k，l, Z∧t，y，ZYt）=Mt+（Bt+？-Bt）y+2lbt+2（Dt+Dt）kγt+2（Dt+\'Dt）lγt+（Dt+？-Dt）ZYt+2Z∧tγtt（k，l, y、 ZYt=ybt+γtkγt+（γt）lγt+（ZYt）γtΓt（k，l) = Nt+FtkFt+（英尺）lFtUt（k，l, Z∧t）=（Dt+\'Dt）kFt+（Dt+？-Dt）l英尺+lCt+Z∧tFtRt（k，l, y、 ZYt=2Ftkγt+2（英尺）lγt+Cty+（英尺）ZYt。（3.5）然后，在条件th atΓt（k）下完成方形后，l) 在Sm中为正定义，我们有（u，a，k，l, y） =Var（u，Φt（k，ZKt）+v（u，ψt（k，l, Z∧t）- Ut（k，l, Z∧t）Γ-1t（k，l)Ut（k，l, Z∧t）+˙∧t）+v（u，Θt（k，l, Z∧t，y，ZYt）- Ut（k，l, Z∧t）Γ-1t（k，l)Rt（k，l, y、 ZYt）+˙Yt）+t（k，l, y、 ZYt）-Rt（k，l, y、 ZYt）Γ-1t（k，l)Rt（k，l, y、 ZYt）+˙χt+A.- ^at（°u，k，l, y）Γt（k，l)A.- ^at（°u，k，l, y）,式中，^at（°u，k，l, y） =-Γ-1t（k，l)Ut（k，l, Z∧t）¨u+Rt（k，l, y、 ZYt）.因此，只要˙Kt+Φt（Kt，ZKt）=0，˙∧t+ψt（Kt，λt，Z∧t）- Ut（Kt，λt，Z∧t）Γ-1t（Kt，λt）Ut（Kt，λt，Z∧t）=0，˙Yt+Θt（Kt，λt，Z∧t，Ys，ZYt）- Ut（Kt，λt，Z∧t）Γ-1t（Kt，λt）Rt（Kt，λt，Yt，ZYt）=0，˙χt+t（Kt，λt，Yt，ZYt）-Rt（Kt，λt，Yt，ZYt）Γ-1t（Kt，λt，Yt）Rt（Kt，λt，Yt，ZYt）=0，适用于所有0≤ T≤ T，我们有αT=Dt（ραT，αT，Kt，∧T，Yt）（3.6）=αt- ^at（ραt，Kt，λt，Yt）Γt（Kt，λt）αt- ^at（ραt，Kt，λt，Yt）,哪个小鬼撒谎说Dαt≥ 0, 0 ≤ T≤ 总的来说，T∈ A、 即。

Sαt=wt（ραt）+Rt^fs（ραS，αS）ds，0≤ T≤ 满足所有α的（P，F）-局部子鞅性质∈ A.然后我们要考虑BSDE系统：dKt=-Φt（Kt，ZKt）dt+ZKtdWt，0≤ T≤ T、 KT=Pd∧T=-[ψt（Kt，λt，Z∧t）- Ut（Kt，λt，Z∧t）Γ-1t（Kt，λt）Ut（Kt∧t，Z∧t）]dt+Z∧tdWt，0≤ T≤ T、 ∧T=P+`PdYt=-Θt（Kt，λt，Z∧t，Yt，ZYt）- Ut（Kt，λt，Z∧t）Γ-1t（Kt，λt）Rt（Kt，λt，Yt，ZYt）]dt+ZYtdWt，0≤ T≤ T、 YT=L，dχT=-t（Kt，λt，Yt，ZYt）-Rt（Kt，λt，Yt，ZYt）Γ-1t（Kt，λt）Rt（Kt，λt，Yt，ZYt）dt+ZχtdWt，0≤ T≤ T、 χT=0。（3.7）定义3.1 BSDE系统（3.7）的解是F适应过程对（K，ZK），∧，Z∧，（Y，ZY），（χ，Zχ）的四重解，其值分别为Sd×Sd，Sd×Sd，Rd×Rd，R×R，使得rt | ZKt |+| Z∧t |+| ZYt∞a、 矩阵过程Γ（K，λ）与Smis正定义a.s.中的值，以及以下关系Kt=P+RTtΦs（Ks，ZKs）ds-RTtZKsdWs，∧t=P+\'P+RTtψs（Ks，λs，Z∧s）+Us（Ks，λs，Z∧s）Γ-1s（Ks，λs）Us（Ks，λs，Z∧s）ds-RTtZ∧sdWs，Yt=L+RTtΘs（Ks，λs，Z∧s，Ys，ZYs）- Us（Ks，λs，Z∧s）Γ-1s（Ks，λs）Rs（Ks，λs，Ys，ZYs）ds-RTtZYsdWs，χt=RTts（Ks，λs，Ys，ZYs）-Rs（Ks，λs，Ys，ZYs）Γ-1s（Ks，λs）Rs（Ks，λs，Ys，ZYs）ds-RTtZχsdWs，适用于所有∈ [0，T]。以下验证结果表明s y杆（3.7）和LQCMKV1控制之间存在连接问题。命题3.1假设（K，ZK），∧，Z∧，（Y，ZY），（χ，Zχ）是BSDE（3.7）的解，使得K，λ，Γ-1（K，λ）本质上是有界的，Z∧位于L中(Ohm ×[0，T]），即e[RT|Z∧T|dt]<∞, Y在于S(Ohm ×[0，T]），即e[|sup0≤T≤T|Yt|]<∞, 而χ位于(Ohm ×[0，T]），即。

E[| sup0≤T≤T|χT|]<∞ 然后，控制过程α*t=^at（E[X*t | W]，Kt，∧t，Yt）（3.8）=-Γ-1t（Kt，λt）Ut（Kt，λt，Z∧t）E[X*t | W]+Rt（Kt，λt，Yt，ZYt）, 0≤ T≤ T、 X在哪里*= Xα*是反馈控制^at（，Kt，λt，Yt）的状态过程，是LQCMKV1问题的最优控制，即V=J（α）*), 我们有v=Var（L（ξ），K）+v（L（ξ），λ）+v（L（ξ），Y）+χ。证据考虑（K，ZK），∧，Z∧，（Y，ZY），（χ，Zχ）是BSDE（3.7）的解，W是二次型（3.1）的解。首先，注意w满足四次增长（2.7），因为K，λ基本上是有界的，和（Y，χ）∈ S(Ohm ×[0，T]）×S(Ohm ×[0，T]）。此外，我们还有终端条件wT（u）=^g。接下来，通过构造，过程Dαt=Dt（ραt，αt，Kt，λt，Yt），0≤ T≤ T是非负的，这意味着SαT=wt（ραT）+Rt^fs（ραS，αS）ds，0≤ T≤ T是（P，F）-局部子鞅。此外，通过选择控制α*在表（3.8）中，我们注意到X处的th*, 线性随机McKean-Vlasov动力学的解满足平方可积条件：E[sup0≤T≤T | X*t |]<∞, 因此E[RT |α*t|dt]<∞, 因为U（K，λ，Z∧）继承了Z∧的平方可积条件L(Ohm ×[0，T]），Γ-1（K，λ）本质上是有界的，所以α*∈ 最后，fr om（3.6）我们看到Dα*= 0给出了Sα的（P，F）-局部鞅性质*, 我们以动态编程验证引理2.1作为结论。现在让我们证明，在假设（H1）和（H2）下，满足命题3.1可积条件的BSDE（3.7）解的存在性。我们指出这个系统是解耦的：（i）首先考虑（K，ZK）的BSDE，其生成器（K，z）∈ Sd×Sd7→ Φt（k，z）∈ SDS是线性的，具有本质上有界的系数。由于终端条件P本质上也是有界的，线性BSDE的标准结果表明，存在一个单位为Sd×Sd，s.t的u nique解（K，ZK）。