委托代理问题的动态规划方法

然后，我们有VP=supY≥RV（Y）。此外，任何最大化子（Y, Z, Γ) 问题的答案是supY≥RV（Y）诱导最优契约ξ:=YZ公司,Γ负责校长的问题副总裁。定理3.6将我们的非z-和Stackelberg随机微分对策简化为标准随机控制问题的值函数的有限维最大化，该问题可通过随机控制理论的旁观者工具解决，见第3.3小节。这种减少是通过提供从Ξ到集合的合同类别限制来实现的YZ，ΓT，Y≥ R、 （Z，Γ）∈ 五、不影响委托人的价值功能最简单的有效条件是证明任何ξ∈ Ξ可以表示为ξ=YZ，ΓT，P-a、 s.for all P∈ P.我们将在接下来的小节中看到，当挥发性系数不受控制，并生成满足PRE dic表格表示属性的弱解时，情况确实如此在第5小节的一般情况下，我们将证明最后的表示结果适用于ξ的方便近似ξε，这将允许Principal获得最佳值。备注3.7。在我们的例子中，V是非空的假设很重要，因为否则，主体的约化问题将退化并有价值-∞. 然而，请注意，这是一个相当简单的假设。例如，我们可以通过限制代理的成本函数c严格凸、强制且具有适当的正则性，来确保（Z，Γ）=（0，0）对，诱导恒定契约，属于V。备注3.8。通过直接应用后向SDE理论中的表示结果，解决了Agent对扩散矩阵不起作用，诱导弱解满足可预测表示性质的特殊情况。

我们在下面的第4节中隔离了这种设置，参见定理4。2.3.3简化问题的HJB表征我们方法的一个优点是，假设限制P（YZ，ΓT）6= 满足且过程esin V满足定义3.2（ii）的容许条件，针对标准随机控制问题，控制过程（Z，Γ）和受控状态过程（X，YZ，Γ），X的受控动力学（在弱公式中）由（3.9）给出，YZ，Γ由（3.4）dYZ，Γt给出=Zt·σtλt+Γt:σt（σ）（t）-Ht（YZ，Γt，Zt，Γt）dt+Zt·σt（YZ，Γt，Zt，Γt）dWMt、 （3.11）在马尔可夫情况下，路径X的依赖性仅通过当前值，我们从受控动力学（3.9）-（3.11）中可以看出，与控制问题对应的动态规划方程的相关优化项定义为（t，X，y）∈ [0，T]×Rd×R byG（T，x，y，p，M）：=sup（z，γ）∈R×Sd（R）supu∈Un（σ）tλt） （x，y，z，γ）·px+z·（σ）tλt） +γ：σt（σ）（t）- Ht（x，y，z，γ）py+（σt（σ）（t）)（x，y，z，γ）：Mxx+zzMyy+ (σt（σ）（t）)（x，y，z，γ）z·Mxyo，其中M=：MxxMxyMxyMyy∈ Sd+1（R），Mxx∈ Sd（R），Myy∈ R、 Mxy∈ Md，1（R）和p=：pxpy∈ Rd×R.下一个声明提供了马尔科夫案例问题的验证结果。作为随机控制理论的标准，这需要假设哈密顿量G（t，x，y，p，M）的最大化子^z（t，x，y，p，M）和^γ（t，x，y，p，M）的存在性。我们将用tto表示所有f的集合-使用[0，T]中的值保存时间。定理3.9。考虑一个马尔可夫环境，并让φt（x，）=~nt（xt，.）对于φ=k，kP，λ, σ, H、 及l（十）=l（xt）。

让v∈ C1,2[0，T），Rn+1∩ C[0，T]×Rd+1是动态规划方程的经典解((电视- kPv（t，x，y）+Gt、 x，y，Dv（t，x，y），Dv（t，x，y）= 0，（t，x，y）∈ [0，T）×Rd×R，v（T，x，y）=U(l（十）- y） ，（x，y）∈ Rd×R.进一步假设（i）家庭v（τ，Xτ，Yτ）τ ∈TTis P-对所有（P，ν）一致可积∈ P（YZ，ΓT）和所有（Z，Γ）∈ 五、 （ii）函数G具有最大化子^z和^γ，使得oSDE（3.9）-（3.11）具有控制（z）t、 Γt） ：=（^z，^γ）（，Dv，Dv）（t，Xt，Yt）有一个弱解（P*, ν),o （Z）, Γ) ∈ 然后，V（Y）=V（0，X，Y）和（Z）, Γ) 是问题V的最优控制。总的来说，我们看到Principal的问题涉及bo th x和y作为状态变量。我们考虑belowin第6节的条件，在这些条件下，状态变量的数量可以减少。在结束本节之前，让我们先谈谈最优契约的存在。如上定理3.9所述，这归结为值函数v具有足够的正则性，以便给出其相对于x的偏导数的意义（对于Sobolev sensecould中的实例弱导数，原则上是有效的），并将其用作SDE（3.9）–（3.11）中的反馈。在这方面，最优契约的存在性问题与一般随机控制问题的存在性问题相同；例如，参见El Karoui、Huu Nguyen和Jeanblanc Picqu\'e[13]以及Haussman和Lepeltier[19]的开创性研究。4输出的固定波动性我们在这里考虑的情况是，代理只允许控制输出过程的偏差，即B={bo}。在这种情况下，我们简单地用M表示控制模型，M=（P，α）。显然，只有当无漂移的SDE（2.4）Xt=X+Ztσr（X，bo）dWt，t∈ [0，T]，（4.1）有一个弱解（P′，bo）。

为了简单起见，我们在本节中还假设（P′，bo）是（4.1）的唯一弱解；此外，（P′，FP′）满足可预测的表示性质和Blumenthal零一定律（4.2），其中过滤FP′+是P′-我们注意到，关于连续时间委托代理问题的所有现有文献都属于这个框架，我们再次强调，我们的主要结果不需要这个条件。备注4.1。可预测鞅表示属性适用，例如，如果x7-→ σt（x，bo）isLipschitz，对于Ohm, 在t中一致，见任、头子和张[31]中的定理4.2。对于半鞅概率测度P，我们用Ft+：=∩s> TF表示右连续极限，FPt+表示P下的相应完成。完成的右连续过滤表示为FP+。在本文中，所有控制模型M=（P，α）∈ M等于测量值P′，由密度dpdp′定义FT=expZTλr（X，αr）dr+ZT |λr（X，αr）| dr！。哈密顿量H约化为ht（x，y，z，γ）=（σtσ）t） （x，bo）：γ+Fot（x，y，z），Fot（x，y，z）：=supa∈Afot（x，y，z，a），fot（x，y，z，a）：=-ct（x，a，bo）- kt（x，a，bo）y+σt（x，bo）λt（x，a）·z，因此约化合同定义为：yzt=YZ，0t=y-ZtFos十、 YZs，Zsds+ZtZs·dXs，t∈ [0，T]，P′- a、 在美国，对过程Γ的依赖消失了。为了证明定理3.6，我们现在证明任何合同ξ∈ Ξ可以用ξ=YZT，P′的形式表示-a、 从而将我们的结果简化为求解以下反向SDE的问题：Y=ξ+ZTFos十、 YZs，Zsds-ZTZs·dXs，P′- a、 s.（4.3）在下一个声明中，我们回顾包含{YZT:Y≥ R和（Z，0）∈ 五、 Ξ是显而易见的副定义。定理4.2。设B={bo}使得相应的无漂移SDE（4.1）满足条件（4.2），并假设v6=.

然后，Ξ={YZT:Y≥ R和（Z，0）∈ 五、. 特别是，VP=supY≥RV（Y）。证据条件v6= 意味着Ξ6=. 尽管如此，ξ∈ Ξ，我们观察到条件（2.6）意味着ξ∈ 利用H¨older不等式和λ的有界性，得到了某些P′>1的Lp′（P′）。此外，k、σ和λ的有界性意味着foi在（y，z）中是一致Lipschitz连续的，通过H′olderin等式和（2.5），我们可以发现p>p′>1，这样：ZT|Fot（0,0）|p′dt= EP′ZTinfu∈A×Bct（u）p′dt≤ sup（P，ν）∈欧洲议会ZTct（νt）pdt< ∞.然后，当P’满足前dic表鞅表示性质和零一定律时，后向SDEs的标准理论保证了L’P（[0，T]×中表示（4.3）的存在性和唯一性Ohm),带“p:=p”∧ p′，参见Pardoux和Peng[29]中的“p=2”，或Briand等人[4]中的“p>1”。最后，（Z，0）满足H¨older不等式定义3.2的条件（i）。此外，由于ξ=YZT∈ Ξ，根据第3.3条建议，（Z，0）也满足第3.2条定义的条件（ii）。因此（Z，0）∈ V.5一般情况在本节中，我们将定理4.2的证明扩展到定理3.6的一般情况，该定理绕过了非受控扩散框架中的条件（4.2），并涵盖了代理控制提取和输出过程X的波动性的情况。与前一节类似，关键工具是反向SDE理论，但是，控制波动性需要调用他们最近对第二种情况的扩展。出于技术原因，我们需要引入通用过滤FU=未来0≤T≤由FUt定义的Tde：=∩P∈问题(Ohm)FPt，t∈ [0，T]，我们用FU+表示，对应的右连续极限。

此外，对于asubset∏ 问题(Ohm), 我们引入∏集-极性集N∏：=N Ohm, N A一些A∈ FTwithsupP∈πP（A）=0, 然后我们介绍∏-FF∏的完成：=F∏tT∈[0，T]，其中F∏T:=FUt∨ σN∏, T∈ [0，T]，以及相应的右连续极限F∏+.5.1，从（T，x）的完全非线性到半线性哈密顿量∈ [0，T]×Ohm, 定义∑t（x，b）：=（σtσt） （x，b）和∑∑t（x）：=∑t（x，b）∈ S+d（R）：b∈ B, （5.1）我们还引入了逆映射，该逆映射将生成控制的相应集合Bt（x，∑）：=B∈ B、 σtσt（x，b）=∑, Σ ∈ ∑∑t（x），因此我们可以分离关于哈密顿量Hin（3.1）中平方差的部分最大化，并定义任何（y，z，γ，∑）∈ R×Rd×Sd（R）×S+d（R）Ht（x，y，z，γ）=sup∑∈∑∑t（x）nFtx、 y，z，∑+∑：γo，Ft（x，y，z，∑）：=sup（a，b）∈A×Bt（x，∑）- ct（x，a，b）- kt（x，a，b）y+σt（x，b）λt（x，a）·z.（5.2）换句话说，2H=(-2F）*是的凸共轭-2F.5.2隔离二次变量的控制遵循Soner、Touzi和Zhang[36]对二阶反向SDE的方法，我们从Agent的问题开始，隔离输出四次变量的控制。为此，回忆一下符号（5.1），让∑t（x，b）1/2b为相应的（d，d）-对称平方根。我们观察到无漂移二极管（2.4）可以转换为xt=X+Zt∑t（X，βt）1/2dWot，t∈ [0，T]。（5.3）实际上，（2.4）的任何溶液（P，β）也是（5.3）的溶液，通过Br ownianmotion的L’evy表征。反之，设（P，β）为（5.3）的解，设W:=（Wo，W）为n-维布朗运动扩展了原布朗运动Wo。让Rn表示所有旋转矩阵的se t，即RR= 进去，让罗德诺特（d，n）-由第一行R和Rhe（n）组成的矩阵- d、 n）- 由n组成的矩阵- d剩余的R行。

注意dWt=RdWtde定义了布朗运动，同样由布朗运动的L’evy刻画。让{Rt，t∈ [0，T]}be anRn-具有Rt（x）的有值可选过程：∑t（x，βt）-1/2σt（x，βt）。这里，∑t（x，βt）-1/2表示∑t（x，βt）1/2的伪逆。那么，尽管如此∈ [0，T]，Xt=X+Zt∑T（X，βT）1/2dWot=X+Zt∑T（X，βT）1/2Rt（X，βT）dWt=X+ZtσT（X，βT）dWt，这意味着（P，β）是SDE（2.4）的解。乐视网：=阿宝∈ 专业b(Ohm) : （Po，β）某些β的（2.4）弱解,我们观察到，对于（2.4）的所有弱解（Po，β），我们有^σt∈ ∑t：=∑t（b）：b∈ B} ，和βt∈ Bt（σt）：=B∈ B：∑t（B）=σt}，Po- a、 与前一节类似，对于任何固定的扩散系数，（2.1）和（2.4）的解之间存在一对一的对应关系，通过Girsanov定理表征d。从以上讨论中，我们看到，通过介绍（Po）：=ν=（α，β）F- 可选过程，α∈ A、 β∈ B^σ, 在[0，T]上，Po- a、 美国。,我们可以定义一组控制模型M和s e tMo之间的一一对应关系：=（Po，ν），Po∈ po和ν∈ U（Po）,如下：对于（Po，ν）∈ Mo，定义PνbydPνdPoFT=EZ.λt（αt）·dWtT=EZ.Rot（βt）λt（αt）·dWot+Rtλt（αt）·dWtT=EZ.∑t（βt）-1/2σt（βt）λt（αt）·dWot+Rtλt（αt）·dWtT.（5.4）然后，根据Girsanov-theo-rem得出（Pν，ν）∈ 注意，Ris的选择是不相关的。然后，我们可以重新编写Age nt的问题asVA（ξ）=supPo∈PoVA（ξ，Po），其中VA（ξ，Po）：=supν∈U（Po）EPν“KνTξ-ZTKνtct（νt）dt#。我们通过提供证明我们的主要定理3.6所需的表示形式的形式推导来结束这一小节。通过二阶反向SDE在子部分中报告了严格的调整。对于所有固定订单∈ Po，值VA（ξ，Po）是具有固定四次变量的随机控制问题的值。

通过与上一节相同的论证，我们得到了反向SDE表示va（ξ，Po）=YPo=ξ+ZTFt（YPot，ZPot，^σt）dt-ZTZPot·dXt，Po- a、 因为VA（ξ）是VA（ξ，Po）对Po的上确界∈ Po，我们接下来根据动态编程原理证明，相应的动态值函数满足适当的Po-每个Po下的超鞅性质∈ Po，由Doob-Meyer分解得到的表达式为：VA（ξ）=Y=ξ+ZTFt（Yt，Zt，^σt）dt-ZTZt·dXt+KT，所有采购订单的采购订单a.s∈ Mo，（5.5），其中ZtdhXit=dhY，Xit和K是非递减的，Po-a、 这是给所有人的∈ 阿宝。此外，如果是Po中的最佳度量，那么VA（ξ）=VA（ξ，Po）), 因此K=0，Po-a、 一般来说，无法保证存在这样一个最优度量，因此我们通过条件infpo来解释K的最小值∈PoEPo[KT]=0。（5.6）这正是我们将从二阶倒向SDE中严格获得的表示，我们将利用它来证明我们的主要定理3.6。备注5.1。我们的方法的另一个正式证明如下。假设表达式ξ=YZ，ΓT=Y+ZTZt·dXt+ΓT:dhXit- Ht（Yt，Zt，Γt）dt，Po- a、 美国为所有Po∈ Po是正确的，请记住，P中的所有度量都相当于Po上的一些对应度量。回想一下（5.2）中F的定义，以及定义˙Kt:=Ht（Yt、Zt、Γt）- 英尺Yt，Zt，bσt-bσt:Γt，t∈ [0，T]。通过对上述ξ表示的直接替换，我们得到了ξ=YZ，ΓT=Y+ZTZt·dXt-ZTFt公司Yt，Zt，bσtdt-ZT˙Ktdt，Po- a、 s.为所有人P∈ 根据F的定义，请注意˙Kt≥ 0代表所有t∈ [0，T]和˙kT在bσ取H定义中F的最大值时消失，即在二次变化密度为最大值的任何度量的支持下。

由于上确界可能无法达到，我们将其作为infpo的替代品∈波波KT= 0，含Kt:=Zt˙Ksds，t∈ [0，T]。通过三重态（Y，Z，K）对ξ的最后表示与（5.5）不同，只是在非递减过程K上稍微放松，降低了关于勒贝斯盖测度的绝对连续性要求。5.3代理人问题的2BSDE表征我们现在通过Soner、Touzi和Z hang[36]介绍的二阶反向SDE（下文简称2BSDE）提供代理人价值函数的表示。我们使用了Possamai、Tan和Zhou[30]的最新结果，绕过了[36]中的规律性条件。给定一个可容许契约ξ，我们考虑以下2BSDEYt=ξ+ZTtFs（Ys，Zs，bσs）ds-ZTtZs·dXs+ZTtdKs，Po- a、 美国为所有Po∈ 阿宝。（5.7）以下定义回顾了2 BSDE的注释，并使用了附加注释（Po，F+）：=P′∈ Po，Po[E]=P′[E]表示所有的E∈ F+t; 阿宝∈ 阿宝，t∈ [0，T]。定义5.2。我们假设（Y，Z，K）是2BSDE（5.7）的解，如果对于某些p>1，（i）Y是c`adl`ag和FP+-可选流程，kY kpDop:=supPo∈波波监督≤T|Yt|p< ∞;（ii）Z是FPo-可预测的过程，kZkphop:=supPo∈波波RTZtbσtZtdtP< ∞;（iii）K是FPo-可选，非递减，从K=0开始，满足最小条件kT=essinfPoP′∈Pot（Po，F+）EP′KTFPo+t, 0≤ T≤ T、 阿宝- a、 美国为所有Po∈ 阿宝。（5.8）这一定义与Soner、Touzi和Zhang[36]以及Possamai、Tan和Zhou[30]的定义略有不同，因为此处假设非递减过程K是聚合的。这是可能的，因为Nutz[27]的随机积分聚合结果在本文假设的连续统假设下成立。

由于过程Y和Z是聚合的，因此Rz·dx是聚合的，这意味着分解（5.7）中的剩余项K也是聚合的。5.3的提议。尽管如此，ξ∈ C、 2BSDE（5.7）有一个独特的解决方案（Y、Z、K）。证据为了验证Possamai，Tan和Zhou[30]的适定性条件，我们通过考虑从路径x开始的时间t上的SDE（5.3），引入了集合Mo，Po的动态版本Mo（t，x）和Po（t，x）∈ Ohm .（i） 我们首先验证{Po（t，x），（t，x）族∈ [0，T]×Ohm} 用[30，定义5.1]的术语来说是饱和的，即所有采购订单∈ Po（t，x）和Po~ Pounder哪个X是Po-鞅，我们必须有∈ Po（t，x）。要看到这一点，请注意Po和Po之间的等效性意味着X的二次变化不会因为从Poto Po传递而改变。因为X是Po-鞅，它的推论是if（Po，β）∈ Mo（t，x）然后（Po，β）∈ Mo（t，x）。（ii）由于k、σ、λ是有界的，因此根据容许控制的定义，F满足[30]中要求的可积性和Lipschitz连续性假设。