委托代理问题的动态规划方法

在本文中，我们假设σ的以下隐式条件，见下文（2.4），m6=. （2.3）满足该条件，例如，如果x 7-→ σt（x，b）对于某些常数控制b是连续的∈ B、 西。g、 卡拉扎斯和什里夫[23]。请注意，我们不会对弱唯一性适用的控件重新严格控制。此外，根据byGirsanov定理，与（α，β）和（α′，β）有关的（2.1）的两个弱解是等价的。然而，不同的扩散系数会导致相应随机微分方程的相互奇异弱解。接下来我们介绍以下集合：P（ν）：=P∈ 问题(Ohm), （P，ν）∈ M, P:=Sν∈UP（ν），U（P）：=ν ∈ U、 （P，ν）∈ M, U:=SP∈问题(Ohm)U（P）。由于λ是有界的，因此根据Girsanov定理，任何控制模型M=（P，α，β）∈ 对于无漂移的SDEXt=X+Ztσr（X，β）dWt，t∈ [0，T]，带dP′dPFT=e-RTλr（X，αr）dr-RT |λr（X，αr）| dr.（2.4）相反，对于（2.4）的任何弱解（P′，β），F-可选进程β在B中取值，任意有界F-对于A中的值，我们直接从上一个构造中检查（P，α，β）是（2.1）的弱解。布朗运动定义在一个可能扩大的空间上，如果bσ不是可逆的P-a、 我们参考了Possamai、Tan和Zhou[30]的精确陈述。2.3代理问题我们接下来介绍成本函数C:R+×Ohm ×A×B-→ R+，可测量，带c（·，u）F- 可供所有u∈ A×B，我们假设在整个sup（P，ν）∈MEP“ZTct（X，νt）pdt#<∞, 对于一些p>1的人来说。（2.5）Let（P，ν）∈ 我很确定。标准过程X称为输出过程，控制ν称为输出过程或动作。代理负责通过在状态方程（2.1）中选择输出过程ν来控制输出过程的（分布），同时受制于r ate c（X，ν）的输出成本。

此外，代理具有固定的预订实用程序R∈ R、 也就是说，他不会接受为委托人工作，除非合同规定其预期效用为上述效用。代理人在t=0时被雇佣，并在t时从委托人处收到补偿ξ。委托人不遵守代理人的义务，只遵守输出过程X。因此，作为估价人的补偿ξ只能取决于X，即ξ是FT-可测量的一个随机变量ξ叫做契约，我们称之为ξ∈ CifsupP∈PEP[|ξp]<∞, 对于一些p>1的人来说。（2.6）我们现在介绍Agent的目标函数ja（M，ξ）：=EP“KνTξ-ZTKνtct（νs）ds#，对于所有M=（P，ν）∈ M、 ξ∈ C、 （2.7）式中kνt:=exp-Ztkr（νr）dr, T∈ [0，T]是通过函数k:R+×定义的贴现系数Ohm ×A×B-→ R、 有界，带k（·，u）F- 可供所有u∈ A×B.注意JA（M，ξ）对所有（M，ξ）都有很好的定义∈ 这是k的有界性以及条件（2.5）和（2.6）的结果。代理人的目标是根据PrincipalVA承诺的补偿合同ξ（ξ）：=supM，以最佳方式选择福利∈MJA（M，ξ），ξ∈ C.（2.8）控制模型M= （P, ν) ∈ 当VA（ξ）=JA（M）时，M是对合同ξ的最佳响应, ξ). 我们用M表示（ξ） 所有此类最优控制模型的集合。备注2.1。我们的方法还可以适应代理效用函数的风险规避，以及以下两种建模可能性。（i） 给定一个可逆效用函数UA，在Agent的准则中将UA（ξ）替换为ξ，或等效地将U替换为-1A（ξ）到ξ，在下面的委托人标准中。（ii）给定一个具有常数符号的效用函数，考虑代理人的目标函数- sgn（UA）ZTKνtct（νt）dt！KνTUA（ξ）#。特别是，我们的框架包括指数效用，在适当修改假设的情况下，参见。

Cvitani\'c、Possamai和Touzi[7]。在文献中，价值过程的动态版本由初始时间的明显变化引入，有时被称为持续效用或承诺效用。这种动态版本将成为委托人优化问题的状态变量；参见Sannikov[32]，了解其在连续时间模型中的使用。2.4委托人问题我们现在陈述委托人的优化问题。Pr inc.ipal从产出X加班期[0，t]的价值中获得收益，并按照向代理人承诺的那样，在终端时间t支付补偿ξ。我们将把委托人可以履行的合同限制为那些承认代理人问题最优解决方案的合同，即我们只允许合同ξ∈ 我是哪一位(ξ) 6= . 还记得，代理人的参与是以其价值高于预定效用R为条件的。因此，委托人只能从集合Ξ中选择合同：=ξ ∈ C、 M(ξ) 6= , 和VA（ξ）≥ R. （2.9）作为最终的组成部分，我们需要确定代理人在以下情况下的最优策略：（ξ） 包含多个最佳响应。按照标准惯例，我们假设，当这些解决方案之间不存在差异时，代理实施的是对原则最好的解决方案。其中，普林斯·伊帕尔的问题是vp:=supξ∈ΞJP（ξ），wher e JP（ξ）：=sup（P,ν)∈M（ξ） EPKPTUl - ξ,函数U:R-→ R是给定的非递减凹效用函数，l : Ohm -→ R是线性增长的变现函数，kpt:=exp-ZtkPrdr, s∈ [t，t]是一个贴现系数，通过贴现率函数定义：kP:R+×Ohm -→ R、 有界，F-可选择的关于委托代理问题的评论（i）代理人和委托人问题是一个非标准的随机控制问题。首先，ξ可以是非马尔可夫性质的。

第二，委托人的优化在ξ以上，这是一个先验的问题，不是一个可以用动态规划来解决的控制问题。本文的目的是开发一种方法，自然地将这两个问题简化为可以用动态规划解决的问题。（ii）与随机控制中的标准文献类似，假设受控系数λ和σ以r为界，以突出问题的一般结构，没有进入奇异随机控制的潜在困难（控制集的具体定义、缺乏规则性、边界层，即控制爆炸导致的值函数不连续）。然而，这种困难可以根据具体情况逐一解决，例如弗莱明和索纳[18]。我们强调，本文件的一般方法自然适用于无界控制的情况，见Aid、Possamai和Touzi[1]。（iii）注意，假设受控漂移σλ位于扩散矩阵的范围内。当扩散矩阵被允许退化时，这代表了模型的限制，这转化为反向SDE理论中的所谓结构条件。结构条件对于我们用反向SDE描述Agent的路径依赖控制问题的方法至关重要。（iv）在当前的连续时间原则代理文献中，问题的弱表述是标准的。首先，由于药剂的作用仅通过诱导分布影响pr问题，弱公式自然允许更大的控制类别。其次，委托人的合同被严格限制为在输出过程中是可测量的，因此捕获了Age nt和Pr inc ipal之间的差异信息。

在目前的弱公式中，不需要额外的可测性限制来解释问题的这一关键特征。3简化为标准随机控制问题本节包含预发论文的主要结果。3.1限制性契约族鉴于（2.8）中对主体问题的定义，很自然地引入了哈密顿泛函（t，x）∈ [0，T）×Ohm 和（y，z，γ）∈ R×Rd×Sd（R）：Ht（x，y，z，γ）：=supu∈A×Bht（x，y，z，γ，u），（3.1）ht（x，y，z，γ，u）：=-ct（x，u）- kt（x，u）y+σt（x，b）λt（x，a）·z+（σtσt） （x，b）：γ，（3.2）对于u:=（a，b）∈ A×B.备注3.1。（i） 应用H在马尔科夫扩散的随机控制理论中起着重要作用，例如，参见弗莱明和索纳[18]。实际上，假设o系数λt，σt，ct，kt仅通过当前值xt依赖于x，契约ξ仅通过最终值xt依赖于x，即对于s ome g:Rd，ξ（x）=g（xt）-→ R.然后，在相当一般的条件下，Agent问题的值函数由VA（ξ）=v（0，X）给出，其中函数v:[0，T]×Rd-→ R可以被描述为动态规划偏微分方程（称为Hamilton-Jacobi-Bellman（HJB）方程）的唯一粘度解（具有适当的增长）-电视（t，x）- H（t，x，v（t，x），Dv（t，x），Dv（t，x））=0（t，x）∈ [0，T）×Rd，v（T，x）=g（x），x∈ Rd.最近发展起来的路径相关偏微分方程理论将该方法扩展到了非马尔可夫情况，见Ekren、Touzi和Zhang[11,12]。（ii）我们还可以通过将初始时间移动到t来引入Agent Vt（ξ）的动态值函数。

在（i）的马尔可夫条件下，进一步假设HJB方程的解v是C1，2，我们有vt（ξ）=v（t，xt），并且我们通过它的^o公式得到ξ（x）=g（xt）：g（xt）=v（0，x）+ZTzt·dXt+γt:dhXit的以下表示-Ht（Vt，zt，γt）dt，其中zt:=Dv（t，xt），γt:=Dv（t，xt）。（3.3）这为我们的方法提供了动力，其灵感来自Sannikov[32]：使用价值过程V（ξ）满足的动态规划原则，以导出形式（3.3）下合同ξ的表示。接下来我们将介绍normskZkpHp:=supP∈PEP“ZT | bσtZt | dt！p/2#，kY kpDp：=支持∈打气sup0≤T≤T|Yt|p,对于任何F-可预测的，Rd-有值过程Z和任意F-可选，R-用c`adl`ag路径对进程Y进行赋值。以下合同子集将在我们的分析中发挥关键作用。定义3.2。我们用V表示所有F的集合-可预测过程（Z，Γ）：[0，T]×Ohm -→ Rd×Sd（R）满足（i）kZkHp+kYZ，ΓkDp<∞, 对于某些p>1，其中对于初始值Y∈ R、 过程YZ，Γ已定义-a、 s.为所有人P∈ P byYZ，Γt:=Y+ZtZr·dXr+Γr:dhXir- 人力资源YZ，Γr，Zr，Γrt博士∈ [0，T]。（3.4）（ii）存在弱解（PZ，Γ，νZ，Γ）∈ 我这样认为（Yt，Zt，Γt）=htYt，Zt，Γt，νZ，Γt, dt PZ，Γ- a、 e.在[0，T]×上Ohm. （3.5）条件（i）保证（3.4）中的过程YZ，Γ是明确的-a、 s.为所有人P∈ P.的确，如果右边的积分定义得很好，请注意，哈密顿量H是y中的Lipschitz-变量，因为k是未知的，因此保证YZ，Γ被定义为随机系数ODE的唯一解（3.4）。

接下来，为了证明积分确实定义得很好，我们观察了kνtYZ，Γt-ZtKνrcr（νr）dr=Y+ZtKνrZr·σr（βr）dWPr- Aνt，t∈ [0，T]，P- a、 美国，对所有人（P，ν）∈ M、 （3.6）其中，Aν是由Aνt定义的无n递减过程：=ZtKνrHr（年、锆、Γr）- hr（Yr，Zr，Γr，νr）t博士∈ [0，T]，P- a、 美国，对所有人（P，ν）∈ M.因此，定义3.2（i）中的可积性条件保证（3.4）定义良好-a、 美国，为了所有人∈ P.然后，YZ，Γ由可采性条件（2.5）明确定义。我们强调，RTZR·DX将在Ohm 不排除任何空集，作为Nutz[27]主要结果的结果。这是一个至关重要的事实，因为我们下面的主要结果表明，委托人的问题可以简化为选择形式为ξ=YZ，ΓT的合同，这要求此类合同独立于代理人的控制模型。关于连续时间委托代理问题的现有文献只涉及漂移控制的情况，因此容许控制模型包含等价的概率测度。在我们的上下文中，我们允许波动率控制，在条件（ii）中，存在（3.1）中定义的哈密顿量H的最大化子，这导致了AGE nt问题的容许控制模型。这是我们在下文提案N3.3中验证论证的标准技术条件，这是我们主要结果的关键因素。在这种情况下，下一个结果表明，在形式为ξ=YZ，ΓT的合同下，代理人的价值函数与上述过程YZ，Γ一致，相应的最优行动被确定为3.3上哈密顿量H.建议的最大rs。让我来∈ R和（Z，Γ）∈ V.然后，YZ，ΓT∈ C、 我们有：（i）Y=VAYZ，ΓT, 和任何（PZ，Γ，νZ，Γ）∈ MYZ，ΓT是最优的；（ii）（P）, ν) ∈ MYZ，ΓT当且仅当Ht（Yt，Zt，Γt）=Ht（Yt，Zt，Γt，ν）t） ，dt P-a、 e。

在[0，T]×上Ohm, i、 e.控制过程是在P的支持下哈密顿量的最大化子.证据从YZ，ΓTin（3.4）的定义来看，这显然是一个FT-可测量的随机变量。考虑YZ，ΓT的表达式（3.6）。然后，由于离散率k是有界的，它遵循定义3。2（i）以及关于代理人成本函数的条件（2.5），即ξ=YZ，ΓTsatis fies（2.6）。因此YZ，ΓT∈ C.我们接下来证明（i）。首先，对于任意M=（P，ν）∈ M、 它源于it^o公式的直接应用KνTYZ，ΓT= Y- EP“ZTKνrHr（YZ，Γr，Zr，Γr）+kνrrYZ，Γr- Zs·σβrrλαrr-bσr:Γrdr#，其中我们使用简化符号ur:=r（x，u）表示=k，σ，λ，其中我们使用了自（Z，Γ）以来的事实∈ 五、 s-tochastic积分r·KνrZr·bσrdwprd通过K和σ的b有界性定义了一个鞅。通过定义Agent的优化准则JA，我们可以写出最后一个方程asJAM、 YZ，ΓT= Y- EP“ZTKνtHtYZ，Γt，Zt，Γt- htYZ，Γt，Zt，Γt，νtdt#。（3.7）根据（3.1）中哈密顿量H的定义，这表明M、 YZ，ΓT≤ Y、 因此YZ，ΓT≤ 由M的任意性∈ M.最后，使用定义3.2的可采性条件（ii）中引入的控制（PZ，Γ，νZ，Γ），我们看到（3.7）减少为JAPZ，Γ，νZ，Γ，YZ，ΓT= 我们接下来证明（ii）。它遵循（3.7）和等式YZ，ΓT= Y、 建立在（i）中，我们必须为所有人（P, ν) ∈ MYZ，ΓTEP“ZTKν”RHr（YZ，Γr，Zr，Γr）- hr（YZ，Γr，Zr，Γr，ν）r）博士#=0。根据（3.1）中H的定义，当且仅当是人力资源的最大化者YZ，Γr，Zr，Γr, dt P-a、 e.on[0，T]×Ohm.这意味着我们的集合P不受支配。

因此，我们的方法有必要对随机积分进行路径定义。请注意，Bichteler[2]（另见Karandikar[22]）的经典路径随机积分结果不适用于我们的目的，因为我们需要限制p过程Z，使其具有进一步的路径正则性。Nutz[27]的最新结果完全适合我们的环境，但使用中值极限的概念来定义任何可预测过程的随机积分，该过程与任何c`adl`ag半鞅有关，其特征三元组相对于固定参考测度是绝对连续的。在通常的集合论框架ZFC（Zermelo-Fraenkel AXIOMPLUS，选择的不可数公理）下，不能保证中间极限的存在，必须添加更多公理。连续统假设是存在这些极限的几个有效公理之一，请参见[30，脚注3]以了解进一步的讨论。3.2受限委托人问题和主要归约结果最后一个命题3.3（ii）的结果建议，通过一个经典的可测选择函数，引入映射ut（x，y，z，γ）：=（α, β)最大化HHt（x，y，z，γ）=ht的t（x，y，z，γ）x、 y，z，γ，ut（x，y，z，γ）.因为可以有不止一个最大化者u, 我们介绍集合U最大化者。此外，提案3.3（ii）说t=ut（X，YZ，Γt，Zt，Γt）是定义良好的dtP-a、 s.为所有人（P, ν) ∈ MYZ，ΓT为了所有的你∈ U. 这些最优反馈控制为最优输出过程λ引入以下系数t（x，y，z，γ）：=λtx、 αt（x，y，z，γ）, σt（x，y，z，γ）：=σtx、 βt（x，y，z，γ）.

（3.8）注意，命题3.3（ii）说，对于所有人（Z，Γ）∈ Vand any u∈ U, 由n驱动的下列随机微分方程-维布朗运动WXt=X+Ztσr（X，YZ，Γr，Zr，Γr）λr（X，YZ，Γr，Zr，Γr）dr+dWr, T∈ [0，T]，（3.9）至少有一个弱解（P,Z、 Γ，ν,Z、 Γ）。当合同报酬为ξ=YZ时，P-Principal价值过程VP的以下结果是命题3.3的直接结果，并使用了支持 = -∞.3.4的提议。我们有副总统≥ supY≥RV（Y），其中V（Y）=sup（Z，Γ）∈Vsup（P，ν）∈P（YZ，ΓT）EPKPt，TUl - YZ，ΓT. （3.10）我们下面的主要结果确定了下限SUP≥RV（Y），当合同仅限于金融时报时，报告最大委托人价值-给定初始条件Y的可测随机变量z，Γt≥ R、 在fa c t中等于无限制主体的值VP。在接下来的第3.3节中，我们回顾了原则上如何计算Vcan。备注3.5。因为H在（y，z，γ）中是凸的，所以σtλT（Yt，Zt，Γt）∈ zHt（X，Yt，Zt，Γt）和σtσT（Yt，Zt，Γt）∈ 2.γHt（X，Yt，Zt，Γt），其中赞德γ分别表示相对于z和γ的次梯度。此外，如果H在z和γ中是可微分的，并且哈密顿量有一个以一阶条件为特征的内部最大化子，那么我们可以重写状态方程（3.9）asXt=X+ZtzHr（X，YZ，Γr，Zr，Γr）博士+2.γHr（X，YZ，Γr，Zr，Γr）dWr，t∈ [0，T]。我们现在准备好陈述我们的主要结果。定理3.6。假设v6=.