脉冲控制下的非零和随机微分对策

首先，请注意，在两个参与者都愿意干预的情况下，即当αCk=αCk时，参与者1具有优先权。此外，我们还强调了“k”、“k”是随机变量，反映了干预的数量取决于ω的事实∈ Ohm. 特别要注意的是，在事件{k=∞} 公约∞t=limkexkt适合于t∈ [0，τS[，sinceeXk≡eXk+1in[0，＠τk+1[和limk＠τk=αS＠k=τSby假设。此外，我们注意到，如果∈ {1，2}只干预有限次，即，如果“kiis fi fine”，则控制的尾部通常设置为（τi，k，δi，k）=（τS，0）表示k>\'ki。然而，请注意，受控过程X不会在时间τS处跳跃。实际上，通过定义，该过程只会在时间τk处跳跃≤\'k，在这种情况下，我们有∧τk<αSk≤ αS′k=τS。在定义2.5之后，我们将在本节后面对这种尾部的选择进行进一步评论。最后，我们指出，定义2.2可以很容易地扩展到{τk}0的病理情况，即使是以一些额外的技术细节为代价≤K≤在游戏结束前积累。然而，这是一种退化的情况，本文和一般脉冲控制文献中没有考虑这种情况：见定义2.5和相应的评论。在下面的引理中，我们对（2.2）中概述的性质给出了严格的公式。引理2.3。让x∈ S，并让φi=（Ci，ξi）成为玩家i的策略∈ {1, 2}.- 流程X允许以下表示（使用约定）[∞,∞[= ):Xs=`k-1Xk=0Yeτk，xks[eτk，eτk+1[（s）+Yeτk，xτks[eτk，∞[（s）。（2.4）-过程X是连续的。更准确地说，X是连续的，满足[0]中的方程（2.1），∞[\\{τi，k:τi，k<τS}，而X在{τi，k:τi，k<τS}处不连续，其中wehaveXτi，k=ΓiX（τi，k）-, δi，k, δi，k=ξiX（τi，k）-, X（τi，k）-∈ Ci。（2.5）-进程X永远不会退出集合C∩ C.证据。

我们只是证明（2.5）中的第一个属性，其他属性是直接的。让我∈ {1,2}，k≥ 1含τi，k<τ砂组σ=η（i，k），η如定义2.2所示。通过（2.3）、（2.4）和定义2。我们有xτi，k=Xeτσ=Yeτσ，xσeτσ=xσ=ΓieXσ-1eτσ，eΔσ= ΓieXσ-1（eτσ）-,eΔσ= ΓiX（eτσ）-,eΔσ= ΓiX（τi，k）-, δi，k,在第五个等式中，我们使用了processeXσ的连续性-1in[eτσ-1.∞[在下一个到最后一个等式中，我们利用了xσ-1.≡ X in[0，eτσ[。每个玩家的目标是最大化自己的回报，包括四个折扣条件：持续的回报、她干预的成本、对手干预的收益和最终回报。更准确地说，对于每个i∈ {1，2}我们考虑ρi>0（贴现率）和连续函数fi:S→ R（跑步者），您好：s→ R（终端支付）和φi:s×Zi→ R、 ψi:S×Zj→ R（干预的成本和收益），其中j∈ {1,2}，j 6=i。参与者i的报酬定义如下。定义2.4。让x∈ S、 让（~n，~n）成为一对策略，让τSbe定义为定义2中的值。2.对于每个人，我∈ {1，2}，如果右侧存在且不确定，我们设置ji（x；魟，魟）：=ExZτSe-ρisfi（Xs）ds+Xk≥1：τi，k<τSe-ρiτi，kφiX（τi，k）-, δi，k+Xk≥1：τj，k<τSe-ρiτj，kψiX（τj，k）-, δj，k+ E-ρiτShi（XτS）{τS<+∞}, （2.6）其中j∈ {1,2}，其中j6=i和{（τi，k，δi，k）}k≥1是与策略，相关的玩家i的冲动控制。在控制理论中，通常情况下，期望中的下标表示与可用信息相关的条件作用（因此，它会回忆起起点）。注意，在上面的总和中，我们不考虑等于τS的停止时间，因为游戏以τS结束。

此外，根据定义2.2，该过程不会在时间τS处跳跃，因此在（2.6）中，写入hi（XτS）而不是hi（X（τS）是合法的-).为了更好地定义Jiin（2.6），我们现在引入一组允许的策略inx∈ S.定义2.5。让x∈ S和φi=（Ci，ξi）是玩家i的策略∈ {1, 2}. 我们使用定义2.2的旋转，并且我们说，如果：1，则该对（k，k）是x容许的。因为我∈ {1，2}，以下随机变量在L中(Ohm):ZτSe-ρ是| fi |（Xs）ds，e-ρiτS | hi |（XτS），Xτi，k<τSe-ρiτi，k |φi |（X（τi，k）-, δi，k），Xτi，k<τSe-ρiτi，k |ψi |（X（τi，k）-, δi，k）；(2.7)2. 每p∈ N、 随机变量kXk∞= 监督≥0 | Xt |在Lp中(Ohm):Ex[kXkp∞] < ∞; (2.8)3. 因为我∈ {1,2}我们有Limk→+∞τi，k=τS.（2.9）我们用Φx表示x-容许对的集合。由于定义2.5中的第一个条件，支付Ji（x；k，k）得到了很好的定义。第二个条件将用于验证定理3.3。我们认为（2.8）实际上是合理的。事实上，在竞争博弈的实际应用中，相互连续区域通常是一个有界集（例如，参见第4节中的非零和问题，或[18]中的停止博弈），因此| X |是有界的且（2.8）成立。第三个条件防止了seach player在τS之前积累干预。这是脉冲控制理论中的一个常见假设，参见[24，第6章]。特别是，在这种情况下，我们不允许在同一瞬间t<τS内进行一系列的多次干预。然而，任何时候都允许同时进行一定数量的干预，正如我们在备注2.8中详述的那样。

最后，请注意，如果游戏者i干预一定次数，则第三个关系总是正确的，因为在定义2.2中，对于k>ki，控制的尾部通常设置为（τi，k，δi，k）=（τS，0）。我们以纳什均衡的定义和相应的支付函数作为本节的结束。请注意，函数不是唯一定义的，而是取决于所考虑的灰平衡。定义2.6。给定x∈ S、 我们说*, φ*) ∈ Φxis博弈的纳什均衡*, φ*) ≥ J（x；k，а）*), ~ns.t.（~n，~n）*) ∈ Φx，J（x；ψ）*, φ*) ≥ J（x；ψ）*, φ), s.t.（*, φ) ∈ Φx.最后，纳什均衡的支付函数定义如下：如果x∈ S和纳什均衡*, φ*) ∈ 我们准备好了∈ {1,2}Vi（x）：=Ji（x；~n*, φ*).备注2.7。在技术上，处理封闭集上定义的函数很方便。出于这个原因，我们扩展了Jian和Vito的定义，包括琐碎的情况x∈ S.由于S是一个开放集，在这种情况下，游戏立即停止，因此我们有τS=0和Ji（x；~n，~n）=hi（x）分别对应于每一个（~n，~n），因此Vi（x）=hi（x）。备注2.8。我们注意到，在我们的框架内，允许随后同时进行一定数量的干预。也就是说，如果其中一个参与者介入t≥ 0之后可能会有另一次干预，也就是说，仍然在时间t。如果新状态在其中一个参与者的continuationregion之外，我们可以在同一时间t进行第三次干预，依此类推。然而，这种情况只能发生很多次，因为很明显，定义2.5中第三个条件阻止的有限序列将对应于退化博弈。备注2.9。我们对策略的定义不同于[16]中使用的定义，后者是对非预期策略概念的改编，即“a la Elliott Kalton[20]（见[21]中的随机案例）。

在后一种情况下，任何参与者的战略都是以非预期的方式对其竞争对手的战略做出反应，即它不能依赖于未来的战略。这种策略的概念已成功地应用于具有连续控制的零和随机微分对策的研究，并在[11]中得到进一步加强，以处理它们的非零和对手。事实证明，非预期策略的概念非常适合粘性解方法。在本论文中，我们决定将重点放在一种特殊形式的反馈策略上，主要是为了便于理解。事实上，它们是阈值型策略的推广，为了获得明确的平衡，它们显示出非常有效的效果（参见，例如[18]）。此外，每个玩家的行为仍然是对其竞争对手行为的响应，即使只是通过受控状态变量。3验证理论在本节中，我们为非零和脉冲博弈中某些纳什均衡的支付函数定义了一个合适的微分问题（见第3.1节），并证明了此类博弈的验证定理（见第3.2节）。3.1拟变分不等式问题我们现在介绍了一些纳什的支付函数应该满足的微分问题我们游戏中的平衡：这将是在下一节中陈述验证定理的关键。让我们考虑第2节中的冲动游戏。假设在某些纳什均衡条件下，为每个x定义了支付函数V，Vare∈ S（比较备注2.7，而对于本节中介绍的所有运算符，考虑开集S就足够了）。也假设我∈ {1，2}从S到zi存在一个唯一的、有限的、可测量的函数δifs，使得{δi（x）}=arg maxδ∈子Vi（Γi（x，δ））+φi（x，δ）, （3.1）每x∈ s

我们通过mivi（x）=Vi定义了四个干预算子Γi（x，δi（x））+ φix、 δi（x）,HiVi（x）=ViΓj（x，δj（x））+ ψix、 δj（x）,（3.2）对于x∈ S和我，j∈注意MiVi（·）=maxδ{Vi（Γi（·，δ））+φi（·，δ）}。（3.1）和（3.2）中的功能具有即时和直观的解释。让x为过程的当前状态；如果参与者i（分别为参与者j）以脉冲δ进行干预，那么参与者i的呈现均衡报酬可以写成Vi（Γi（x，δ））+φi（x，δ）（分别为Vi（Γj（x，δ））+ψi（x，δ））：我们考虑了新状态下的报酬和干预成本（分别为收益）。因此，（3.1）中的δi（x）是我在玩家想要干预时使用的冲动。类似地，当玩家i（分别为玩家J 6=i）立即采取最佳行动并在事后表现最佳时，MiVi（x）（分别为HiVi（x））代表玩家i的报酬。请注意，干预并非总是最佳的，因此MiVi（x）≤ Vi（x），每x∈ S、 只有当MiVi（x）=Vi（x）时，我才应该介入（脉冲δi（x））。这给出了纳什均衡的启发式公式，前提是Vi的显式表达式可用。验证定理将为这一启发性论点提供严格的证明。现在我们来描述支付函数Vi.假设V，V∈ C（S）（稍后将给出较弱的条件）和defineavi=b·Vi+trσ∑tDVi,其中b，σ如（2.1）所示，σt表示σ和的转置Vi，d分别是Vi的梯度和hessian矩阵。我们对以下关于V，V的拟变分不等式（QVIs）感兴趣，其中i，j∈ {1,2}和i6=j:Vi=hi，inS、 （3.3a）MjVj- Vj≤ 0，在S，（3.3b）HiVi中- Vi=0，单位为{MjVj- Vj=0}，（3.3c）最大值阿维- ρiVi+fi，MiVi- Vi}=0，单位为{MjVj- Vj<0}。（3.3d）我们现在提供一些条件（3.3a）-（3.3d）背后的直觉。首先，最终条件是显而易见的。

此外，正如我们已经注意到的，（3.3b）是脉冲控制理论中的标准条件。对于（3.3c），如果球员j介入（即MjVj- Vj=0），根据纳什均衡的定义，我们期望玩家i不会失去任何东西：这相当于HiVi- Vi=0，否则偏离会对她有利。相反，如果球员j不干预（因此MjVj- Vj<0），那么玩家i的问题就变成了经典的单人脉冲控制问题，Visatis Fies max阿维- ρiVi+fi，MiVi- Vi}=0。简言之，后一种情况表明- ρiVi+fi≤ 0，在不干预的情况下平等（即MiVi- Vi<0）。备注3.1。我们注意到avivi只出现在{MjVj中- Vj<0}，所以在这样一个区域内，葡萄藤属植物的分类是一致的（事实上，这个假设可以稍微放宽，正如我们将看到的）。这代表了与单人情况的不同，在单人情况下，值函数通常要求在S中几乎所有地方都是两次可微的，参见[24，Thm.6.2]。零和案。下一节将提供验证定理。在这里，作为初步检查，我们表明我们确实推广了[16]中提供的QVIs系统，其中考虑了零和情况。我们证明了，如果我们假设：-f、 φ：=φ=-ψ, ψ := ψ= -φ、 h:=h=-h、 Z:=Z=Z，Γ：=Γ=Γ，（3.4），所以V:=V=-五、 然后（3.3）中的问题简化为[16]中考虑的问题。为了简化方程，我们假设ρ=ρ=0（这是有意义的，因为[16]中考虑了有限的视界问题）。首先，我们定义fmv（x）：=supδ∈ZV（Γ（x，δ））+φ（x，δ）,超高压（x）：=infδ∈ZV（Γ（x，δ））+ψ（x，δ）,每x∈ 很容易看出，在（3.4）中的条件下，我们有MV=fMV，MV=-超高压，高压=超高压，高压=-fMV。（3.5）通过使用（3.5），问题（3.3）变成sv=h，inS、 （3.6a）fMV≤ 五、≤超高压，南部，（36亿）AV+f≤ 0，在{V=fMV}，（3.6c）AV+f=0，在{fMV<V<eHV}，（3.6d）AV+f中≥ 0，在{V=eHV}中。

（3.6e）简单的计算表明，问题（3.6）等价于v=h，inS、 （3.7a）fMV- 五、≤ 0，在S中，（3.7b）min{max{AV+f，fMV- 超高压-V}=0，在S中，（3.7c），这正是[16]中研究的问题，正如预期的那样。引理3.2。问题（3.6）和（3.7）是等价的。证据推迟到附录A.3.2陈述和证明我们在此提供本文的主要数学贡献，这是第2节中形式化问题的验证理论。定理3.3（验证定理）。让第2节中的所有符号和工作假设生效，让Vi成为从S到R的函数，i∈ {1, 2}. 假设（3.1）保持并设置Di:={MiVi- Vi<0}，MiVias在（3.2）中。此外，因为我∈{1，2}假设：（i）Vi是（3.3a）-（3.3d）的解；（二）六∈ C（Dj）Di）∩ C（Dj）∩ C（S）且具有多项式增长；（三）Dii是一个Lipschitz曲面（即，它是一个Lipschitz函数的局部图），它是一个二阶局部有界导数，在该函数的某个邻域内迪。最后，让我们来看看x∈ S并假设*, φ*) ∈ Φx，带φ*i=（Di，δi），其中i∈ {1,2}，集合Diis如上所述，函数δiis如（3.1）所示。然后，（ν）*, φ*) 是纳什均衡，且Vi（x）=Ji（x；~n）*, φ*) 因为我∈ {1, 2}.备注3.4。实际上，纳什策略的特点如下：只有当受控过程从{MiVi]区域退出时，参与者i才进行干预-Vi<0}（等价地，仅当MiVi（x）=Vi（x），其中x是当前状态）。当这种情况发生时，她的冲动是δi（x）。备注3.5。

定理3.3证明中的一些技术步骤和近似方法可能会隐藏这个结果所基于的思想：如果φ是参与者1的策略，则*) ∈ Φx，通过Ite^o公式（这里只是试探性的）和QVI问题（3.3）中的四个条件，我们得到v（x）“=”Ex-ZτSe-ρs（AV）-ρV（Xs）ds-Xτ1，k<τSe-ρτ1，k五、Xτ1，k-五、X（τ1，k）--Xτ2，k<τSe-ρτ2，k五、Xτ2，k- 五、X（τ2，k）-+ E-ρτSV（XτS）{τS<+∞}≥ 前任ZτSe-ρsf（Xs）ds+Xτ1，k<τSe-ρτ1，kφX（τ1，k）-, δ1，k+Xτ2，k<τSe-ρτ2，kψX（τ2，k）-, δ2，k+ E-ρτSh（XτS）{τS<+∞}= J（x；k，а）*).当考虑到~n=П时*, 通过定义φ，我们得到了一个等式*, 所以*, φ*) 这是纳什均衡。然而，必须考虑几个近似序列，因为我们不能直接应用It^o公式（Vis不够规则）和期望值（我们正在处理潜在的有限和）。备注3.6。注意，因为∈ C（S）代表我∈ {1，2}，集合是开的，函数δ是可测的，可测极大值定理在[1，Thm.18.19]中给出。我们还观察到，对于上述定理中的（候选）平衡策略，引理2.3中的性质暗示了以下内容（符号很重，但理解定理的证明至关重要）：（MV- V）Xx；φ*,~ns< 0，（3.8a）（毫伏）- V）Xx；φ,φ*s< 0，（3.8b）δx；φ*,ν1，k=δXx；φ*,φτx；φ*,ν1，k-, （3.8c）δx；φ,φ*2，k=δXx；φ,φ*τx；φ,φ*2，k-, （3.8d）（MV）- V）Xx；φ*,φτx；φ*,ν1，k-= 0，（3.8e）（MV- V）Xx；φ,φ*τx；φ,φ*2，k-= 0，（3.8f）对于每个策略*), (φ*, φ) ∈ Φx，每个s≥ 0和每个τx；φ,φ*i、 k，τx；φ*,νi，k<∞.证据根据定义2.6，我们必须证明vi（x）=Ji（x；~n*, φ*), V（x）≥ J（x；k，а）*), V（x）≥ J（x；ψ）*, 对于每一个我∈ {1,2}和（~n，~n）策略*) ∈ Φx和（φ）*, φ) ∈ Φx.我们展示了Vand J的结果，Vand J的参数是对称的。第一步：V（x）≥ J（x；k，а）*). 让~n成为玩家1的策略，以便*) ∈ Φx。

在这里，我们将使用以下缩写符号：X=Xx；φ,φ*, τi，k=τx；φ,φ*i、 k，δi，k=δx；φ,φ*i、 k.为了使用It^o公式，我们首先需要用正则函数近似Vw。由于（ii）和（iii）保持[23，Thm.10.4.1和App.D]的证明]存在函数序列{V1，j}j∈确认：（a）V1，j∈ C（D）∩ C（S），每个j∈ N（尤其是D中定义的AV1、jis）；（b） V1，j→ 瓦斯j→ ∞, 在S的紧子集上一致；（c） {AV1，j}j∈Nis在Dand AV1，j中局部有界→ 艾瓦斯j→ ∞, D的紧子集上的一致性D.对于每个r>0和`∈ N、 我们设置τr，`=τr∧ τ1,`∧ τ2，`，（3.9），其中τr=inf{s>0:Xs/∈ B（0，r）}是半径为r的球的退出时间。由（3.8b）我们得到了x∈ D对于每个s>0。从V1开始，j∈ C（D）乘以（a），每j∈ N我们可以把它的公式应用到过程e中-ρtV1，j（Xt）在区间[0，τr，`[，取条件期望：wegetV1，j（x）=Ex-Zτr，`e-ρs（AV1，j）-ρV1，j）（Xs）ds-Xτ1，k<τr，`e-ρτ1，kV1，jXτ1，k-V1，jX（τ1，k）--Xτ2，k<τr，`e-ρτ2，kV1，jXτ2，k- V1，jX（τ2，k）-+ E-ρτr，`V1，jX（τr，`）-. （3.10）注意，（3.10）由（3.9）定义：事实上，由于τr`≤ τr，X属于紧setB（0，r），其中连续函数V1，jis有界；此外，这两个总和包含自τr以来的有限个项`≤ τ1,`∧ τ2,`. 另外，请注意，在（3.10）中，我们需要写出ev1，j（X（τr，`）-), 由于时间τr处的跳跃，`。我们现在把（3.10）中的极限作为j→ ∞: 由于Xbelong是紧集B（0，r），通过（B）和（c）中的一致收敛，我们得到v（x）=Ex-Zτr，`e-ρs（AV）-ρV（Xs）ds-Xτ1，k<τr，`e-ρτ1，k五、Xτ1，k-五、X（τ1，k）--Xτ2，k<τr，`e-ρτ2，k五、Xτ2，k- 五、X（τ2，k）-+ E-ρτr，`VX（τr，`）-. （3.11）我们现在估计（3.11）右边的每个项。至于第一学期，自（MV）- 五） （Xs）<0乘以（3.8b），从（3.3d）可以得出（AV- ρV（Xs）≤ -f（Xs），（3.12）表示所有的s∈ [0，τS]。