时间不一致随机控制的强平衡和弱平衡

另一方面，如果弱平衡满足（2.7）所有Q的严格不等式∈ Q和i∈ S、 则（2.8）必须适用于任何i∈ 砂Q∈ Q、 表明弱平衡实际上是强平衡。目前尚不清楚的、具有挑战性的情况是*一个弱平衡和（2.7）对于某些Q是相等的∈ Q和i∈ S、 本文的目的是阐明斯特龙平衡和弱平衡之间的区别以及联系。这将在两个不同的层面上完成。从理论上，将导出弱平衡和强平衡的完整刻画。基于此，我们将在具体例子中演示弱平衡与强平衡的区别。特别是，我们将明确表明，可能存在偏离弱平衡的动机，如备注2.2所述，这正好说明了强平衡的新概念。3主要结果3.1弱平衡点和强平衡点的特征在本节中，我们将对F（i，Q）进行详细的渐近分析*) -F（i，QεQ*) asε↓ 这将导致我们在理论3.1和3.2中对弱平衡和强平衡进行不同但又相互关联的描述。回忆（2.4）中的F（i，Q）。对于任何i∈ S、 Q∈ Q、 ε>0时，我们定义ε（i，Q）：=EiZ∞f（t+ε，Xt，QXt）dt. （3.1）然后，我们将写出ef（Q）：=（F（1，Q），F（N，Q））和Fε（Q）：=（Fε（1，Q），Fε（N，Q））。还记得Qi表示Q的ithrow。引理3.1。假设（2.2）和（2.3）。修复i∈ S和Q，Q*∈ Q、 然后，作为ε↓ 0，F（i，QεQ*) = Fε（i，Q*) + [f（0，i，Qi）+fε（Q*) · Qi]ε+o（ε）。（3.2）进一步假设（2.2）的强度为：| f（t+ε，i，q）- f（t，i，q）|≤ h（t，ε；i，q）t型≥ 0，ε>0，i∈ S、 和q∈ Di，（3.3），其中h是一个非负函数，使得h（t，ε；i，q）在ε中增加，limε↓0h（t，ε；i，q）=0；（3.4）Z∞h（t，ε；i，q）dt<∞, 对于足够小的ε>0。

（3.5）然后，作为ε↓ 0，F（i，Q*) - F（i，QεQ*) =ΓQ*（Q）*（一）- ΓQ*（Qi）ε+o（ε），（3.6），其中ΓQ*（Qi）：=f（0，i，Qi）+Qi·f（Q）*). （3.7）引理3.1的证明归入附录A.1。备注3.1。在（2.6）中的非指数贴现下，引理3.1中的假设变成了贴现函数δ的温和条件：（2.2）相当于δ的连续性；（2.3）降低至∞δ（t）dt<∞; （3.8）（3.3）等效于δ和z的连续性∞（δ（t）- δ（t+ε））dt<∞, 对于足够小的ε>0。（3.9）注意，（3.8）表示（3.9），反之亦然。事实上，如果（3.8）成立，（3.9）中的积分等于εδ（t）dt，对于所有ε>0的情况都是有限的。另一方面，可以检查双曲线计数函数δ（t）：=1+βt，β>0，满足（3.9），但不满足（3.8）。因此，“（2.3）和（3.3）”降低为“δ是连续的且满足（3.8）”。这已经涵盖了许多常见的非指数折扣函数，如β>0和k>1的广义双曲δ（t）：=（1+βt）kw，以及伪指数δ（t）：=λe-ρt+（1- λ） e类-ρtwithλ∈ （0，1）和ρ，ρ>0。假设X=i，所有超过时间ε>0的未来自我都将跟随Q*∈ Q、 鉴于（3.6），当前self希望遵循Q*∈ Q在[0，ε]上，而不是偏离任何其他Q∈ Q、 仅当一阶项始终为非负时，即对于任何Q∈ Q、 ΓQ*（Q）*（一）≥ ΓQ*（Qi）。（3.10）该关系完全表征了弱平衡。定理3.1。假设（2.3）和（3.3）。然后，Q*∈ Q是弱平衡态当且仅当ΓQ*（Q）*（一）≥ ΓQ*（Qi）适用于所有（i，Q）∈ S×Q证明。对于任何i∈ S和Q∈ Q、 引理3.1（特别是（3.6）），作为ε↓ 0，F（i，Q*) - F（i，QεQ*)ε=ΓQ*（Q）*（一）- ΓQ*（Qi）+ o（1）。（3.11）这表明（2.7）是令人满意的（即Q*是一个弱等式）如果且在ly上如果（3.10）对所有（i，Q）都成立∈ 定理3.1给出了一个简便的弱平衡判据。

具体而言，对于任何∈ S和可微分函数v:Di→ R、 让v（α）是在α处计算的v的梯度∈ Di，和nv（α）是v（α）。LetT：=λ=（λ，…，λN）∈ RN：Xi=1，。。。，Nλi=0. （3.12）提案3.1。设f（0，i，·）为所有i∈ S、 如果Q*∈ Q是弱平衡，那么对于anyi∈ S(f（0，i，Q*i） +F（Q*)) · λ ≤ 0, λ ∈ T s.T.Q*i+ελ∈ 对于足够小的ε>0，Di。（3.13）特别是，如果Q*iis是Di的相对内点，然后（3.13）减少到nf（0，i，Q*i） +F（n，Q*) = mf（0，i，Q*i） +F（m，Q*), n、 m=1，N、 此外，如果f（0，i，·）对于所有i是额外凹的∈ S、 （3.13）的反过来也是正确的；i s，Q*是弱平衡的当且仅当（3.13）适用于所有i∈ S、 证明。让Q*是一个弱平衡。修复i∈ S、 对于任何ε>0和λ∈ T使得Q*i+ελ∈ 根据定理3.1和回忆（3.7），我们得到f（0，i，Q*i） +Q*i·F（Q*) ≥ f（0，i，Q*i+ελ）+（Q*i+ελ）·F（Q*).下面是f（0，i，Q*i+ελ）- f（0，i，Q*i） ε+F（Q*) · λ ≤ 0。则（3.13）如下ε↓ 相反，假设Q*∈ 所有i的Q满意度（3.13）∈ S、 如果f（0，i，·）与所有i有关∈ S、 然后映射ξ7→ f（0，i，ξ）+f（Q*) ·ξ对于所有i是凹的∈ S、 这与（3.13）一起表明ξ=Q*iis最大值ξ7→ f（0，i，ξ）+f（Q*) ·ξ对于所有i∈ S、 也就是说，ΓQ*（Q）*（一）≥ ΓQ*（Qi）适用于所有（i，Q）∈ S×Q。根据定理3.1，Q*是一个弱平衡。命题3.1的有用性将在第4节中表现出来，我们在具体例子中寻找平衡。为了描述强平衡，我们需要将（3.6）升级到二阶或更高阶的扩展。为此，每当f（·，i，q）∈ C、 我们定义，对于任何（i，Q）∈ S×Q，函数g（i，Q）：=EiZ∞ft（t，Xt，QXt）dt.此外，我们将写出eg（Q）：=（G（1，Q），G（2，Q）。。。，G（N，Q）），ΓQ*（Q） :=ΓQ*（Qi），ΓQ*（Q） 。。。，ΓQ*（QN）.引理3.2。

设f满足（2.3），f（·，i，q）为Con[0，∞) 就我而言∈ S和q∈ Di。此外，假设ftalso满足（2.3）和| f（t+ε，i，q）- （f（t，i，q）+εft（t，i，q））|≤ r（t，ε；i，q）t≥ 0，ε>0，i∈ S、 和q∈ Di，（3.14），其中r是ε连续的函数，满足（3.5），其中r（t，ε；i，q）ε在ε中增加， （t，i，q）。（3.15）那么∈ S和Q，Q*∈ Q、 asε↓ 0，F（i，Q*) - F（i，QεQ*) =ΓQ*（Q）*（一）- ΓQ*（Qi）ε+∧Q*（i，Q*) - ∧Q*（i，Q）ε+o（ε），（3.16），其中ΓQ*（Qi）定义见（3.7）和∧Q*（i，Q）：=英尺（0，i，Qi）+Qi·2G（Q*) + ΓQ*（Q）. （3.17）引理3.2的证明被归入附录A.2。备注3.2。根据泰勒定理，f（·，i，q）∈ 对于每一个（t，i，q），creadiesr（t，ε；i，q）=o（ε）。（3.18）因此，显然存在一个序列{εk}k∈n带εk↓ 0，取决于（t，i，q），例如r（t，εk；i，q）/εkd减小为0。鉴于此，（3.15）略强于“f（·，i，q）∈ Cfor all（i，q）“：它要求r（t，εk；i，q）/εkto减少任意{εk}k∈n带εk↓ 0、备注3.3。在如（2.6）所述的非指数贴现情况下，mma 3.2中施加的所有条件都会降低到贴现函数δ上的温和条件：o备注3.1，“f满意度（2.3）”降低到（3.8）。o“f（·，i，q）∈ Cw与ftsatizing（2.3）”之和为δ∈ 坎兹∞δ′（t）dt<∞; （3.19）o“r（t，ε；i，q）满意度（3.5）”降低toR∞|δ（t+ε）- （δ（t）+εδ′（t））| dt<∞. 注意，在（3.8）和（3.19）中，这始终是正确的；回顾备注3.1，（3.8）意味着（3.9）。o“r（t，ε；i，q）ε在ε中增加，对于所有（t，i，q）”归结为δ（t+ε）- δ（t）ε-δ′（t）ε增加， t型≥ （3.20）对于（3.20）来说，一个有用的有效条件是δ是凸的。因此，引理3.2中施加的条件减少到（3.8）、（3.19）和（3.20）。

这已经涵盖了许多常见的非指数折扣函数，包括注释3.1中提到的广义双曲和伪指数。引理3.2中的二阶展开为强平衡提供了一个简单有效的条件。证明强平衡的存在（下面的定理3.3）以及在第4节的示例中明确发现强平衡将是有用的。有趣的是，条件本身仅与一阶项相关，而其推导涉及二阶项。提案3.2。假设f满足引理3.2中规定的条件。对于任何Q*∈ Q、 ifΓQ*（Q）*i） >ΓQ*（Qi）对于所有i∈ S和Q∈ Q，Qi6=Q*i、 （3.21）然后Q*是一个很强的平衡。命题3.2的证明归入附录A.3。一般来说，弱平衡Q*∈ 对于某些i，Q可以满足（3.10）的等式∈ S和Q∈ Q，Qi6=Q*i、 在这种情况下，命题3.2是不确定的。进一步检查Q*∈ 在g方程上，需要仔细分析（3.16）中的二阶项。提案3.3。假设f满足引理3.2中规定的条件。让Q*∈ Q是一种弱平衡。考虑者：={（i，Q）∈ S×Q \\{Q*} : ΓQ*（Q）*i） =ΓQ*（Qi）}。（3.22）如果∧Q*（i，Q*) > ∧Q*（i，Q）对于所有（i，Q）∈ R、 然后Q*是一个很强的平衡。If∧Q*（i，Q*) <∧Q*（i，Q）对于某些（i，Q）∈ R、 然后Q*不是一个强平衡。证据给定（i，Q）∈ Rc，定理3.1暗示ΓQ*（Q）*i） >ΓQ*（Qi）。那么，（3.6）很容易显示f（i，Q*) - F（i，QεQ*) > 0，因为ε>0足够小。给定（i，Q）∈ R、 引理3.2 impliesF（i，Q*) - F（i，QεQ*)ε=∧Q*（i，Q*) - ∧Q*（i，Q）+ o（1）。（3.23）如果∧Q*（i，Q*) > ∧Q*（i，Q）对于所有（i，Q）∈ R、 （3.23）表明F（i，Q*) -F（i，QεQ*) > 0表示ε>0足够小，适用于所有（i，Q）∈ R、 因此，Q*是一个很强的平衡。

If∧Q*（i，Q*) < ∧Q*（i，Q）对于某些（i，Q）∈ R、 （3.23）表示F（i，Q*) - F（i，QεQ*) < 0表示ε>0足够小，表示q*不是一个强平衡。根据命题3.3，存在∧Q的非决定性情况*（i，Q*) ≥ ∧Q*（i，Q）对于所有（i，Q）∈ R和∧Q*（i，Q*) = ∧Q*（i，Q）对于某些（i，Q）∈ R、 为了解决这个问题，需要进一步升级提案3.3，并进行更高阶的扩展。重复这条推理路线可以得出以下强平衡的特征。定理3.2。假设存在函数Ln:S×Q×Q→ R、 n个∈ N、 例如ε↓ 0，F（i，Q*) - F（i，QεQ*) =∞Xn=1Ln（i，Q，Q*)εn，我∈ S和Q，Q*∈ Q、 （3.24）然后，Q*∈ Q是强平衡的充要条件是（i，Q）∈ S×Q，以下情况之一：（i） n*= n*（i，Q）∈ N表示Ln（i，Q，Q*) = 0表示所有n<n*和Ln*（i，Q，Q*) > 0;（ii）Ln（i，Q，Q*) = 0表示所有n∈ N、 证明。让Q*∈ Q是一个强平衡。通过矛盾，假设存在（i，Q）∈ S×Qsuch，即（i）和（ii）均不成立。那么，一定存在^n∈ N使得Ln（i，Q，Q*) = 0表示所有n<^n和L^n（i，Q，Q*) < 因此，（3.24）yieldsF（i，Q*) - F（i，QεQ*)ε^n=L^n（i，Q，Q*) + o（1）。（3.25）带L^n（i，Q，Q*) < 0，F（i，Q*) < F（i，QεQ*) 对于足够小的ε>0。这与Q相矛盾*beinga str在g平衡上。另一方面，假设（i）或（ii）对任何（i，Q）成立∈ S×Q。如果（i）保持不变，（3.24）收益率（3.25），用n代替n*. 带Ln*（i，Q，Q*) > 0，F（i，Q*) > F（i，QεQ*)对于足够小的ε>0。如果（ii）成立，（3.24）表示F（i，Q*) = F（i，QεQ*) 对于足够小的ε>0。这表明Q*是一个str on g equalibrium。命题3.1和定理3.2共同提供了一种寻找强平衡的机制。首先，我们使用命题3.1来发现弱平衡。

接下来是定理3.2，当没有人想确定弱平衡Q*∈ Q实际上很强。原则上，可以导出F（i，Q）的高阶展开式*) - F（i，QεQ*) 检查定理3.2中的（i）或（ii）是否成立。如引理3.2（即使是二阶展开式）的证明所示，这种推导在实践中可能非常技术和复杂。由于本文的重点是引入和激发强平衡的新概念，我们将不追求扩展F（i，Q*) - F（i，QεQ*) 再进一步。正如我们将在第4节中看到的，引理3.2中的二阶展开已经可以明确地证明平衡的强弱程度，以及为什么需要强概念。3.2紧性下平衡点的一般存在性虽然可以使用命题3.1和定理3.2来搜索弱平衡点和强平衡点，如下面定理3.2所讨论的，这种机制并不先验地断言平衡点是否存在。因此，建立平衡点的一般存在性结果很有意义。这可以通过对容许集的额外紧性假设来实现。定理3.3。假设Diin（2.1）是所有i的凸紧集∈ S、 和f满足度（2.3），其中f（0，i，·）是所有i的凹面∈ S、 然后，存在一个弱平衡。如果我们另外假设f（0，i，·）对于所有i都是严格凹的∈ S和f满足表3.2中的条件，则存在强平衡。定理3.3的证明被归入附录A.4。备注3.4。没有Di的紧性，即使f（0，i，·）是凹的，一般也不存在弱平衡或强平衡。例如，考虑S={1，2}，f（t，1，·）≡ 0，f（t，2，·）≡ e-t、 对于i=1，2，即，Di=ei。

对于生成器Q=（qij）i，j=1,2，没有任何约束。对于任何固定Q*∈ Q、 通过f的定义，我们得到了f（1，Q*) < F（2，Q*) 和（3.10）readsq（F（2，Q*) - F（1，Q*)) ≤ q*（F（2，Q*) - F（1，Q*)) 对于i=1。只要q>q，就会违反这种不平等性*. 也就是说，（3.10）并不适用于所有i∈ S和Q∈ Q、 由于定理3.1，它排除了任何弱（因而强）平衡的e xi恶臭。当每个DII是凸的且闭合的，但不需要有界时，我们考虑，对于每个C>0，有界集DCi：={q∈ Di：| | q | |≤ C} 和相应的生成器集qc：={Q∈ Q：齐∈ DCi，我∈ S} 。将定理3.3应用于qc得到以下结果。推论3.1。假设f满足度（2.3）和f（0，i，·）是凹的（严格凹的）f或所有∈ S、 对于任何C>0，都存在Q*C∈ qc使（3.10）适用于所有（i，Q）∈ S×QC。此外，如果C>0，则k（Q*C） ik<C代表所有i∈ S、 然后Q*Cis是一种弱（或强）平衡。4两状态模型在本节中，我们重点讨论非指数贴现下的可处理两状态模型。我们的目标是明确展示第3节中的理论结果如何用于发现弱平衡和强平衡，以及这两种类型的平衡如何相互区别。对于i=1，2，取S={1，2}和Di=ei。任意发电机Q∈ Q是f或MQ的=-a ab型-b, a、 b类≥ 0。（4.1）我们将用Q表示~ （a、b）。考虑伪指数贴现函数δ（t）=λe-ρt+（1- λ） e类-ρ′tt≥ 0，（4.2），其中λ∈ （0，1）和ρ，ρ′≥ 0是给定的常量。假设f（t，1(-a、 a））=δ（t）g（a）和f（t，2，（b，-b） ）=δ（t）g（b），对于某些给定的可测函数和g。给定Q~ （a，b），我们将F（i，Q）和G（i，Q）分别写为Fi（a，b）和Gi（a，b），对于i=1，2。

观察X的跃迁概率，在Q下~ （a，b），由下式给出P（t）P（t）P（t）P（t）P（t）=α+βe-γtβ- βe-γtα- αe-γtβ+αe-γt,式中，α：=ba+b，β：=aa+b，γ：=a+b。因此，我们可以计算i=1，2，Fi（a，b）=λFρi（a，b）+（1- λ） Fρ′i（a，b），Gi（a，b）=-ρλFρi（a，b）- ρ′(1 - λ） Fρ′i（a，b），其中Fφ（a，b）：=αφ+βφ + γg（a）+βφ-βφ + γg（b），对于φ=ρ，ρ′Fφ（a，b）：=αφ-αφ + γg（a）+βφ+αφ + γg（b），对于φ=ρ，ρ′。因此，F（a，b）- F（a、b）=λρ+a+b+1- λρ′+a+b（g（a）- g（b）），（4.3）g（a，b）- G（a，b）=-ρλρ+a+b+ρ′（1- λ） ρ′+a+b（g（a）- g（b））。（4.4）对于任何Q~ （a、b）和d Q*~ （a）*, b*), ΓQ*（3.7）中定义的（Qi）采用形式Γ（a*,b*)（a） ：=ΓQ*（Q） =克（a）- a（F（a*, b*) - F（a）*, b*)) , （4.5）Γ（a*,b*)（b） ：=ΓQ*（Q） =g（b）+b（F（a*, b*) - F（a）*, b*)) . （4.6）此外，∧Q*（3.17）中定义的（i，Q）采用∧（a）的形式*,b*)（a，b）：=λQ*（1，Q）=-2a（G（a*, b*) - G（a）*, b*)) - a（g（a）- g（b））- (ρλ + ρ′(1 - λ） ）g（a）+（a+ab）（F（a*, b*) - F（a）*, b*)) , （4.7）∧（a*,b*)（a，b）：=λQ*（2，Q）=2b（G（a*, b*) - G（a）*, b*)) + b（g（a）- g（b））- (ρλ + ρ′(1 - λ） ）g（b）- （b+ab）（F（a*, b*) - F（a）*, b*)) . （4.8）下一个例子显示了命题3.1如何成为发现弱平衡的便捷工具。第3节中的其他结果可以用来检查弱平衡是否真的是强平衡。示例4.1。设λ=，ρ=1，ρ′=2，g（a）=-a、 g（b）=2- (1 - b） 。根据提案3.1，Q~ （a，b）是弱平衡的充要条件是：（i）如果a，b＞0，我们有g′（a）+F（a，b）- F（a，b）=0，（4.9）g′（b）+F（a，b）- F（a，b）=0，（4.10）和（ii）如果a=0（分别为b=0），则“≤” 第（4.9）条（第（4.10）条）中的保留。由于（4.3），上述方程允许唯一解（a*, b*) = (,). 也就是Q*~ （，）是唯一的弱平衡。根据定理3.1，a*和b*是Γ（a）的最大值*,b*)（a） 和Γ（a*,b*)（b） ，分别为；召回（4.5）和（4.6）。

通过甘德g的严格凹度，a*和b*实际上是唯一的最大化者。这表明Q*~ （，）实际上是一个强平衡，这要归功于命题3.2。平衡点可以位于可容许集的边界上，如下一个示例所示。示例4.2。设λ=，ρ=1，ρ′=2，g（a）=-a、 g（b）=2- b、 使用例4.1中的命题3.1as，我们得到了唯一的弱平衡Q*~ （a）*, 0），其中*> 0是唯一的解决方案-2a级+a+1+a+2（a+2）=0。根据gand g的严格凹性，示例4.1中的相同参数显示Q*~ （a）*, 0）实际上是一个强平衡。在以上两个例子中，弱平衡也很强，这要归功于gand g的严格凹性。一般来说，弱平衡可能不强，确定它是否是g上的str比应用命题3.2复杂得多。下一个例子证明了这一点，其中两个平衡共存：一个是弱平衡，而不是强平衡；另一个是stron g.示例4.3。设λ=，ρ=1，ρ′=2，g（a）=-a、 andg（b）=（+b，对于b<；2- (1 - b） ，对于b≥.注意，gis凹面和Con[0，∞), 但仅在（，∞).首先，我们声称（a*, b*) = 例4.1中获得的（，）仍然是弱平衡欠电流设置。实际上，通过（4.5）、（4.6）和（4.3），Γ（a*,b*)（a） =克（a）- 一λρ+a*+ b*+1.- λρ′+a*+ b*（g（a*) - g（b*)) = -a+a，Γ（a*,b*)（b） =g（b）+bλρ+a*+ b*+1.- λρ′+a*+ b*（g（a*) - g（b*)) = g（b）-b=（，如果b<；-b-+, 如果b≥.,这表明Γ（a*,b*)（a） 在a=a时唯一最大化*, whilearg最大值≥0Γ（a*,b*)（b） =[0，7/12]。（4.11）根据定理m 3.1，这已经意味着Q*~ （a）*, b*) 是一个弱平衡。与示例4.1和4.2相反，Q*是命题3.2无法得出的强平衡，如b*=不是（4.11）中唯一的最大化器。我们将转而求助于Proposition 3.3。