时间不一致停止问题的最优均衡

最后，（ii）是S的独立性的直接结果∈ B（T×X）见表2.1（ii）。备注2.5。引理2.1的证明表明，Θ的每一次额外迭代对应于Pollak中的下一轮反向优化【23】。实际上，Θdeterminesthe（N）的第一次迭代- 1） -S部分∞, 这正是[23]中针对周期[N]的反向优化- 1，N]。类似地，Θ，n=2，3，…，的第n次迭代。。。，N、 确定（N- n） -截面图∞, 这相当于该时期的反向优化[N- n、 n个- n+1]。因此，在有限水平下，唯一平衡∞通过迭代方法获得的平衡与反向顺序优化产生的平衡相同。尽管在有限原点下给出了相同的结果，但反向顺序优化和迭代方法在本质上是完全不同的。让我们在时间t给代理人打电话，表示“Player t”∈ T、 标准的后向方法将时间不一致问题视为一个连续博弈。播放器（N- 1） 首先选择他的行动；玩家（N）- 2） 如果玩家（N- 1） 的行动选择；同样，对于所有t<N- 2、球员t根据自己未来的行动做出决定。注：在顺序博弈结构中，需要（i）确定首先行动的特定玩家（“第一玩家”），以及（ii）最多可计数的玩家。相比之下，我们的迭代方法在一个同时进行的游戏中体现了“考虑未来自我的行动”的传统智慧。所有玩家同时选择自己的动作，而不知道其他人的选择。每个玩家都会根据自己对其他玩家的看法来决定自己的最佳策略。

期望其他玩家以同样的方式进行推理，每个玩家都会进行递归推理（“我认为你认为我认为……”），其特征为Θin（1.1）的定点迭代。具体来说，假设一个代理最初计划∈ B（X）作为停止区域。在时间0时，当前状态为x∈ 十、 代理进行了博弈论思考，如标记2.1所示，并发现最好将Θ（s）作为停止区域。他未来的自我，可能处于不同的状态∈ 十、 可以用同样的方式进行推理，并得出结论，Θ（S）也是一个更好的选择。因此，这是所有参与者同时进行的第一轮博弈论思考（以x为索引∈ 十） ，将停止区域的颜色从S更改为Θ（S）。鉴于此，所有玩家（按x索引∈ 十） 可以同时再次进行相同的博弈论思考，并得出结论，Θ（S）是比Θ（S）更好的选择。这个过程一直持续到达到平衡S∞, 这是博弈论思维无法进一步改进的，即应用Θ。注意，这摆脱了顺序博弈的结构限制，使迭代方法非常灵活：它可以很容易地应用于（i）有限离散时间，其中“第一个玩家”无法识别（如本文所述），以及（ii）连续时间，其中有无数玩家（如Huang和Nguyen Huu【12】以及Huang、Nguyen Huu和Zhou【13】）。3平衡点的存在在这一节中，我们将给出定理3.1中迭代方法的主要收敛结果，这将立即导致推论3.1中平衡点的存在。首先，观察到与存在唯一均衡的有限水平情况不同（见推论2.1），在有限水平下可能不存在均衡。示例3.1。

考虑X={1，2}，f（X）=X，对于所有t=0，1，…，letP（Xt+1=1 | Xt=1）=P（Xt+1=2 | Xt=1）=，P（Xt+1=2 | Xt=2）=1（3.1）。。。。设置δ（1）=，我们将选择δ（k），k=2，3，后来假设存在一个等式S∈ B（X）。由于J（2，ρ（2，S））=E[δ（ρ（2，S））Xρ（2，S）]=2δ（1）=3/2<2，根据备注2.3，我们有2∈ S、 另一方面，类似的论点显示1/∈ S、 事实上，如果1∈ S、 thenJ（1，ρ（1，S））=E[δ（1）X]=· 1 +· 2=> 1，与备注2.3相矛盾。但是，使用1/∈ S、 我们有j（1，ρ（1，S））=E[δ（ρ（1，S））Xρ（1，S）]=2∞Xk=1kδ（k）=+2∞Xk=2kδ（k）。通过选择δ（k）随k的增加衰减足够快，我们可以使J（1，ρ（1，S））<1，这与备注2.3不一致。简而言之，我们已经证明，当贴现函数δ（k）衰减足够快时，在这个例子中不存在均衡。为了确保均衡的存在，我们假设贴现函数δ满足δ（i）δ（j）≤ δ（i+j），对于所有i，j=0，1。（3.2）这种情况与行为经济学中的缓解不耐烦（DI）密切相关。emp-irical研究（见下面的备注3.1）中众所周知，人们承认DI：当在两个奖励之间进行选择时，当这两个奖励离时间越远时，人们越愿意等待更大的奖励（患者越多）。例如，在两种情况下（i）今天获得100美元或明天获得110美元，以及（ii）在100天内获得100美元或在101天内获得110美元，人们倾向于在（i）中选择100美元，但在（ii）中选择110美元。在【24，定义1】和【20】之后，贴现函数δ会导致任何j=1，2，i 7→δ（i+j）δ（i）严格递增。（3.3）观察（3.3）容易暗示（3.2），如δ（i+j）/δ（i）≥ δ（j）/δ（0）=所有i的δ（j）≥ 0和j≥ 也就是说，（3.2）在DI下自动为真。

注意，（3.2）比DI更一般，因为对于任何给定的β>0，它明显包括经典情况δ（s）：=（1+β）s。备注3.1。行为经济学中有大量的实证证据（参见[28]、[18]、[17]）表明，个体不会指数贴现。为了建立经验贴现模型，人们提出了许多贴现函数：在连续时间内，[1]，[24]（δ（t）：=1+βtwithβ>0），在[17]，[16]（δ（t）：=（1+βt）kwithβ，k>0），在[6]，[14]，[8]（δ（t）：=λe-ρt+（1- λ） e类-ρtwithλ∈ （0，1）和ρ，ρ>0）；在离散时间内，在[16]中的准双曲（δ（0）：=1，δ（i）：=βρi，带β，ρ∈ (0, 1)). 请注意，所有这些折扣函数都会减少不耐烦，从而满足（3.2）。非指数贴现和“减少不耐烦”的研究要少得多。据我们所知，[10]是唯一一项认真研究“增量贴现”贴现的工作。然而，它支持了缺乏经验相关性的批评；参见例[19]。备注3.2（市场暗示v.s.inn ate折扣）。传统上，人们可以使用零息票债券的价格作为贴现因子。在这种情况下，（3.2）意味着远期汇率不应超过即期汇率，只要相应时间段的长度相同。这似乎是一个强有力的假设，因为远期汇率是由市场参与者对未来价格的预期决定的，不必与即期汇率有特定关系。然而，上述折扣是市场隐含的，不同于本文的背景：我们关注的是个人的先天时间偏好，而不管其他市场参与者，或者是否有一个市场。

这是行为经济学中的标准设置，一个普遍的发现是，个人在近、远、未来的折扣更为激烈。条件（3.2）总结了固有贴现的这一特征。此外，我们强调，我们讨论的支付可能不是货币性的：函数f可以描述代理人的效用、健康或幸福水平等。零息票债券b与非货币性支付的关系。引理3.1。假设（3.2）成立。对于任何非空S∈ B（X），ifΘ（S） S、 thenJ（x，ρ（x，S））≤ 所有x的J（x，ρ（x，Θ（S）））∈ 十、 （3.4）特别是，这意味着 Θ（S）。证据相反，（3.4）不成立。那么α：=s upx∈X[J（X，ρ（X，S））- J（x，ρ（x，Θ（S））]>0。选择y∈ X使得j（y，ρ（y，S））- J（y，ρ（y，Θ（S）））>δ（1）α。（3.5）考虑事件A：=A∩ A、 其中：={ω∈ Ohm : ρ（y，S）（ω）<∞} 和A：=nω∈ Ohm : Xyρ（y，S）（ω）∈ 关于事件（A）c，S S表示ρ（y，Θ（S））≥ ρ（y，S）=∞. 鉴于下面（2.2）的讨论，我们得到δ（ρ（y，S））fXρ（y，S）= δ（ρ（y，Θ（S）））fXρ（y，Θ（S））= 0、关于事件A∩（A） c，ρ（y，S）<∞ 和Θ（S） S表示Xyρ（y，S）∈ Θ（S）。因此，ρ（y，Θ（S））=ρ（y，S），因此δ（ρ（y，S））fXρ（y，S）= δ（ρ（y，Θ（S）））fXρ（y，Θ（S））. 因此，我们有j（y，ρ（y，S））- J（y，ρ（y，Θ（S）））=EyA.δ（ρ（y，S））fXρ（y，S）- δ（ρ（y，Θ（S）））fXρ（y，Θ（S））= Ey公司Aδ（ρ（y，S））EyfXρ（y，S）-δ（ρ（y，Θ（S）））δ（ρ（y，S））fXρ（y，Θ（S））Fρ（y，S）= Ey公司Aδ（ρ（y，S））fXρ（y，S）- Ey公司δρ（y，S）+ρ（Xρ（y，S），Θ（S））δ（ρ（y，S））fXρ（y，Θ（S））Fρ（y，S）≤ EyhAδ（ρ（y，S））fXρ（y，S）- Eyhδρ（Xρ（y，S），Θ（S））fXρ（y，Θ（S））Fρ（y，S）ii、 （3.6）式中（3.2）的不等式和f的非负性。由于X的str on g Markovproperty，它可以保存a.s。

thatEyhδρ（Xρ（y，S），Θ（S））fXρ（y，Θ（S））Fρ（y，S）iA=EXρ（y，S）hδρ（Xρ（y，S），Θ（S））fXρ（Xρ（y，S），Θ（S））iA=JXρ（y，S），ρ（Xρ（y，S），Θ（S））A、 这与（3.6）一起给出了j（y，ρ（y，S））- J（y，ρ（y，Θ（S）））≤ Ey公司Aδ（ρ（y，S））fXρ（y，S）- JXρ（y，S），ρ（Xρ（y，S），Θ（S））.从Θ的定义来看，对于所有x，我们都有f（x）<J（x，ρ（x，S））/∈ Θ（S）。因此，从A的定义来看，上述不等式意味着j（y，ρ（y，S））- J（y，ρ（y，Θ（S）））≤ Ey公司Aδ（ρ（y，S））JXρ（y，S），ρ（Xρ（y，S），S）- JXρ（y，S），ρ（Xρ（y，S），Θ（S））≤ Ey[1Aδ（ρ（y，S））α]≤ δ(1)α.然而，这与（3.5）相矛盾。因此，（3.4）成立。备注2.2，Θ（S）6=. 对于任何x/∈ Θ（S），定义Θ和（3.4）产量f（x）<J（x，ρ（x，S））≤ J（x，ρ（x，Θ（S）），表示x/∈ Θ（S）。因此，Θ（S） Θ（S）。我们准备给出迭代方法的主要收敛结果。定理3.1。假设（3.2）成立。对于任何非空S∈ B（X）使Θ（S） S、 S∞:=∞\\n=1Θn（S）6= （3.7）是一个平等的图书馆。证据请注意，S∈ B（X）表示Θ（S）∈ B（X），进而产生Θn（S）∈ B（X）表示所有n∈ N、 因此，S∞∈ B（X）定义。我们声称对于所有x∈ X和ω∈ Ohm,ρ（x，S∞)（ω） =limn→∞ρ（x，Θn（S））（ω）。（3.8）固定x∈ X和ω∈ Ohm. 引理3.1，{n（S）}n∈Nis是非空钻孔集的非递增序列，因此ρ（x，Θn（S））（ω）在n中定义为非递减。因此（3.8）右侧的极限得到了很好的定义，ρ（x，S∞)(ω) ≥ 画→∞ρ（x，Θn（S））（ω）=：β（ω）。如果β（ω）=∞, 然后（3.8）琐碎地成立。Ifβ（ω）∈ N、 然后存在N∈ N足够大，使得ρ（x，ΘN（S））（ω）=所有N的β（ω）≥ N这意味着，通过（2.4），Xxβ（ω）∈ Θn（S）表示所有n≥ N因此，Xxβ（ω）∈T∞n=1Θn（S）=S∞. 因此ρ（x，S∞)(ω) ≤ β(ω). 因此，我们得出结论（3.8）成立。备注2.2，n（S） E代表所有n∈ N、 E 6= 定义见（2.6）。因此，S∞ Eby定义，因此是非空的。

对于任何x∈ S∞, 自x起∈ 所有n的n（S）∈ N、 我们有f（x）≥ Jx、 ρ（x，Θn-1（S））适用于所有n∈ N、 作为N→ ∞,f（x）≥ 画→∞Jx、 ρ（x，Θn-1（S））= 画→∞前任δρ（x，Θn-1（S））fXρ（X，Θn-1（S））= 前任δ（ρ（x，S∞)) fXρ（X，S∞)= J（x，ρ（x，S∞))其中第三条线来自支配收敛定理和（3.8）。因此，x∈ Θ（S）∞),我们的结论是∞ Θ（S）∞). 另一方面，对于x/∈ S∞, 存在N个∈ N这样x/∈ 所有n的n（S）≥ N、 这意味着f（x）<Jx、 ρ（x，Θn-1（S））适用于所有n≥ N、 它遵循f（x）<J（x，ρ（x，ΘN-1（S））≤ 画→∞Jx、 ρ（x，Θn-1（S））= J（x，ρ（x，S∞)) ,其中，第二个不等式是由（3.4）得出的，最后一个等式是由支配收敛定理和（3.8）得出的。这意味着x/∈ Θ（S）∞), 因此，我们得出以下结论：∞)  S∞.因此，我们得到了Θ（S∞) = S∞, i、 e.S∞是一种平衡。备注3.3。迭代方法体现了博弈论中战略推理的层次结构，在[25]和[26]中介绍。对于任何S∈ B（X），Θ到S的每个应用代表了额外的战略推理水平。具体而言，Θn（S）对应于[26]中的n级战略推理，S∞=田纳西州∈NΝN（S）反映了“smart”的全部合理性∞” [25]中的玩家。定理3.1立即给出了至少一个平衡的存在性。推论3.1。假设（3.2）成立。那么，X∞, 如（3.7）所定义，是一种平衡。证据自X琐碎满足Θ（X） 十、 结果直接来自定理3.1。一般来说，平衡点的唯一性并不成立，下一个例子说明了这一点。示例3.2。考虑X={1，2}，f（X）=X，并假设跃迁概率如（3.1）所示。对于任何ε>0，取δ（k）：=（1- ε） k，k=1，2。可以很容易地验证（3.2）是满足的。当ε>0足够小时，我们声称S：={2}和X={1，2}都是平衡。

实际上，通过实施例3.1中的类似计算，J（1，ρ（1，S））=E[δ（ρ（1，S））Xρ（1，S）]=2∞Xk=1kδ（k）=∞Xk=11.- εk、 J（2，ρ（2，S））=E[δ（ρ（2，S））Xρ（2，S）]=2δ（1）=（1- ε) < 2.Asε↓ 0，J（1，ρ（1，S））接近7/6，因此严格大于1。因此，根据备注2.3，S={2}是一个平衡，因为ε>0足够小。另一方面，J（1，ρ（1，X））=δ（1）E[Xρ（1，X）]=（1- ε） <1，J（2，ρ（2，X））=δ（1）2=（1- ε) < 2.因此，根据备注2.3，对于任何ε>0.4的情况，X={1，2}是一个等式。如果在有限的范围内可能存在多个平衡（见示例3.2），如何选择合适的平衡是一个关键的、未解决的问题。在本节中，我们将首先定义均衡的最优性：若均衡在任何时候产生的价值都大于任何其他均衡，则该均衡是最优的。虽然这似乎是一个很强的条件，但我们证明，在适当的连续性假设下，定理4.1和4.2中确实存在唯一的最优平衡。对于任何S∈ E、 关联值函数由v（x，S）：=f（x）定义∨ J（x，ρ（x，S））对于所有x∈ 十、 通过备注2.3，我们立即得到v（X，S）=（f（X），如果X∈ S、 J（x，ρ（x，S）），如果x∈ X\\S.（4.1）这反过来意味着V可以表示为V（X，S）=J（X，ρ*（x，S）），带ρ*（x，S）：=inf{t≥ 0:Xxt∈ S} 。（4.2）定义4.1（最佳平衡）。我们说S*∈ E是一个最优平衡，如果对于任何S∈ E、 V（x，S*) ≥ V（x，S） x个∈ 十、 下一个结果表明，如果存在一个最优平衡，它一定是唯一的。提案4.1。如果S*∈ E是最优平衡，那么S*=TS∈锿。证据我们只需要显示S*TS∈ES，因为另一个包含是微不足道的。通过矛盾，假设存在∈ E使S*6. S、 对于任何x∈ S*\\ S、 我们从（4.1）andRemark 2.3推导出v（x，S*) = f（x）<J（x，ρ（x，S））=V（x，S），这与S的最优性相矛盾*.引理4.1。假设（3.2）成立。

对于任何S，T∈ E、 J（x，ρ（x，S∩ T））≥ J（x，ρ（x，S））∨ J（x，ρ（x，T）） x个∈ 十、 （4.3）尤其是，这意味着∩ T） S∩ T备注4.1。这个引理提供了一种从旧平衡构建“更好”平衡的方法。对于任何S，T∈ E、 备注2.4和引理4.1暗示S∩ T 6= 和Θ（S）∩ T） S∩ T因此，我们可以应用定理3.1得到一个新的平衡∩ T）∞通过迭代方法。在V（x，（S∩ T）∞) ≥ V（x，S）∨ V（x，T）x个∈ 十、 这是（4.3）和（3.4）的结果。引理4.1的证明。修复x∈ 十、 在整个证明过程中，为了便于记法，我们定义了所有n=0，1，以下内容：1。y： =x，y2n+1：=Xy2nρ（y2n，T），y2n+2：=Xy2n+1ρ（y2n+1，S）；2、τ：=0，τ2n+1：=ρ（y2n，T），τ2n+2：=ρ（y2n+1，S）；3、An：={ω∈ Ohm : τn（ω）<∞ 和yn（ω）/∈ S∩ T}；4、En[Z]：=Eyn-1[1Anδ（τn）Z]，对于任意随机变量Z：Ohm 7.→ RJ（x，S′）：=J（x，ρ（x，S′），对于任何S′∈ B（X）。根据A的定义，我们有j（x，S∩ T）- J（x，T）=EyA.δ（ρ（y，S∩ T））fXρ（y，S∩T）- δ（τ）f（y）= Ey公司Aδ（τ）Eyδ（ρ（y，S∩ T））δ（τ）fXρ（y，S∩T）- f（y）Fτ≥ EyhAδ（τ）Eyhδ（ρ（y，S∩ T）fXρ（y，S∩T）- f（y）Fτii，（4.4），其中不等式来自（3.2），F为非负。x的强马尔可夫性意味着y hδ（ρ（y，S∩ T））fXρ（y，S∩T）FτiA=Eyδ（ρ（y，S∩ T））fXρ（y，S∩T）A=J（y，S∩ T）1A。（4.5）此外，请注意，在事件A中，我们有y/∈ S、 那么备注2.3意味着f（y）<J（y，S）。（4.6）带（4.5）和（4.6），（4.4）yieldsJ（x，S∩ T）- J（x，T）≥ Ey[1Aδ（τ）（J（y，S∩ T）- J（y，S））]=E[J（y，S∩ T）- J（y，S）]。（4.7）在下文中，我们将递归执行上述论证。

首先，对J（y，S）重复上述（4.7）论证∩ T）- J（y，S），而不是J（x，S∩ T）- J（x，T），yieldsJ（y，S∩ T）- J（y，S）≥ E[J（y，S∩ T）- J（y，T）]。这与（4.7）一起意味着j（x，S∩ T）- J（x，T）≥ Eo E[J（y，S∩ T）- J（y，T）]。（4.8）接下来，对J（y，S）重复上述（4.7）参数∩T）-J（y，T），而不是J（x，S∩T）-J（x，T），利用（4.8），我们得到了J（x，S∩ T）- J（x，T）≥ Eo Eo E[J（y，S∩ T）- J（y，S）]。继续此过程，我们得到j（x，S∩ T）- J（x，T）≥ Eo . . . o E2n[J（y2n，S∩ T）- J（y2n，T）]，n∈ N、 （4.9）由于f有界，存在C>0，使得| J（y，S′）|≤ C代表所有y∈ X和S′∈ B（X）。然后，| Eo . . . o E2n[J（y2n，S∩ T）- J（y2n，T）]|≤ Eo . . . o E2n[| J（y2n，S∩ T）- J（y2n，T）|]≤ δ（1）2n·2C→ 0作为n→ ∞,其中，收敛从δ（1）<1开始。我们从（4.9）中得出结论：j（x，S∩ T）- J（x，T）≥ 0,  x个∈ 十、 通过简单地切换上述证明中S和T的角色，我们也可以得到J（X，S∩ T）- J（x，S）≥ 0,  x个∈ 十、 由此确定（4.3）。备注2.4，S∩ T 6=. 对于任何x/∈ S∩ T，如果x/∈ S、 然后f（x）<J（x，S）≤ J（x，S∩ T），这意味着x/∈ Θ（S）∩ T）；如果x/∈ T，相同的参数显示x/∈ Θ（S）∩ T）。因此，我们得出以下结论：∩ T） S∩ T在（3.2）项下，我们与命题4.1有部分相反。提案4.2。假设（3.2）成立。如果S*:=TS∈ES是一个平衡，那么它就是最优的。证据设T为任意平衡。引理4.1，V（x，T）=f（x）∨ J（x，ρ（x，T））≤ f（x）∨ J（x，ρ（x，S*∩ T））=f（x）∨ J（x，ρ（x，S*)) = V（x，S*),对于所有x∈ 十、 因此，S*是最佳的。下一个结果证明了最优平衡的存在性。在适当的连续性条件下，S*:=TS∈命题4.1和命题4.2中的候选者ES是最优均衡。定理4.1。假设（3.2）成立，f是上半连续的。