时间不一致随机控制的强平衡和弱平衡

借助（4.3）和（4.4），我们从（4.8）推导出∧（a*,b*)（a）*, b） =b-2.ρλρ+a*+ b*+ρ′(1 - λ） ρ′+a*+ b*- （a）*+ （b）λρ+a*+ b*+1.- λρ′+a*+ b*（g（a*) - g（b*))+ b（g（a*) - g（b））- (ρλ + ρ′(1 - λ） ）g（b）=b+b类+-b-b类+g（b）=-b-, 对于b≤.这表明∧（a*,b*)（a）*, b*) < ∧（a*,b*)（a）*, b） ，则，b∈ [0，7/12）。（4.12）对于任何Q~ （a）*, b） 带b∈ [0，7/12），（4.11）和（4.12）表示（2，Q）∈ R（回忆（3.22））和∧Q*（2，Q*) < ∧Q*（2，Q）。根据提案3.3，Q*~ （a）*, b*) 不是一种强烈的平衡。现在，当使用命题3.1来发现弱平衡时，如果我们取b=0，（4.9）和（4.10），则≤ 2a级=1+a+2+aa+. （4.13）这允许一种独特的解决方案∈ [0, ∞ ) （数值计算显示'a≈ 0.42364). 按（4.13），Γ（(R)a，0）（a）=-a+2'aa=-a（a- 2'a）和Γ（'a，0）（b）=+-2’ab、 这表明a=(R)a（分别为b=0）是Γ（(R)a，0）（a）（分别为Γ（(R)a，0）（b））的唯一最大化子。恩斯，Q*~ （(R)a，0）是一个很强的平衡，这要归功于位置3.2。备注4.1。在上述示例中，对于任何Q~ （a）*, b） 带b∈ [0，7/12），我们从（4.11），（4.12）和引理3.2中的二阶展开式f（2，Q*) < F（2，QεQ*), 对于所有足够小的ε>0。这表明，尽管Q*~ （a）*, b*) 是一种弱情商，有动机偏离Q*在状态2：偏离Q，在一个很小的区间内[0，ε]，产生比坚持Q更大的回报*. 这提醒我们注意备注2.2，并表明需要强平衡的概念。4.1机械管理应用机器是指将输入能量转换为有用输出能量或功的任何机械或电气设备。在良好状态下，机器工作正常，在实现最大效率和减少磨损之间存在权衡。

虽然人们打算充分利用输入能量，以最大限度地提高机器产生的效益，但更频繁地使用机器将更容易导致机器出现故障的不良状态。在坏的状态下，人们会花很多时间修理机器。这又是一个权衡：投入的力度越大，恢复良好状态的速度就越快；然而，与此同时，成本积累得越快。所有这些关于机械管理的考虑都可以很好地编码在我们的两态模型中。以示例4.1为例。设i=1为坏状态，i=2为好状态。对于anyQ~ （a，b），a≥ 0表示在修复机器上花费的精力有多大（状态1），b≥ 0表示机器的使用强度（状态2）。鉴于（4.1），较大的≥ 0（即消耗的能量越大），机器再次运行的速度（平均）越快（即状态从1切换到2）。支付函数g（a）=-a、 然而，研究表明，修复成本随着服务强度的增加而快速增长。同样，根据（4.1），较小的b≥ 0（即机器使用强度越低），机器发生故障的可能性越小（即状态将从2切换到1）。然而，鉴于支付函数g（b）=2，让机器闲置（即b=0）可能不是最佳选择-(1 -b） 。随着cr中输入能量的强度降低（即b≥ 0增加），瞬时支付F g（b）fir st增加至其最大水平g（1）=2（b=1），然后不确定地减少。因此，可以选择b≥ 0接近1，可能会增加累计支付。在工厂或公司中，如何管理机器，即。

如何Q~ （a，b）应具体规定，通常由一组专业人员决定，而不是由一个人决定。在此类群体决策中，通常使用伪指数贴现。其最基本的形式是（4.2），这是一个群体的贴现函数，该群体包括两个个人（或群体），他们分别以不同的比率ρ和ρ′指数贴现，λ∈ （0，1）由队列的大小或影响决定。换言之，示例4.1中的推导相当于为一台机器找到一个管理计划，即随着时间的推移，该机器的使用和维修难度会有多大。结果表明，只有Q*~ （，）就是这样一个时间一致的管理计划。5离散时间案例在本节中，我们研究与第2节相应的离散时间模型。目的是双重的。首先，当时间h原点为有限时，即使在离散时间内，对平衡的存在和特征知之甚少。第3节中的参数可以在这里应用，以阐明这一点。我们的第二个重点是随着时间网格尺寸的减小，离散时间平衡点向其连续时间对应点的收敛性。正如我们将看到的，当离散时间平衡点收敛时，它们总是收敛到一个弱平衡点，然而，它不需要是强的。设X=（Xt）t=0,1，。。。是一个时间齐次离散时间马尔可夫链，取S中的值：={1，2，…，N}对于某些N∈ N、 取N：={0，1，2，…}。转移矩阵u=（uij）i，j=1，应控制Nof X。L et P是在S上定义的一组概率度量，即P：=α=（α，…，αN）∈ RN+：Xi=1，。。。，Nαi=1. （5.1）考虑一个连续函数κ：’N×S×P→ R、 对于任何（t，i，α）∈N×S×P，κ（t，i，α）表示时间t的支付，假设Xt=i，ui=α，其中ui表示u的第i行。假设∞Xt=0sup（i，α）∈S×P |κ（t，i，α）|< ∞.

（5.2）让Ai P是当X处于状态i时允许的过渡概率集。定义：={u∈ RN×N:ui∈ 人工智能，我∈ S} 。对于任何i∈ S和u∈ A、 （5.2）保证预期付款V（i，u）：=Ei，u∞Xt=0κ（t，Xt，uXt）< ∞ （5.3）定义明确，其中Ei，ude注意到以X=i为条件的期望，X的转移矩阵X为u。我们将为Ei，u编写Ei，如果对u没有混淆。对于任何u，u*∈ A、 我们介绍了u和u的串联*在时间1，由uu*.使用这个串联矩阵意味着X的演化在时间0由u控制，然后由u控制*在所有后续时间点。给定初始状态i∈ S、 预期值为nV（i，uu*) = κ（0，i，ui）+NXj=1Ej，u*\"∞Xt=0κ（t+1，Xt，u*Xt）#·uij！。（5.4）定义5.1。u*∈ A称为平衡，如果，对于任何（i，u）∈ S×A，V（i，u*) ≥ V（i，uu*).备注5.1。如备注2.2所述，强均衡（定义2.2）与上述离散时间定义相似，并允许明确的经济解释。相比之下，文献中对弱平衡（定义2.1）的精确解释并不那么清楚。通过遵循第3.1条中的论点，可以建立平衡的简便表征。为此，对于任何一个我∈ S和u∈ A、 d e finehi（u）：=Ei，u“∞Xt=0κ（t+1，Xt，uXt）#和H（u）：=（H（u），HN（u））。（5.5）对于任何可微分函数v:P 7→ R、 让v（α）是在α处计算的v的梯度∈ P、 以及nv（α）是v（α）。同时回忆一下（3.12）中的T。下面的命题5.1可以通过逐行证明命题3.1来证明。提案5.1。设κ（0，i，·）为所有i∈ S、 如果u*∈ A是一个平衡点，那么对于任何i∈ S(κ（0，i，u*i） +H（u*)) · λ ≤ 0, λ ∈ T s.T.u*i+ελ∈ 对于ε>0足够小的情况。

（5.6）特别是，如果u*iis是Ai的相对内点，然后nκ（0，i，u*i） +Hn（u*) = mκ（0，i，u*i） +Hm（u*), n、 m=1，N、 此外，如果κ（0，i，·）是另外凹的f或任何i∈ S、 反之亦然；也就是说，u*是一个平衡，当且仅当（5.6）成立。为了证明平衡点的存在性，用于证明定理3.3的参数也可以应用于此处。由于（5.1）中的P是定义紧的，因此我们不再需要orem 3.3中的紧性假设，从而得到以下非常普遍的存在性结果。定理5.1。假设Ai是凸的和闭合的，而κ（0，i，·）是凹的，对于所有i∈ S、 然后，存在一个平衡。定理5.1的证明被归入附录B.1。备注5.2。如果κ（0，i，·）不是凹的，则通常不存在平衡。例如，取S={1，2}，并表示任何转移矩阵xu=1.- α αβ 1 - β, α, β ∈ 【0，1】（5.7）由u~ (α, β). 设δ（0）=1，δ（t）=k·λt-1对于t∈ N、 其中k∈ （0，1）是一个常数。考虑κ（t，1，u）=δ（t）g（α）和κ（t，2，u）=δ（t）g（β），其中g（α）：=-√α和g（β）：=2-p1级- β、 它们是严格凸的。给定u*~ (α*, β*) 和u~ （α，β），直接计算showsV（α）：=V（1，uu*) = g（α）+H（u*) · (1 - α） +H（u*) · α、 V（β）：=V（2，uu*) = g（β）+H（u*) · β+H（u*) · (1 - β).如果u*~ (α*, β*) 是平衡，V（α）和V（β）在α=α时达到最大值*和β=β*,分别地gand-gimpliesα的严格凸性*, β*∈ {0, 1}. 如果u*~ （0，0），然后是H（u*) =0和H（u*) =, 因此V（α）=-√α +α. 但是，V（0）=0<V（1）=意味着（0，0）不能是平衡。类似的计算表明，（0，1），（1，0），（1，1）都不是均衡m.5.1连续时间的收敛回顾第2节中的连续时间设置。

对于连续时间支付函数f，我们进一步假设存在T>0，与i和q无关，因此T 7→ |f（t，i，q）|是非递增的，对于t≥ T（5.8）取（δn）n∈带δn的Nin R↓ 0、每n∈ N、 定义κN：(R)N×S×P→ R乘以κn（k，i，α）：=f（kδn，i，|αi，n）·δn，（5.9），其中|αi，n：=δn（α，…，αi-1，αi- 1，αi+1，αN），对于每个α=（α，…，αN）∈ P、 对于任何转换矩阵u，定义生成器Qu，n=（Qu，nij）byqu，nij：=（δnuij，j 6=i，δn（uii- 1） ，j=i.（5.10）然后，我们引入了：={u转移矩阵：Qu，n∈ Q} 。（5.11）每n∈ N、 考虑（5.3）给出的d iscr etized问题vn，其中κ和A被κnand An替换。假设存在一个平衡un∈ An，即Vn（i，un）≥ Vn（i，uun）所有i∈ S和u∈ 一按照（5.5）中的符号，这意味着∈ S和u∈ An，κn（0，i，uni）+Hn（un）·uni≥ κn（0，i，ui）+Hn（un）·ui，（5.12），其中Hn定义如（5.5）所示，用κn替换κ，即Hni（un）：=Ei，un“∞Xk=0κn（k+1，Xk，unXk）#，我∈ S、 （5.13）在下面，我们将写下：=群，n∈ Q、 为了简单起见。主要的收敛结果如下。定理5.2。假设（2.3），（5.8），并且f（·，i，·）对于所有i是连续的∈ S、 如果存在SQ*∈ Q使得（直到一个子序列）Qn→ Q*, 然后Q*所有人的满意度（3.10）（i、Q）∈ S×Q，即Q*是一种弱平衡（定义2.1）。备注5.3。假设（2.4）中的连续时间问题F是一个闭凸集，F（0，i，·）对于所有i都是凹的∈ S、 然后，根据（5.9）和（5.11），定理5.1意味着平衡∈ 离散化问题Vn的存在性，对于所有n∈ N、 如果我们进一步假设Dii是有界的∈ S、 然后（Qn）n∈Nis预压缩。然后，根据定理5.2，（Qn）n的任何极限点∈Nis为弱平衡（定义2.1）。为了建立定理5.2，我们需要以下技术引理。引理5.1。

假设（2.3），（5.8），且f（·，i，·）是连续的f或所有i∈ S、 如果存在SQ*∈ Q使得（直到一个子序列）Qn→ Q*, 那么对于任何我∈ S、 Hni（联合国）→ Fi（Q*) = Ei，Q*Z∞f（t，Xt，Q*Xt）dt作为n→ ∞.引理5.1的证明被归入附录B.2。定理证明m 5.2。对于任何i∈ S和u∈ An，（5.12）可以重写为f（0，i，Qni）·δn+Xj6=iHnj（un）·unij+Hni（un）（unii- 1)≥ f（0，i，Qu，ni）·δn+Xj6=iHnj（un）·uij+Hni（un）（uii- 1).将两个sid es除以δnyieldsf（0，i，Qni）+Xj6=iHnj（un）·qnij+Hni（un）·qnii≥ f（0，i，Qu，ni）+Xj6=iHnj（un）·Qu，nij+Hni（un）·Qu，nii，相当于f（0，i，Qni）+Hn（un）·Qni≥ f（0，i，Qi）+Hn（un）·Qi。由于（0，i，·）和引理5.1的连续性，发送n→ ∞ 给出（3.10）。通常，极限点Q*在定理5.2中，不必是强平衡。下一个例子证明了这一点：对于连续时间问题，离散化问题的平衡点唯一地收敛到弱平衡点，但这种弱平衡点并不强。示例5.1。考虑第4节中的两态模型。取λ=，ρ=1，ρ′=2，g（b）≡ 0和g（a）=-a+ka- 灵魂-一- 1，其中k>0是一个常数。注意g′（a）=-a（a- k） （a）- 2k）-g（0）=-1、首先，我们证明Q*~ （0，0）是一个不强的弱等式。By（4.3），F（0，0）-F（0，0）=g（0）=-. 那么，对于任何Q~ （a，b），（4.5）和（4.6）暗示ΓQ*（Q） =g（a）+a和ΓQ*（Q） =-b、 这表明ΓQ*（Q） （分别为ΓQ*（Q） ）在a=0和a=2k时最大化（分别在b=0时）。因此，定理3.1很容易暗示Q*~ （0，0）是弱平衡。另一方面，考虑^Q~ （2k，0）。注意，ΓQ*（Q）*) = ΓQ*（^Q），直接计算显示∧Q*（1，Q*) =<k+=λQ*（1，^Q），感谢（4.4）和（4.7）。因此，根据命题3.3，Q*~ （0，0）不是强平衡。现在，考虑离散化问题。用u表示~ （α，β）如（5.7）所示的转移矩阵。

对于每个h>0，考虑（5.3）中的离散化问题Vhas，其中κ被κh（n，1，u）=δ（nh）g（α/h）h和κh（n，2，u）=δ（nh）g（β/h）h替换≡ 0，δ（·）如（4.2）所示。我们声称u*~ （0，0）是Vh的平衡，h>0足够小。修复u~ (α, β) 6= (0, 0). 召回（5.3）和（5.4）。如果β>0，因为g（0）<0，我们有vh（2，uu*) = β∞Xn=0δ（（n+1）h）g（0）h<0=Vh（2，u*), h>0。（5.14）如果α>0，则使用g（0）=-1，Vh（1，uu*) = g（α/小时）h+（1- α)∞Xn=1（e-nh+e-2nh）g（0）h=h“g（α/h）+α∞Xn=1（e-nh+e-2小时）-∞Xn=1（e-nh+e-2小时）#。可以检查∞Xn=1e-nh=小时1.-h+o（h）,暗示VH（1，uu*) = h类克（小时）-∞Xn=1（e-nh+e-2小时）,式中▄g（h）：=g（α/h）+αh-h+o（h）. 当h>0足够小时，~g（h）<g（α/h）+αh≤g（0）=- 1，其中最后一个不等式来自以下事实：7→ g（a）+a最大化为ata=0，a=2k（这在我们将ΓQ最大化时已提到*（Q） ）。此yieldsVh（1，uu*) <∞Xn=0（e-nh+e-2nh）g（0）h=Vh（1，u*). （5.15）乘以（5.14）和（5.15），u*~ （0，0）是Vh的平衡，h>0足够小。鉴于（5.10），Qh：=Qu*,h类→ Q*~ （0，0）的值很小，如Qh~ （0，0）对于足够小的h>0。离散时间均衡不必收敛到强均衡，这似乎有点令人惊讶。毕竟，如备注5.1所述，强均衡概念上平行的时间均衡：定义2.2和5.1都要求直接主导价值，而不是通过价值变化率间接主导（定义2.1中规定的弱均衡）。尽管有这种概念上的相似性，但在连续时间内实现“价值上的直接支配”在技术上比在离散时间内要求更高。对于离散化问题，直接支配“Vn（i，un）”≥ Vn（i，uun）“仅为（5.12）。

对于连续时间问题，直接优势“F（i，Q*) ≥ F（i，QεQ*) 对于ε>0，足够小”等于（3.16）的非负性。基准，如n→ ∞, （5.12）只给出了（3.16）（即（3.10））的一阶项的非负性，而不是整个（3.16）。也就是说，“价值直接支配”的概念在连续时间内很难实现，因此在离散时间均衡和强均衡之间存在技术差距。支付函数f上的适当条件可以弥合这一差距。备注5.4。如果q 7→ f（t，i，q）是严格凹的，则极限点q*由于命题3.2，定理5.2中的天文平衡。在下一个示例中，我们将演示q 7→ f（t，i，q）是严格凹的，离散化问题的平衡点确实收敛到一个强平衡点。示例5.2。回忆一下示例4.1中的设置。取（δn）n∈带δn的Nin R↓ 0，并在（5.9）和（5.13）中定义κnand Hnias。给定u~ （α，β）如（5.7）所示，我们通过书写κn（k，1，α）=δ（kδn）·g（α/δn）·δn，κn（k，2，β）=δ（kδn）·g（β/δn）·δn和hni（α，β）：=Ei，u∞Xk=0κn（k+1，Xk，uXk）.由于κn（0，i，·）是凹的，根据命题5.1，un~ （α，β）是一个平衡（相对于κn），前提是（α，β）满足（κn（0，1，α））′+Hn（α，β）- Hn（α，β）≤ 0, α = 0,= 0, α ∈ (0, 1),≥ 0，α=1，（5.16）（κn（0，2，β））′+Hn（α，β）- Hn（α，β）≤ 0, β = 0,= 0, β ∈ (0, 1),≥ 0，β=1，（5.17），其中导数分别针对α和β。直接计算产量Shn（α，β）- Hn（α，β）=（g（α/δn）- g（β/δn））·δn·∞Xk=0δ（（k+1）δn）·（1）- α - β） k.然后，对于δn>0足够小的情况，溶液（αn，βn）到（5.16）和（5.17）为αn：=δne-δn1- e-δn（1- δn）+e-2δn1- e-2δn（1- δn）, βn：=δn- αn.根据（5.10），每个离散时间平衡un~ （αn，βn）产生发生器Qn~αnδn，βnδn.

作为n→ ∞, 可以检查Qn~αnδn，βnδn收敛到Q*~,, 如例4.1.6结论所示，这是天文平衡。在本文中，我们引入了强平衡的新概念，作为连续时间平衡（我们称之为弱平衡）标准公式的补充。如我们所示，早期的情况下，偏离弱平衡是有益的，这表明该标准公式与平衡概念并不完全对应。相比之下，强平衡的定义类似于离散时间平衡，并允许无偏差的明确解释。为了阐明这两种平衡之间的区别和联系，我们假设状态过程是一个连续的时间有限状态马尔可夫链。这使我们能够导出强平衡和弱平衡的完整描述，并在具体例子中明确比较它们。研究状态过程是一个扩散过程的情况很有意义，这是以往文献中关于连续时间内时间不一致随机控制的典型设置。他和蒋（11）最近的一份工作文件就是朝着这个方向发展的。在一个扩散模型中，他们从几个经典的时间不一致问题中观察到，强平衡似乎很难实现。他们提出了“正则平衡”，这是一类比强平衡稍弱的新平衡，并表明正则平衡更容易处理。然而，在扩散模型中存在强大的平衡需要进一步的探索。事实上，只要考虑到有限的状态空间或时间范围，均衡的存在就是一个真正的问题。请注意，第A.4节中的存在性证明要求允许的控件集（即Q）是紧凑的。