连续时间不一致停止问题的最优平衡

相反，我们打算找到一个∈ E，同时为allx求解（2.8）∈ 十、 这种在整个空间X上的一致优势对于避免另一级别的时间不一致性是必要的。本文的主要目的是表明，虽然最优性准则很强，但确实存在非最优等式。3我们观察到的第一个结果（2.3）已经暗示∈ E生成的值大于任何T∈ B（X）包含R.引理3.1。对于任何R∈ E和T∈ B（X）带R T，J（x，R）≥ J（x，T）x个∈ 十、 （3.1）证明。修复x∈ 十、 为了简单起见，我们将写出v=ρ（X，R）和τ=ρ（X，T）。带R T，我们有τ≤ v、 考虑事件A：={ω∈ Ohm : τ<v}。O观察到j（x，R）=Ex[δ（v）f（Xv）1A]+Ex[δ（v）f（Xv）1Ac]=Ex[δ（v）f（Xv）| fτ]1A]+Ex[δ（τ）f（xτ）1Ac]≥ Ex[δ（τ）Ex[δ（v- τ）f（Xv）| fτ]1A]+Ex[δ（τ）f（Xτ）1Ac]，（3.2），其中不等式从（2.3）中得出，f为非负。x的强Markov性质意味着ex[δ（v- τ）f（Xv）| fτ]1A=EXxτδ（ρ（Xxτ，R））fXρ（Xxτ，R）A=J（Xxτ，R）1A。（3.3）还要注意Xxτ/∈ 事件A上的R。由于R是一个平衡，我们从（2.6）推导出f（Xxτ）≤ 通过（3.2），（3.3）和（3.4），我们得出J（x，R）≥ Ex[δ（τ）J（Xτ，R）1A]+Ex[δ（τ）f（Xτ）1Ac]≥ Ex[δ（τ）f（Xτ）1A]+Ex[δ（τ）f（Xτ）1Ac]=J（X，T）。引理3.1得出了一个有趣的结论：对于平衡，越小越好。推论3.1。对于任何R，T∈ E带R T，V（x，R）≥ V（x，T）表示所有x∈ 十、 乍一看，令人费解的是，在整个状态空间中，均衡R如何可能支配包含R的任何更大均衡。事实上，推论3.1简单地反映了决策过程中的不耐烦情绪（回想一下下面的讨论（2.3））。要看到这一点，请分别考虑时间t和时间t+s的两个奖励，t，s>0。

如果在时间t时，代理人更喜欢第二个奖励而不是第一个奖励，请注意，在时间0时，在im耐心下降的情况下，此时间t偏好保持不变，并且实际上放大了。回想一下，对于更接近当前的时间间隔，减少不耐烦相当于更大的折扣。对于时间t的代理来说，考虑中的区间[t，t+s]本质上是[0，s]，因此他在比较这两个奖励时会在这个即将到来的区间上大幅折扣。相比之下，对于时间为0的代理，时间间隔[t，t+s]在未来会进一步下降，因此在比较这两个奖励时，他对这个时间间隔的计算不太陡峭。因此，如果第二个奖励比第一个奖励在更大折扣下更有价值（即在时间t代理人眼中），那么它一定比第一个奖励更有价值，在更大程度上，在更大折扣下（即在时间0代理人看来）。现在，取两个平衡点R和T。如果R T，ρ（x，T）≤ ρ（x，R）表示所有x∈ 十、 对于X∈ R、 由于ρ（x，T）=ρ（x，R）=0，我们得到f（Xxρ（x，T））=f（Xxρ（x，R））=x∈ 然后，R和T之间存在差异，因为它们产生相同的即时回报。对于x/∈ R、 R是平衡的事实表示f（Xxρ（x，T））≤ J（Xxρ（x，T），R）=Ey[δ（ρ（y，R））f（xρ（y，R））]，其中y：=Xxρ（x，T）。也就是说，对于处于y=Xxρ（x，T）状态的代理而言，从达到R获得的奖励（即第二个奖励）比从R等于T获得的奖励（即第一个奖励）更有价值。如上所述，减少不耐烦规定，处于初始状态x的代理/∈ R具有相同的偏好，即在x处R优先于T/∈ R、 因此，我们得出结论，在e非常x处，较小的平衡R优于（或至少不劣于）较大的平衡T∈ 十、 从L emma 3.1中已经可以推导出一个候选最优均衡。提案3.1。

如果▄R：=TR∈ER是一个平衡，那么它就是一个最优平衡。证据定义R R代表所有R∈ E、 如果R是一个平衡，我们可以从引理3.1得出结论，对于任何R∈ E、 J（x，~R）≥ J（x，R）和thu s V（x，R）≥ V（x，R），对于所有x∈ 十、 因此，R是一个不理想的等式。对于▄R：=TR∈要成为一个平衡，必须解决两个技术问题：（i）两个平衡的相交是否又是一个平衡？（ii）如果（i）为真，是否可以将其推广到平衡点的不可数相交？特别是，考虑到它是Borel集的不可数相交，我们如何确保thR是Borel？下面的第4节专门讨论这些问题，并最终确定了最优均衡的存在性。在开始第4节中的详细分析之前，我们指出了命题3.1的一个简单结论，它对于一些停止问题已经很有用了。推论3.2。如果 是一个平衡，那么它就是一个最优平衡。示例3.1。设X为几何布朗运动，由dxt=uXtdt+σXtdWt（3.5）给出，其中u∈ R和σ>0是常数，W是标准布朗运动。状态空间isX=（0，∞). 考虑双曲线贴现函数δ（t）：=1+βtt≥ 0，（3.6），其中β>0是一个常数，以及Payoff函数f（x）：=x表示x>0。在电流设置下，（2.5）变为J（x，R）=ExXρ（X，R）1+βρ（X，R）, 对于x>0，R∈ B（X）。（3.7）定义ν：=uσ-, （3.8）并且回想一下，对于任何x>0，limt→∞Xxt1+βt=极限→∞x扩展νσt+σW（t）1+βt=(∞, 如果ν>0；0，如果ν≤ 0。（3.9）对于ν>0，（3.9）表示J（x，) = ∞ > f（x）表示所有x>0。这表明 ∈ E和V（x，) = ∞对于所有x>0。

因此 是一个最优平衡，它证实了推论3.2.4每个x的最优平衡的存在性∈ 十、 考虑状态进程X的运行最大值X和运行最小值X，即Xxt：=最大值∈[0，t]xxs和Xxt：=分钟∈[0，t]Xxs，t≥ 我们在假设4.1的X上施加以下条件。对于任何x∈ 十、 对于所有t>0，Px[Xt>X]=Px[Xt<X]=1。备注4.1。对于任何x∈ 十、 考虑Txx：=inf{t>0:Xxt=X}，第一次重新访问初始值X的时间。假设4.1的直接结果是Txx=0 Px-A.s。从直觉上讲，假设4.1的目的是确保“无论何时X触及R的边界，对于任何R∈ B（X），它将立即进入R”。该物业将在第4.1节中发挥关键作用。请注意，假设4.1不是很严格，因为它已经涵盖了一大类扩散过程，如下所述。备注4.2。一维布朗运动明显满足假设4.1；参见【13】第94页的问题7.18。事实上，这可以推广到更广泛的一类差异过程。具体而言，设X满足dynamicsdXt=u（Xt）dt+σ（Xt）dBt，其中B是标准的一维布朗运动，u，σ是实值确定性函数，使得σ（·）>0和rtθ（Xxs）ds<∞ Px-a.s.适用于所有x∈ X和t≥ 0，其中θ（·）：=u（·）/σ（·）。如果进程zt：=exp-Ztθ（Xs）dBs-Ztθ（Xs）ds, t型≥ 0是一个鞅，[11，引理3.1]表明X满足假设4.1.4.1闭平衡在本小节中，我们将表明假设4.1允许我们将注意力限制在超循环平衡上。对于任何R∈ B（X），R表示R.引理4.1的闭包。假设假设假设4.1成立。对于任何R∈ B（X），ρ（X，R）=ρ（X，R）Px-a.s。x个∈ 十、 特别是，对于所有X，ρ（X，R）=ρ（X，R）=0 Px-a.s∈ R、 证明。修复x∈ 十、 如果X是R的内点，则定义ρ（X，R）=ρ（X，R）=0。

如果x∈ R、 有两种情况案例一：存在{xn}n∈Nin R，使xn→ x、 对于Px-a.e.ω∈ Ohm, 假设4.1意味着{Xxs（ω）：s∈ [0，ε]}mu st相交{xn}n∈N、 对于所有ε>0。这意味着ρ（x，R）=0 Px-a.s。因为ρ（x，R）≤ ρ（x，R）通过定义，我们得到ρ（x，R）=ρ（x，R）=0 Px-a.s.oC情况II：x是R的一个孤立点，即x∈ 存在ε>0的情况，即（x-ε、 x+ε）∩R={x}。根据备注4.1，Txx=0 Px-a.s。因此，ρ（x，R）=0，因此ρ（x，R）=0，Px-a.s。最后，如果x/∈ R、 考虑随机变量Y：=Xxρ（x，R）。对于任意ω∈ Ohm, 由于X是一个连续过程，Y（ω）∈ R、 根据以上分析，我们得到PY（ω）[ρ（Y（ω），R）=0]=1。根据X的强马尔可夫性质，Pxhρ（Xρ（X，R），R）=0Fρ（x，R）i（ω）=PY（ω）[ρ（Y（ω），R）=0]=1，对于Px-a.e.ω∈ Ohm.对两侧进行期望得到Px[ρ（Xρ（X，R），R）=0]=1。因此，ρ（x，R）（ω）=ρ（x，R）（ω）+ρ（Xxρ（x，R），R）（ω）=ρ（x，R）（ω）f或Px-a.e.ω∈ Ohm.引理4.1 adm有几个有用的含义。备注4.3。根据假设4.1，对于任何R∈ B（X），因为ρ（X，R）=ρ（X，R）Px-a.s。x个∈ 十、 定义J（X，R）=J（X，R），因此V（X，R）=V（X，R），x个∈ 十、 此外，对于所有X，J（X，R）=J（X，R）∈ 十、 （2.7）表明SR=SR，IR=IR，CR=CR。备注4.4。根据假设4.1，观察R Θ（R），适用于所有R∈ B（X）。的确，对于anyx∈ R、 由于ρ（x，R）=0 Px-a.s.（引理4.1），我们得到了J（x，R）=f（x），即x∈ IR。接下来是R IR，因此Θ（R）=SR∪ （IR∩ R） =SR∪R、 （4.1）这与命题2.1一起，给出了寻找平衡的理想结果：在假设4.1下，每∈ B（X）通过定点迭代收敛到平衡v。具体而言，E=画→∞Θn（R）：R∈ B（X）.引理4.2。假设假设假设4.1成立。（i） 对于任何R∈ E、 SR=.（ii）对于任何R∈ B（X），R∈ E当且仅当ifR∈ E、 证明。（i） 修复R∈ E、 对于任何x∈ 十、 如果X∈R、 那么ρ（x，R）=0 Px-a.s。

（引理4.1），这意味着j（x，R）=f（x），即x∈ IR。如果x/∈R、 然后是x/∈ R=Θ（R）=SR∪R、 感谢R∈ E和（4.1）。因此，SR=.（ii）对于任何R∈ E、 根据备注4.3和（i），SR=SR=. 根据（4.1），Θ（R）=SR∪R=R，即R∈ E、 通过转换R和R的角色，我们可以证明R∈ E意味着R∈ E、 引理4.2（ii）和备注4.3传达了一条重要信息：为了比较不同平衡的相关值，必须将我们的注意力限制在闭合平衡上。毕竟，R∈ E保持平衡，具有相同的值。事实上，R和R诱导了相同的停止行为，因为在我们闭合R之后，SR、IR和CRin（2.7）保持不变。正如我们现在将介绍的，这种额外的闭合条件是以系统方式改善平衡的关键。4.2平衡点的交点在适当的可积性条件下，我们证明了两个闭合平衡点的交点也是一个平衡点，具有较大的值。提案4.1。支持假设4.1。另外假设每个x∈ 十、 δ（t）f（Xxt）→ 0作为t→ ∞ Px-a.s.，（4.2）安第斯山脉支持∈[0,∞)δ（t）f（Xt）< ∞. （4.3）那么，对于任何R，T∈ E是闭合的，我们有j（x，R∩ T）≥ J（x，R）∨ J（x，T），x个∈ 十、 （4.4）因此，R∩ T也属于E.Proof。修复x∈ 十、 在整个证明过程中，对于符号的适用性，我们定义了所有n=0，1，以下内容：1。τ： =0，τ2n+1：=inf{t>τ2n：Xxt∈ T}，τ2n+2：=inf{T>τ2n+1:Xxt∈ R} ；2、An：={ω∈ Ohm : τn（ω）<∞, Xxτn（ω）/∈ R∩ T}。设v：=ρ（x，R∩ T）。根据A的定义，我们有j（x，R∩ T）- J（x，T）=Ex[1A（δ（v）f（Xv）- δ（τ）f（Xτ））]=ExAδ（τ）δ（v）δ（τ）f（Xv）- f（Xτ）≥ Ex[1Aδ（τ）（δ（v- τ） f（十五）- f（Xτ））]=Ex[1Aδ（τ）（Ex[δ（v- τ） f（Xv）| fτ]- f（Xτ））]（4.5），其中不等式来自（2.3），且f为非负。

x的强马尔可夫性意味着exhδ（v- τ） f（十五）FτiA=EXxτhδ（ρ（Xxτ，R∩ T））fXρ（Xxτ，R∩T）iA=J（Xxτ，R∩ T）1A。（4.6）在事件A中，注意T的闭合度需要Xxτ∈ T因此，Xxτ（ω）/∈ R∩Timplies Xxτ/∈ R、 因为R是一个平衡，由（2.6）f（Xxτ）≤ A.（4.7）上的J（Xxτ，R），带（4.6）和d（4.7），（4.5）yieldsJ（x，R∩ T）-J（x，T）≥ Ex[1Aδ（τ）（J（Xτ，R∩ T）- J（Xτ，R））]。（4.8）在下面，我们将递归执行上述参数。首先，对J（Xxτ，R）重复上述参数∩ T）- J（Xxτ，R），而不是J（x，R∩ T）- J（x，T），我们得到J（Xxτ，R∩ T）- J（Xxτ，R）≥ EXxτhA（Xxτ）δ（ρ（Xxτ，R））J（Xρ（Xxτ，R），R∩ T）- J（Xρ（Xxτ，R），T）i、 （4.9）式中（y）：=nω∈ Ohm : ρ（y，R）（ω）<∞, Xyρ（y，R）（ω）/∈ R∩ 至，对于y∈ 十、 用I表示（4.9）中的期望。用X的stron g马尔可夫性质表示，I·1A=ExAδ（τ- τ） （J（Xτ，R∩ T）- J（Xτ，T））Fτ· 1A。这与（4.8）和（4.9）一起，意味着j（x，R∩ T）- J（x，T）≥ Ex[1AAδ（τ）δ（τ- τ） （J（Xτ，R∩ T）- J（Xτ，T））]。继续这个过程，我们可以得到所有n=1，2，J（x，R∩ T）- J（x，T）≥ Ex[1A…1Anδ（τ- τ) . . . δ（τn- τn-1） （J（Xτn，R∩ T）- J（Xτn，U））]其中，如果n为奇数，则U=R；如果n为偶数，则d U=T。定义σn：=inf{t>τn:Xxt∈ R∩ T}。我们可以将前面的不等式改写如下：对于所有n=1，2，J（x，R∩ T）- J（x，T）≥ 前任A.1Anδ（τ- τ) . . . δ（τn-τn-1)δ（σn- τn）f（Xσn）- δ（τn+1- τn）f（Xτn+1）. （4.10）用Hn表示（4.10）中期望值内的随机变量。我们声称Hn→ 0 Px-a.s.让我们考虑两种不同的情况。o案例一：limn→∞τn=∞. 自σn起≥ τnby定义，limn→∞σn=∞. 根据（2.3）和（4.2），| Hn |≤ δ（σn）f（Xxσn）+δ（τn+1）f（Xxτn+1）→ 0，因此Hn→ 0.o案例二：limn→∞τn<∞. 设置τ：=limn→∞τn.由于X是一个连续过程，Xτn→ Xτ。对于n偶数，由于R是闭合的，我们有Xτn∈ R由τn定义。

这意味着Xτ∈ R、 同样地，对于每n个奇数，由于T是闭合的，我们有Xτn∈ T由τn定义。这意味着Xτ∈ T，再次通过T的接近度。因此，Xτ∈ R∩T和τn≤ σn≤ τ . 它遵循σn→ τ . 由于δ和f的连续性，δ（σn- τn）f（Xσn）- δ（τn+1- τn）f（Xτn+1）→ f（Xτ）- f（Xτ）=0，表示Hn→ 现在，由于Hn→ 0 Px-a.s.和| Hn |≤ 2支持∈[0,∞)δ（t）f（Xxt），我们可以将优势收敛定理应用于（4.10）作为n→ ∞, 感谢（4.3）。这个yieldsJ（x，R∩ T）≥ J（x，T）。通过在上述证明中切换R和T的角色，我们还可以得到J（x，R∩ T）≥ J（x，R）。然后（4.4）如下。这仍然表明R∩T是一个平衡。修复x/∈ R∩T如果x/∈ R、 通过R isan平衡和（4.4），f（x）≤ J（x，R）≤ J（x，R∩ T）。这意味着x∈ 红外光谱∩T∪ CR公司∩T、 按（2.6），x/∈ R∩ T和x∈ 红外光谱∩T∪ CR公司∩T、 我们得出结论，x/∈ Θ（R∩ T）。如果x/∈ T，相同的参数给出x/∈ Θ（R∩T）。因此，我们得出结论，Θ（R∩T） R∩T自R起∩T Θ（R∩T）在假设4.1（见备注4.4）下，我们有Θ（R∩ T）=R∩ T，即R∩ T∈ E、 备注4.5。R，T的封闭性∈ E对于命题4.1是必不可少的。尤其是用于确定Xxτ/∈ R高于（4.7）以及“Hn→ 证明第二种情况下为0“。事实上，如果没有封闭性条件，命题4.1以一种微不足道的方式失败了。例如，假设假设假设4.1成立，且支付函数f严格为正且满足（4.2）和（4.3）。我们可以构造两个没有封闭性的平衡点，它们的交点不是朗格朗平衡点。取R：=X∩ Q和R：=X∩ 质量控制。SinceR=R=X∈ E（重新标记2.2），引理4.2（ii）断言R∈ E和R∈ E、 按结构，R∩ R=.

由于（4.2）意味着j（x，) = 对于所有x，0<f（x）∈ 十、 R∩ R= 不是一种平衡。下一步是研究平衡点的可数交叉点是否也是平衡点。为此，我们需要以下技术成果。引理4.3。Let（Sn）n∈ninb（X）是闭集的非递增序列。对于任何x∈ 十、 limn公司→∞ρ（x，Sn）=ρ（x，S∞) Px-a.s.，带s∞:=\\n∈NSn。证据取任意x∈ 十、 “The”≤” 关系很简单，如Sn S∞适用于所有n∈ N、 证明“≥” 关系，因为当limn→∞ρ（x，Sn）=∞, 我们假设→∞ρ（x，Sn）<∞. 定义τn：=所有n的ρ（x，Sn）∈ N、 并设置τ：=limn→∞τn.Ifx∈ S∞, ρ（x，Sn）=ρ（x，S∞) = 0表示所有n∈ N、 因此，期望的结果微不足道。假定X/∈ S∞. 固定ω∈ Ohm. 对于任何m∈ N、 由于X是一个连续过程，我们有XxτN（ω）→Xxτ（ω），因此Xxτn（ω）∈ [Xxτ（ω）- n足够大时，为1/m，Xxτ（ω）+1/m]。接下来是SN∩ [Xxτ（ω）- 1/m，Xxτ（ω）+1/m]6= 因为n足够大，所以f等于所有n。现在，s ince（Sn）n∈如果是一个非递增的闭集序列，我们可以应用Cantor的交定理并得到∞∩ [Xxτ（ω）- 1/m，Xxτ（ω）+1/m]=\\n∈N（序号∩ [Xxτ（ω）- 1/m，Xxτ（ω）+1/m]）6=, m级∈ N、 按定义，S∞已关闭。因此，我们可以再次应用Cantor的求交定理，得到∞∩ {Xxτ（ω）}=\\m∈N（S）∞∩ [Xxτ（ω）- 1/m，Xxτ（ω）+1/m]）6=.即Xxτ（ω）∈ S∞. 因此ρ（x，S∞)(ω) ≤ τ（ω），根据需要。提案4.2。假设假设假设4.1、（4.2）和（4.3）保持不变。对于任意序列（Rn）n∈无闭合平衡，R：=Tn∈NRnbelongs到E。此外，对于每个n∈ N、 J（x，R）≥ J（x，Rn），x个∈ 十、 证明。我们可以按如下方式重写R：R=\\n∈NTn，其中Tn：=\\i=1,2，。。。，nRi，n∈ N、 根据提案4.1，Tn∈ E代表所有n∈ N、 对于每个x，J（x，Tn）在N中不递减∈ 十、 对于任何X∈ R、 自x起∈ TN适用于所有n∈ N、 每个Tnis都是一个平衡的事实意味着f（x）≥ J（x，Tn），n∈ N

通过（4.3）和引理4.3，我们可以应用支配收敛定理，得到f（x）≥ J（x，R），表示x∈ SR公司∪ IR。因此，R SR公司∪ IR，whichimplies R SR公司∪ （IR∩ R） =Θ（R）。另一方面，对于任何x/∈ R、 存在N个∈ N如x所示/∈ Tnfor n公司≥ N、 自Tn起∈ E代表所有n≥ N，f（x）≤ J（x，Tn）表示所有n≥ N通过支配收敛定理（再次感谢（4.3）和引理4.3），我们得到了f（x）≤ J（x，R），即x∈ 红外光谱∪ CR.此，连同x/∈ R、 暗示x/∈ Θ（R）。因此，我们得到（R）c Θ（R）c，现在可以得出结论，R=Θ（R），即R∈ E、 最后，对于每个x∈ 十、 因为J（X，Tn）在n中是非递减的，所以J（X，R）=limn→∞J（x，Tn）≥ J（x，Tn）≥ J（x，Rn）n∈ N、 其中，最后一个不等式来自命题4.1.4.3，主要结果见定理4.1。假设假设假设4.1、（4.2）和（4.3）保持不变。然后，R*:=\\R∈E、 R关闭DR。（4.11）是最佳均衡。证据按构造，R*是闭合的，因此属于B（X）。集合E′：={R∈ E:R是闭合的}。由于指示器功能1R在所有R的X上是上半连续的∈ [2]中的命题4.1断言了可数子集（Rn）n的存在性∈不是这样的*= infR公司∈E′R=infn∈尼泊尔卢比。（4.12）因此，R*=田纳西州∈尼泊尔卢比。根据提案4.2，R*是一种平衡，它仍然是最佳的。对于任何R∈ E、 引理4.2（ii）th atR召回∈ E、 R的定义*那么意味着R*R、 下面是v（x，R*) = f（x）∨ J（x，R*) ≥ f（x）∨ J（x，R）=f（x）∨ J（x，R）=V（x，R）x个∈ 十、 式中，不等式遵循引理3.1中的f，第二个等式来自备注4.3。这很容易表明R*是一个最优平衡。备注4.6。条件（4.3）对于定理4.1是必要的，更一般地说，对于最优平衡的存在是必要的。