非马尔可夫最优停止的离散型逼近

有时，我们表示νk0，r：=Pkrfor r≥ 如果r=n+1，我们表示νkn+1：=νkn，n+1。有关此条件概率的显式公式，请读者参阅[30]。设Bp（F）为c\'adl\'ag F-适应过程Y的spa-ce，使得ky kpBp：=EkY kp∞< ∞哪里kY k∞:= sup0≤t型≤T | Y（T）|，1≤ p<∞ 和0<T<+∞ 是固定的终点时间。在续集中，[·，·]是Fk二次变分算子。[28]研究了以下一类Fk适应过程的潜在差异结构和渐近性，这类过程将在这项工作中发挥关键作用。定义2.1。我们说Y=（Xk）k≥1，D是X的嵌入离散结构∈ Bp（F）如果Xkis是Fk适应的形式为（2.5）Xk（t）的纯跳跃过程的序列=∞Xn=0Xk（Tkn）11{Tkn≤t<Tkn+1}；0≤ t型≤ T、 它有可积的二次变差E[Xk，Xk]（T）<∞; k≥ 1和（2.6）limk→+∞kXk公司- XkBp=0对于某些p≥ 1.6多里瓦尔·勒奥、阿尔贝托·奥哈希和弗朗西斯科·鲁索3。构造S的嵌入结构和t的近似最优停止时间≤ T，我们将Tt（F）表示为所有F停止时间τ的集合，使得T≤ τ ≤ T a.s。。对于n≥ 0，我们用Tk表示，n（F）：=t（F）表示t=Tkn。为了缩短符号，我们设置Tk，n：=Tk，n（F）。通过本文，我们假设奖励过程Z是一个F适应的连续过程，它满足积分正则条件（A1）kZkpBp<∞ p≥ 对于给定的奖励过程Z，设S为与ZS（t）关联的斯内尔包络：=ess supτ∈Tt（F）E【Z（τ）| Ft】，0≤ t型≤ T、 我们假设S满足以下可积条件：（A2）kSkpBp<∞ p≥ 假设（A1-A2）在可积性范围可以放宽的意义上并不重要。为了简化表达式，我们假设（A1-A2）成立。

由于手头的最优停止时间问题发生在紧集[0，T]上，因此在我们的离散化方案中，知道正确的周期数至关重要。为此，让x个 是最小的自然数，大于或等于x≥ 然后我们表示（k，T）：=d-2吨; k≥ 引理3.1。对于任何0<T<∞,E | Tke（k，T）- T型|→ 0和Tke（k，T）→ T a.s.作为k→ ∞.证据请注意t | Tkd-2吨- T |≤ maxn | max1≤我≤dTk，i-2吨- T |，| min1≤我≤dTk，i-2吨- T | oa。s、 每k≥ 然后，我们应用[25]中的引理2.2来总结证明。由于这个结果，我们将把分析减少到确定的周期数e（k，T）。Wedenote Dk，mnas所有Fk停止时间的集合τ=mXi=nTki{τ=Tki}，其中{τ=Tki；i=n，…，m}是Ohm 和0≤ n≤ m、 让我们表示Dkn，T：={η∧ Tη ∈丹麦，∞n} 。我们观察到Dk，∞是所有Fk完全不可访问的停止时间的集合。设{Zk；k≥ 1} 是形式（2.5）和let{Sk；k）的纯跳跃过程序列≥ 1} 是（3.1）Sk（t）给出的关联值过程：=∞Xn=0Sk（Tkn）1{Tkn≤t型∧Tke（k，T）<Tkn+1}；0≤ t型≤ T、 0的位置≤ n≤ e（k，T），我们表示sk（Tkn）：=ess supτ∈Dk，e（k，T）nEhZk（τ∧ T）FKTKNI和UY、k、pS（Tkn）：=E“Sk（Tkn+1）kFkTkn#。非马尔可夫最优停止问题的离散型近似：第一部分7以下结果显示了由骨架D驱动的嵌入离散结构所起的基本作用：={T，Ak，j；1≤ j≤ d、 k级≥ 1} ：它能够将离散结构提升到布朗滤波中，而不会在优化问题中失去Fk适应性。我们将第3.1条提案的标题置于第4节。提案3.1。设zk为形式（2.5）的纯跳跃过程。对于每个n≥ 0和k≥ 1，Wehavess supτ∈Dkn、TEhZkτ|FkTkni=ess supτ∈Tk，nEhZkτ|FkTknia。s、 3.1。-最佳停止时间。

动态规划算法允许我们将停止和继续区域定义为以下（i，k）：=nbki∈ Sik；Zki（bki）=Vki（bki）o（停止区域n）D（i，k）：=nbki∈ Sik；Vki（bki）>Zki（bki）o（延拓区域），其中0≤ 我≤ e（k，T）和Vkn：Snk→ R和Zkn：Snk→ R是实现（3.2）Sk（Tkn）=Vkn（Akn）a.s和Zk（Tkn）的Borel函数∧ T）=Zkn（Akn）a.s；n=0，e（k，T）。设Yk（i）：=Zk（Tki∧ T）；我≥ 我们将Jk，mnas设为所有（FkTki）mi的se t=0，对于给定的0，在{n，n+1，…，m}上取值的停止时间≤ n<m<∞. 根据经典的最优停车理论，最小（FkTki）e（k，T）i=0-最优停车时间w.r.T问题supτ∈Je（k，T）EYk（τ）由（3.3）τk得出：=minn0≤ j≤ e（k，T）；Akj公司∈ S（j，k）o=最小值0≤ j≤ e（k，T）；Sk（Tkj）=Zk（Tkj∧ T）根据结构确定的a.s。此外，（3.4）ess supη∈ Jk，e（k，T）nEhYk（η）| FkTkni=ess supτ∈Dk，e（k，T）nEhZk（τ∧ T）| FkTknia。s、 对于每个0≤ n≤ e（k，T）。动态编程原理可以写成（3.5）（τke（k，T）：=e（k，T）τkj：=j11Gkj+τkj+1（Gkj）c；0≤ j≤ e（k，T）- 其中gkj：=（Zkj（Akj）≥ EhZkτkj+1（Akτkj+1）阿克吉）；0≤ j≤ e（k，T）- 1和τk=τka。s、 函数序列Ukj:Sjk→ R（3.6）bkj7→ Ukj（bkj）：=EhZkτkj+1（Akτkj+1）Akj=bkji；0≤ j≤ e（k，T）- 1称为连续值，它们在获得最佳值方面起着关键作用。通过e（k，T）-步骤上的动态编程原理，可以重建产生最佳收益的值函数，该步骤提供了8 DORIVAL LEAO、ALBERTO OHASHI和FRANCESCO RUSSOsupη∈ Jk，e（k，T）eYk（η）= maxnZk（0）；EVk（Ak）o、 其中EVk（Ak）= EhZkτk（Akτk）i.此外，（3.7）EYk（τk）= EZk（Tkτk∧ T）= supτ∈Dk0，TEZk（τ∧ Tke（k，T））= supτ∈T（F）EZk（τ∧ Tke（k，T））其中，恒等式（3.7）中的最后一个基本等式是由命题3.1得出的。

让我们表示（3.8）Vk：=supτ∈Dk0，TEZk（τ∧ Tke（k，T））; k≥ 1、我们现在可以陈述本文的主要结果。定理m 3.1的证明推迟到第4节。定理3.1。设S为与满足假设的奖励过程相关联的斯内尔包络（A1-A2）。设{Zk；k≥ 1} 是形式为（2.5）且let{Sk；k的纯跳跃过程序列≥ 1} 是（3.1）给出的相关价值过程。如果Z=（Zk）k≥1，D是嵌入的离散结构，其中（2.6）适用于p>1，然后是S=（Sk）k≥1，D是S的嵌入离散结构，wherelimk→+∞E sup0≤t型≤T | Sk（T）- S（t）|=0。此外，{Sk；k≥ 1} 是形式（2.5）的纯跳跃过程的唯一序列，满足以下变分不等式axnuy，k，pS（Tki）；Zk（Tki∧ T）- Sk（Tki）o=0 i=e（k，T）- 1.0，a.s.（3.9）Sk（Tke（k，T））=Zk（Tke（k，T）∧ T）a.s.定理3.2。让Z=（Zk）k≥1，D是奖励过程Z的嵌入离散结构，并让τkbe为（3.3）给出的最佳停止时间。那么，Tkτk∧ T是布朗过滤中的-最佳停止时间，即对于给定的>0，supη∈ T（F）EZ（η）- <EZ（Tkτk∧ T）每k足够大。此外，（3.10）supτ∈T（F）EZ（τ）- Vk公司≤ EkZk（·）∧ Tke（k，T））- Zk公司∞→ 0as k→ +∞.证据嵌入离散s结构性质、Z的路径连续性和引理3.1 yieldEkZk（·）∧ Tke（k，T））- Zk公司∞→ 0as k→ +∞. 这表明（3.11）supτ∈T（F）EZk（τ∧ Tke（k，T））- supτ∈T（F）EZ（τ）≤ E sup0≤t型≤T | Zk（T∧ Tke（k，T））- Z（t）|→ 0as k→ +∞. 通过（3.7）（另见命题3.1）、（3.8）和（3.4），我们得出（3.10）。现在，通过使用（3.7）和（3.11），对于给定的>0，我们得到了非马尔可夫最优停止问题的离散型近似：第一部分9（3.12）supτ∈T（F）EZ（τ）- <supτ∈T（F）EZk（τ∧ Tke（k，T）∧ T）= EZk（Tkτk∧ T）每k足够大。

ZKE的嵌入离散结构性质Zk（Tkτk∧T）<EZ（Tkτk∧ T）+ 每k足够大。这意味着supτ∈T（F）EZ（τ）- 2<EZ（Tkτk∧ T）每k足够大。仍需显示Tkτkis和F-停止时间。清洁，Tkτk：Ohm → R+isF可测量。我们声称tkτk（ω）（ω）≤ t和ω|[0，t]=ω′|[0，t]，然后Tkτk（ω）（ω）=Tkτk（ω′）（ω′）。召回τk（ω）=minn0≤ j≤ e（k，T）；Akj（ω）∈ 我们注意到Tkτk（ω）（ω）≤ t意味着计算Tkτk（ω）（ω）所需的所有信息都位于布朗路径ω|[0，t]上。这可以通过以下事实很容易看出：每个连续时间随机游动Ak，j；j=1，d仅（可能）跳跃t停止次数（Tkn）n≥在这种情况下，如果ω|[0，t]=ω′|[0，t]和Tkτk（ω）（ω）≤ 那么我们必须有Tkτk（ω）（ω）=Tkτk（ω′）（ω′）。根据Galmarino的试验（见【16】No.IV 94-103，pp 145-152），我们得出结论，Tkτkis an（eFt）t≥0-停止时间，其中（eFt）t≥0是维纳空间上布朗运动生成的原始过滤。这表明Tkτk∧ T是一个F停止时间，（3.12）允许我们总结证明。备注3.1。嵌入离散结构的重要性在定理3.2中已经很明显：当k足够大时，沿离散型过滤（FkTkn）e（k，T）n=0的最大化本质上等同于沿布朗过滤的最大化。更重要的是，嵌入结构允许我们降低最优停车问题的维数（参见第5.3节和示例5.1）。命题3.1和定理3.1的证明为了证明收敛性，我们需要一个关于优化问题中涉及的条件期望的微妙的路径论证。

对于形式（2.5）的给定纯跳跃过程，存在Borel函数列表hkl: Slk→ 实现zk（t）的R=∞十、l=0hkl（Akl)1{Tkl≤t<Tkl+1} a.s。；0≤ t型≤ T、 换句话说，Zkn（Akn）=Zk（Tkn∧ T）a.s.，其中ZKN（bkn）=hkn（bkn）；如果tkn≤ Thkj（bkj）；如果T<tkn，tkj≤ n的T<tkj+1≥ 在续集中，我们定义了两个自然数0≤ n≤ r、 对于给定τ∈ Dk，rn，存在Borel函数列表gkl: Slk→ 实现（4.1）τ=rX的Rl=nTk公司lgk公司l（Akl) a、 swhere gk公司l（Akl) = 1{τ=Tkl}; n≤ l ≤ r、 优化问题中的作用空间由aj给出：=nx=（x，…，xj）∈ 新泽西州；jX公司l=1台l= 1o；j>1。Ar的要素-n+1×SRK将用OK、n、r表示：=akn，akr，黑色.10多里瓦尔·勒奥、阿尔贝托·奥哈希和弗朗西斯科·鲁索夫的Borel函数列表l: Slk→ {0，1}实现（4.1），我们定义了映射Ξk，gkn，r:Srk→应收账-n+1×SRKg由Ξk、gkn、r（bkr）驱动：=吉凯恩（bkn），gkr（黑色），黑色; 黑色∈ Srk。我们观察到，我们可以选择se（gkl)rl=以这种方式（gkn（bkn），gkr（黑色））∈ 应收账-每个KR的n+1∈ Srk。此外，还存在一个显式映射γkn，r:Ar-n+1×Srk→ R使得（4.2）Zk（τ∧ T）=γkn，rΞk，gkn，rAkr公司a、 s.，其中γkn，r（正常，n，r）：=rXl=nhk公司l（黑色l)1{1}（akl)1{tkl≤T}（黑色l) +接收l=nhk公司l（黑色l)1{tkl≤T<tkl+1} rXj=n{1}（akj）1{tkj>T}（bkj）！。我们还应该计算Zk（τ）的路径表示∧ T）但对于更一般的停止时间类别。Le teTk，n，rbeη=rX形式的所有F停止时间的se tl=nTk公司l{η=Tkl}其中{η=Tkl} ∈ FTk公司l; n≤ l ≤ r、 当然，Dk，rneTk、n、rfor每0≤ n≤ r和k≥ 1、重新调用Tkn<∞ a、 s代表每n≥ 0.在这种情况下，已知（例如，见[23]中的推论3.22），（Φkj）-1.O= FTkj，其中O是上的可选σ-代数Ohm ×R+和Φkj（ω）：=ω、 Tkj（ω）; ω∈ Ohm*, j≥ 1，其中P(Ohm*) = 1、为了保持注释简单，我们选择了Φkjde的一个版本，到处都有定义，并使用符号总线e将其写为Φkj。

基于这一事实，对于给定η∈eTk，n，r存在lista Borel函数Дkl: Ohm ×R+→ {0，1}实现（4.3）η=rXl=nTk公司l^1kl（Φkl) a、 s.用于Borel函数列表l: Ohm ×R+→ {0，1}意识到（4.3），我们然后定义映射Ξk，Дkn，r：Ohm ×Rr-n+1+→ 应收账-n+1×SRKg由Ξk，Дkn，r（ω，xn，…，xr，bkr）驱动：=^1knΦkn（ω，xn）, . . . , ^1krΦkr（ω，xr）, 黑色,对于ω∈ Ohm, （xn，…，xr）∈ Rr（右后）-n+1+和黑色∈ Srk。通过构造，我们得到了（4.4）Zk（η∧ T）=γkn，rΞk，Дkn，rJkn，ra、 其中Jkn，r：=Id，Tkn，Tkr，Akr和Id：Ohm → Ohm 是身份地图。在续集中，Hkn，r:B(Ohm ×Rr-n+1+×Srk→ [0，1]是P的分解o Jkn，rw。r、 t Pkrandνkn，ris Pkrw的解体。r、 t包装r>n≥ 回顾第2节中介绍的符号。引理4.1。设zk为形式（2.5）的纯跳跃过程。对于每个τ∈ Dk、rnandη∈eTk，n，r，用于0≤ n<r，我们有ehzk（τ∧ T）| FkTkni=ZSjkγkn，rΞk，gkn，rAkn，qkn，rνkn，r（dqkn，r | Akn）a.s非马尔可夫最优停止问题的离散型近似：第一部分11andEhZk（η∧T）| FkTkni=ZSjkZOhm×Rj+γkn，rΞk，Дkn，rω、 xn，xr、Akn、qkn、rHkn，r（dωdxn…dxr | Akn，qkn，r）νkn，r（dqkn，r | Akn），a.s表示j=r- n、 其中（gkl)rl=nand（Дkl)rl=分别与τ和η相关的nare-Borel函数。证据证明是表述（4.2）和（4.4）的直接结果，因此我们省略了细节。我们现在能够证明命题3.1，它是定理3.1证明的主要内容，也是定理3.2中的估计（3.10）。命题3.1的证明。目前，让我们确定r>n。我们声称（4.5）ess supτ∈eTk，n，rEhZkτ ∧ T|FkTkni=ess supτ∈Tk、n、rEhZkτ ∧ T|FkTknia。s、 ，其中tk，n，r：={τ是F- 停车时间；Tkn≤ τ ≤ Tkra，s}。对于给定τ∈ Tk，n，r，让我们定义F-停止时间Q（τ）=min{Tkp；Tkp>τ}和η（τ）=r+1Xl=nTk公司l-1{Q（τ）=Tkl}∈我们观察到P{η（τ）=Tkn-1} = 0.

此外，由于zk有c\'adl\'ag路径，我们有zk（τ∧ T）=Zk（Q（τ）∧ T）-= Zk公司η(τ) ∧ Ta、 这证明了（4.5）。我们现在声称（4.6）ess supτ∈eTk，n，rEhZkτ ∧ T|FkTkni=ess supτ∈Dk、rnEhZkτ ∧ T|FkTknia。s、 为了检查（4.6），我们使用引理4.1如下。让我们定义以下对象：Fkn，r（bkn）：=最大值（akn，…，akr）∈应收账-n+1Gkn，r（akn，…，akr，bkn），其中GKN，r（akn，…，akr，bkn）：=ZSr-nkγkn，rakn，akr、bkn、qkn、rνkn，r（dqkn，r | bkn），andeFkn，r（bkn）：=最大值（akn，…，akr）∈应收账-n+1eGkn，r（akn，…，akr，bkn），其中egkn，r（akn，…，akr，bkn）：=ZSr-nkZ公司Ohm×Rr-n+1+γkn，rakn，akr、bkn、qkn、rHkn，r（dωdxn…dxr | bkn，qkn，r）νkn，r（dqkn，r | bkn），每个bkn∈ Sknand（akn，…，akr）∈ 应收账-n+1。因为对于每个E∈ B（Sr-nk）和F∈ B类(Ohm ×Sr-n+1k），分解BKN7→ νkn，r（E | bkn）和bkr7→ Hkn、r（F | bkr）是Borel函数，那么我们可以安全地声明（参见[6]中的第7.29条）Gkn、randeGkn和罕见的Borel函数。因此，引理4.1 yields12 DORIVAL LEAO、ALBERTO OHASHI和FRANCESCO RUSSOGkn，r（Prno Ξk，gkn，r（Akn））=EhZk（τ）∧ T）| FkTkni，eGkn，rPrn公司o Ξk，Дkn，r（Akn）= EhZk（η∧ T）| FkTknia。每个τ的s∈ Dkn，randη∈eTk，n，r，其中PRNo Ξk、gkn、r（bkn）：=吉凯恩（bkn），gkr（黑色），黑色是Ξk，gkn，r（bkr）在Ar上的投影-n+1×SnkandPrno Ξk，Дkn，r（bkn）：=^1knΦkn（ω，xn）, . . . , ^1krΦkr（ω，xr）, bkn公司是Ξk，Дkn，r（bkr）在Ar上的投影-n+1×Snk。按构造，Fkn，r（Akn）=ess supτ∈Dk、rnEhZkτ ∧ T|FkTknia。sandeFkn，r（Akn）=ess supτ∈eTk，n，rEhZkτ ∧ T|FkTknia。s、 我们注意到Fkn，r=eFkn，rand，因此索赔（4.6）成立。上述论点实际上表明（4.6）在r=+∞, 即（4.7）ess supτ∈eTk，nEhZkτ ∧ T|FkTkni=ess supτ∈丹麦，∞nEhZk公司τ ∧ T|FkTknia。swheretk，nis是τ形式的所有F停止时间的集合=∞十、l=nTk公司l{τ=Tkl}和{τ=Tkl} ∈ FTk公司l; l ≥ n

这是因为自然数序列s的集合（xi）∞i=nsuch茅草∞j=nxj=1是可数的。最后，证明（4.5）的论点实际上表明（4.8）ess supτ∈eTk，nEhZkτ ∧ T|FkTkni=ess supτ∈Tk，nEhZkτ ∧ T|FkTknia。s、 ，其中tk，n：={τ是F- 停车时间；Tkn≤ τ ≤ +∞ a、 s.}。身份（4.7）和（4.8）允许我们总结证据。定理3.1的证明：变分不等式（3.9）是经典离散时间动态规划原理的直接结果，因此我们将省略此证明。让我们检查收敛性。首先，我们观察到斯内尔包络具有连续路径。事实上，根据假设（A1），奖励过程是一个D类调节过程，因此通过应用[2 6]中的2.3.5和假设（A2），相关的斯奈尔包络也是一个D调节过程。因此，在假设（A1-A2）下，Snellenvelope S具有连续路径。让我们定义δkS（t）：=∞Xn=0EhS（Tkn）| FkTkni{Tkn≤t<Tkn+1}；0≤ t型≤ T、 根据[28]中的引理3.1和假设（A2），我们可以使用一致可积性来安全地表示thatlimk→+∞E sup0≤t型≤T |δkS（T）- S（t）|=0。非马尔可夫最优停止问题的离散型近似：第一部分13人们可以很容易地检查{EZ（τ）| FTkn; τ ∈ Tk，n}具有晶格特性（参见[26]中的定义1.1.2）。因此，塔的性质是有条件的期望和支撑。1.1.4 in【26】屈服δkS（t）=∞Xn=0EhS（Tkn）| FkTkni{Tkn≤t<Tkn+1}=∞Xn=0ess supτ∈Tk，nEhZ（τ）| FkTkni{Tkn≤t<Tkn+1}a.s.，对于0≤ t型≤ T另一方面，从命题3.1来看，我们有sk（t）=∞Xn=0ess supτ∈Dkn，TEhZk（τ∧ Tke（k，T））| FkTkni{Tkn≤t<Tkn+1}=∞Xn=0ess supτ∈Tk，nEhZk（τ∧ Tke（k，T））| FkTkni{Tkn≤t<Tkn+1}a.s.，对于0≤ t型≤ T

将Doob极大不等式应用于可闭离散鞅[sup0≤t型≤T | Z（T）- Zk（t∧ Tke（k，T））| | FkTkn]；n≥ 0和Jensen不等式，我们可以找到一个正常数C，使得E sup0≤t型≤T | Sk（T）- δkS（t）| p≤ E支持≥0Ehsup0≤t型≤T | Z（T）- Zk（t∧ Tke（k，T））|FkTkni公司p{Tkn≤T}≤ CE s up0≤t型≤T | Z（T）- Zk（t∧ Tke（k，T））| p（4.9）作为k→ ∞ 对于某些p>1，由于嵌入的discr e te属性。为了证明（4.9）的右侧消失为k→ ∞ 我们只注意到Z有连续的路径，一个简单的三角形内质变元和引理3.1允许我们得出证明。非马尔可夫最优停止问题的例子在本节中，我们展示了如何将定理em 3.2应用于具体的非马尔可夫最优停止问题。为了简化表示，我们将d设置为1。在本节中，我们使用以下符号。设D（[0，t]；R）是[0，t]上R值c\'adl\'ag路径的线性空间，且设∧：={（t，ω（·）∧ t） ）；t型∈ [0，T]；ω∈ D（[0，T]；R）}是具有距离β（（T，ω）的停止路径集；（t′，ω′）：=sup0≤u≤T |ω（u∧ t）- ω′（u∧ t′）|+| t- t′|β，其中0<β≤ 1.