非马尔可夫最优停止的离散型逼近

我们可以很容易地检查（见Leao、Ohashi和Simas[28]中的引理2.1），即每k的紧集上的Ak、jis anFk、j平方可积鞅≥ 1和1≤ j≤ d、 Akis产生的多维过滤自然具有以下特征。设Fk:={Fkt；0≤ t<∞} 是Fkt给出的产品过滤：=Fk，1t Fk，2t ···  Fk，DTT≥ 0。LetT：={Tkm；m≥ 0}是基于随机变量族{Tk，j}的顺序统计量l; l ≥ 0; j=1，d} 。也就是说，我们设置Tk：=0，Tk：=inf1≤j≤dnTk、jo、Tkn：=inf1≤j≤dm公司≥1nTk，jm；Tk，jm≥ Tkn-1对于n≥ 1、在这种情况下，T是（2.1）中定义的所有停止时间生成的分区。根据{B，…，Bd}族的独立性，T的元素对于每个k肯定是不同的≥ 结构D：={T，Ak，j；1≤ j≤ d、 k级≥ 1} 是勒索、奥哈西和西马斯语中布朗运动的离散型骨架【28】。在本文中，我们使用Tkn：=Tkn- Tkn-1.Tk，jn：=Tk，jn- Tk，jn-1.1.≤ j≤ d、 n个≥ 1和Nk（t）：=最大{n；Tkn≤ t} ；t型≥ 我们还表示ηk，jn：=1.如果Ak，j（Tkn）>0-1.如果Ak，j（Tkn）<00；如果Ak，j（Tkn）=0，ηkn：=ηk，1n，ηk，dn; n、 k级≥ 1、让我们定义：=n（ik，…，ikd）；ikl∈ {-1, 0, 1} l ∈ {1，…，d}和dxj=1 | ikj |=1和Sk：=（0+∞) ×Ik。让我们定义一下 : Ik→ {1，…，d}×{-1，1}by（2.4）（ik）：=（▄ik），（▄ik）:= （j，r），其中j∈ {1，…，d}是▄ik的坐标∈ IK与零和r不同∈ {-1，1}是坐标j处▄ikat的符号。滑雪板的n倍笛卡儿积由SN表示，SNK的一个通用元素将由Bkn表示：=（sk，▄ik，▄skn，▄ikn）∈ Snkwhere（skr，~ikr）∈ (0, +∞) ×Ikfor 1≤ r≤ n、 我们方法中的驱动因素ise由以下离散时间过程AKN给出：=Tk，ηk，Tkn，ηkn∈ 斯奈卡。s、 人们应该注意到fktkn=（Akn）-1（B（Snk））6 S'ERGIO C。

BEZERRA、ALBERTO OHASHI、FRANCESCO RUSSO和FRANCYS DE Souzab，其中B（Skn）是由Snk生成的Borel-sigma代数；n≥ 我们设置Ak：=0（R×Rd中的空向量）和Sk：={0}。系统法则将根据PKN（E）中定义的以下概率度量进行演变：=Po Akn（E）：=P{Akn∈ E} ；E∈ B（Snk），n≥ 本文的主要目标是处理非马尔可夫系统。先验地说，奖励过程中没有马尔可夫半群可供我们使用，因此我们需要在我们的上下文中替换这个经典概念。根据定义，Pkn（·）=Pkr（·×Sr-nk）对于任何r>n≥ 1、更重要的是，Pkr（Snk×·）是一个正则度量，B（Sk）是可数生成的，因此已知（见Dellacherie和Meyer[10]中的III.70-73），存在（Pkn-a.s.unique）一个崩解νkn，r:B（Sr-nk）×Snk→ [0，1]实现了espkr（D）=ZSnkZSr-nkD（bkn，qkn，r）νkn，r（dqkn，r | bkn）Pkn（dbkn）每D∈ B（Srk），其中qkn，ris是bkronto到la st（r）的投影- n） 组件，即qkn，r=（skn+1，~ ikn+1，…，skr，~ ikr），列表bkr=（sk，~ ik，…，skr，~ ikr）∈ Srk。如果r=n+1，我们表示νkn+1：=νkn，n+1。根据定义∈ B（Sk）和bkn∈ Snk，我们有（2.5）νkn+1（E | bkn）=Pn(Tkn+1，ηkn+1）∈ E | Akn=bkno；n≥ 换言之，νkn+1是混凝土型骨架D从步骤n过渡到步骤n+1的概率。接下来，我们为转换内核（2.5）提供了一个闭式表达式。对于给定的bkn=（sk，～ik，…，skn，～ikn），我们定义（2.6）λ（bkn）：=最大值{1≤ j≤ n（ikj）=λ}，其中在（2.6）中，我们使最大{} = 此外，对于给定的bkn∈ Skn，我们设定：=ik，ikn我们定义λ（ikn）：={在λ坐标中发生的向量ikn中的跳跃次数}。例如，如果ik=(-1, 0), (0, 1), (1, 0), 然后（ik）=2。

对于每个bkn∈ Snk，我们设置（2.7）tkn（bkn）：=nXβ=1skβ。然后，我们确定（2.8）tk，λλ（bkn）：=λ（bkn）Xβ=λ的1skβ∈ {1，…，d}和bkn∈ Snk。我们设置tk，λ=tk=0k、 λn（bkn）：=tkn（bkn）- tk，λλ（bkn）。当没有出现混淆时，我们省略对变量bknin tkn、tk、λλ和k、 λn.设fk为命中时间Tk的密度，1（例如参见[32]中的第5.3节）。我们使用（2.6）、（2.7）和（2.8）中描述的信息集。我们定义了非马尔可夫最优停止问题的离散型近似：第二部分7Ej：={1，2，…，j- 1，j+1，d} andfkmin（t）：=fkmin（bkn，j，t）：=Yλ∈Ejfk公司t+k、 λn,用于（bkn、j、t）∈ 序号-1k×{1，…，d}×R+，例如，如果d=2，我们有fkmin（bkn，j，t）=fk公司t+k、 2n（黑色）; 如果j=1fkt+k、 1n（黑色）; 如果j=2（bkn，j，t）∈ Snk×{1，2}×R+。定理2.1。对于每个bkn∈ Snk，（j，l) ∈ {1，…，d}×{-1，1}和-∞ < a<b<+∞, 我们有（2.9）νkn+1（a、b）×-1（{j，l})|bkn公司=Rbafk ds；如果d=1Lk，nj、 （a、b）×Ik，n（j）；如果d>1，其中Lk，nj、 （a、b）:=Rb型+k、 jna公司+k、 jnfk（x）dxR+∞k、 jnfk（x）dxIk，n（j）：=R-∞R∞-sfk公司s+t+k、 jn公司fkmin（bkn，j，t）dtdsQdλ=1R+∞k、 λnfk（t）dt。定理m2.1的证明推迟到附录部分。该公式的重要性在于条件期望的以下表示：如果Borel函数的G=Φ（Akm）：Smk→ R带m≥ 1，然后（2.10）EhGFkTkm公司-1i=ZSkΦ（Akm-1，skm，ikm）νkm（dskmd | ikm | Akm-1） a。s、 通过迭代条件经验，公式（2.10）允许我们计算EhGFKTKJI对于每个j=0，m级- 1.3。非马尔可夫最优停止问题中的动态规划为了使本文自成体系，我们简要回顾了Leao、Ohashiand Russo[30]给出的主要结果。让我们将Bp（F）表示为c\'adl\'ag F-适应过程X的空间，使得kxkpbp：=E sup0≤t型≤T | X（T）| p<∞其中1≤ p<∞.

在整个工作过程中，我们将确定终端时间0<T<+∞. 以下概念在这项工作中很重要。定义3.1。我们说Y=（Xk）k≥1，D是X的嵌入离散结构，如果Xkis是（3.1）Xk（t）形式的Fk适应纯跳跃过程的序列=∞Xn=0Xk（Tkn）11{Tkn≤t<Tkn+1}；0≤ t型≤ T、 它有可积的qu-adratic变分E[Xk，Xk]（T）<∞; k≥ 1和8 S’ERGIO C.BEZERRA、ALBERTO OHASHI、FRANCESCO RUSSO和FRANCYS DE SOUZA（3.2）limk→+∞kXk公司- XkpBp=0对于某些p≥ 1、对于t≤ T，我们将Tt（F）表示为所有F停止时间τ的集合，使得T≤ τ ≤ T a.s.用于整数n≥ 0，我们用Tk表示，n（F）：=Tt（F）表示t=Tkn。为了缩短符号，我们设置Tk，n：=Tk，n（F）。在本文中，我们假设潜在的奖励过程Z是一个F适应的连续过程，它满足以下可积条件：（A1）kZkpBp<∞ p≥ 对于给定的奖励过程Z，设S为与ZS（t）相关的斯内尔包络：=ess supτ∈Tt（F）E【Z（τ）| Ft】，0≤ t型≤ T、 我们假设S满足以下可积条件：（A2）kZkpBp<∞ p≥ 1、由于当前的最优停止时间问题是紧集[0，T]上的问题，因此在我们的离散化方案中，关键是要知道正确的周期数。为此，让我们表示x个 作为大于或等于x的最小自然数≥ 0 . 我们回忆起（见Leao，Ohashi和Russo[30]中的引理3.1），如果e（k，t）：=d22千吨, 然后对于每个t≥ 0Tke（k，t）→ 以L（P）表示k→ +∞. 由于这个结果，我们将把分析归结为周期e（k，T）的确定数。备注3.1。对于每个k≥ 1、可以查看；n=1，e（k，T）作为扩展状态空间Se（k，T）kby上的离散时间马尔可夫过程(Tk，ηk，Tkn，ηkn，Tkn，ηkn，Tkn，ηkn）∈ Se（k，T）k对于每个n=1。

，e（k，T）。我们将Dk，mnas表示为（3.3）τ=mXi=nTki{τ=Tki}形式的所有Fk停止时间集，其中{τ=Tki；i=n，…，m}是Ohm 和0≤ n≤ m、 让我们表示Dkn，T：={η∧ Tη ∈丹麦，∞n} 。设{Zk；k≥ 1} 是形式为（3.1）且let{Sk；k≥ 1} 由（3.4）Sk（t）给出的关联值过程：=e（k，t）Xn=0Sk（Tkn）1{Tkn≤t<Tkn+1}；0≤ t型≤ T、 其中，非马尔可夫最优停止问题的离散型近似：第二部分9Sk（Tkn）：=ess supτ∈Dk，e（k，T）nEhZk（τ∧ T）FkTkni；0≤ n≤ e（k，T）。在续集中，我们表示uy，k，pS（Tki）：=E“Sk（Tki+1）kFkTki#；0≤ 我≤ e（k，T）- 1、现在让我们回顾Leao、Ohashi和Russo[30]中提出的两个主要结果，即定理3.1和3.2。Le▄ao、Ohashi和Russo中的定理3.1【30】。设S为与满足（A1-A2）的areward过程Z相关的Snell包络。设{Zk；k≥ 1} 是形式（3.1）和let{Sk；k）的纯跳跃过程序列≥ 1} 是（3.4）中给出的相关价值过程。如果Z=（Zk）k≥1，D是Z的嵌入离散结构，其中（3.2）适用于p>1，然后是S=（Sk）k≥1，D是S wherelimk的嵌入式离散结构→+∞E sup0≤t型≤T | Sk（T）- S（t）|=0。此外，{Sk；k≥ 1} 是形式（3.1）的唯一纯跳跃过程，满足以下变量不平等性axnuy，k，pS（Tki）；Zk（Tki∧ T）- Sk（Tki）o=0 i=e（k，T）- 1.0，a.s.（3.5）Sk（Tke（k，T））=Zk（Tke（k，T）∧ T）a.s.接下来，为了完整起见，我们回顾了【30】中给出的一些解释，这些解释对于下一节中给出的Longstaff-Schwartz算法非常重要。变分不等式等价于sk（Tkn）=maxnZk（Tkn∧T）；EhSk（Tkn+1）FkTknio；n=e（k，T）- 1，e（k，T）- 2.0 a.s.（3.6）Sk（Tke（k，T））=Zk（Tke（k，T）∧T）每个n的a.s∈ {0, . . .

，e（k，T）}，存在孔l-可测函数Vkn:Snk→ R和Zkn：Snk→ Rwhich realization（3.7）Sk（Tkn）=Vkn（Akn）a。s、 和Zk（Tkn∧ T）=Zkn（Akn）a。sn=0，e（k，T）。此外，序列Vki:Si→ R0≤ 我≤ e（k，T）由以下动态编程算法mVki（bki）=maxnZki（bki）确定；EVki+1（Aki+1）| Aki=bkio；0≤ 我≤ e（k，T）- 1Vke（k，T）（bke（k，T））=每个bki的Zke（k，T）（bke（k，T）），（3.8）∈ Sikfor 0≤ 我≤ e（k，T）和k≥ 1、动态编程算法允许我们确定停止和延续区域a s follows（i，k）：=nbki∈ Sik；Zki（bki）=Vki（bki）o（停止区域）10 S'ERGIO C.BEZERRA、ALBERTO OHASHI、FRANCESCO RUSSO和FRANCYS DE SOUZAD（i，k）：=nbki∈ Sik；Vki（bki）>Zki（bki）o（连续区域），其中0≤ 我≤ e（k，T）。对于给定的非负整数n≥ 0，让我们将Jk，e（k，T）表示为所有（FkTki）e（k，T）i=n停止时间η的集合，其形式为（3.9）η=e（k，T）Xi=ni11{τ=i}，其中{τ=i}；n≤ 我≤ e（k，T）构成Ohm. 显然，在Jk，e（k，T）和Dk，e（k，T）n之间存在一个自然同构。让我们定义（3.10）Yk（i）：=Zk（Tki∧ T）；我≥ 0、按结构，ess supη∈ Jk，e（k，T）nEYk（η）| FkTkn= Sk（Tkn）a。s、 对于每个0≤ n≤ e（k，T）。最小（FkTki）e（k，T）i=0-最优停止时间w.r.T.问题supτ∈Je（k，T）EYk（τ）= supη∈ Dk，e（k，T）eZk（η∧ T）由τk给出：=min0≤ j≤ e（k，T）；Akj公司∈ S（j，k）o（3.11）=min0≤ j≤ e（k，T）；Sk（Tkj）=Zk（Tkj∧ T）由施工确定的a.s。此外，动态规划原理可以写成（3.12）（τke（k，T）：=e（k，T）τkj：=j11Gkj+τkj+1（Gkj）c；0≤ j≤ e（k，T）- 其中gkj：=（Zkj（Akj）≥ EhZkτkj+1（Akτkj+1）阿克吉）；0≤ j≤ e（k，T）- 1和τk=τka。s

函数序列Ukj:Sjk→ R（3.13）bkj7→ Ukj（bkj）：=EhZkτkj+1（Akτkj+1）Akj=bkji；0≤ j≤ e（k，T）- 1称为连续值。通过我们在e（k，T）-步骤上的动态编程原理，可以构造出产生最佳收益的值函数，其方式为（3.14）Vk：=supη∈ Jk，e（k，T）eYk（η）= Vk（0）=maxnZk（0）；EVk（Ak）o、 其中EVk（Ak）= EhZkτk（Akτk）i=Uk（0）。此外，非马尔可夫最优停止问题的离散型近似：第二部分11EYk（τk）= EZk（Tkτk∧ T）= supτ∈Dk0，TEZk（τ∧ Tke（k，T））（3.15）=supτ∈T（F）EZk（τ∧Tke（k，T））（3.16）其中标识（3.16）是由于【30】中的位置3.1引起的。现在，我们通过回顾以下结果来完成此操作。在续集中，我们回忆起S（0）=supη∈ T（F）EZ（η）.Le▄ao、O hashi和Russo中的定理3.2【30】。如果Z=（Zk）k≥1，D是奖励过程Z的嵌入离散测试结构，然后是Tkτk∧ T是布朗过滤中的一个-最优s打顶时间，即对于给定的>0，supη∈ T（F）EZ（η）- <EZ（Tkτk∧ T）每k足够大。此外，（3.17）supτ∈T（F）EZ（τ）- Vk公司≤ kZk（·）∧ Tke（k，T））- ZkB公司→ 0as k→ +∞.现在让我们为值函数Vk提出一个Longstaff-Schwartz算法；k≥ 1.3.1. Long Staff-Schwartz算法。每个随机元素akn引入一个图像概率测度ρkn：=Pknon Snk；n≥ 其中ρ就是0上的狄拉克。对于每个m=0。e（k，T）-1，族{Akj；j=m，…，e（k，T）}在e（k，T）上导出图像概率测度ρkm，e（k，T）-m+1倍笛卡儿积spa-ce（Se（k，T）k×····×Se（k，T）k{z}e（k，T）-m+1）。在本文中，我们假设Zkn:Snk→ R∈ L（Snk，ρkn），对于每n=0，e（k，T）。现在让我们选择一个子集{bUkj；j=0，…e（k，T）-1} 功能，例如Bukj∈ L（Sjk，ρkj），对于eachj=0，e（k，T）- 1.

对于每个函数的选择，我们设置归纳式（3.18）（bτke（k，T）：=e（k，T）bτkj：=j11bGkj+τkj+1（bGkj）c；0≤ j≤ e（k，T）- 其中bgkj：={Zkj（Akj）≥布吉（Akj）}；0≤ j≤ e（k，T）-1和bτk=bτk。这里，bUkj（·）应解释为e的合适近似值Zkbτkj+1（Akbτkj+1）| Akj=·对于每个j=0，e（k，T）- 1、集合{bτkj；0≤ j≤ e（k，T）}诱导一组条件期望sehyk（bτkj+1）| Akji=EhZkbτkj+1（Akbτkj+1）阿克吉；j=0，e（k，T）- 1因此可以假设bvk：=最大值Zk（0）；bUk（0）作为（3.14）的可能近似值。受Z anger【40】的启发，蒙特卡罗算法由以下几行给出。12 S’ERGIO C.BEZERRA、ALBERTO OHASHI、FRANCESCO RUSSO和FRANCYS DE Souzalongstaff-Schwartz Alg算法。让我们来看看≥ 1、步骤（0）：给定任意正整数N，选择HKN，0 R、 对于每个j=1，e（k，T）- 1，选择HkN，j L（Sjk，ρkj）。集合HkN，j；0≤ j≤ e（k，T）可能取决于N，选择取决于关于连续值的一些先验信息（3.13）。在学习理论文献中，它们通常被称为近似体系结构。从…起Ak公司l; 0≤ l ≤ e（k，T）, 生成N个独立样本Ak0，i，Ak1，i，Ake（k，T），i；i=1，N对于每个l = 0, . . . e（k，T），让我们表示akl编号：=Ak公司l,1，Akl,2.Ak公司l,NAke（k，T），1，Ake（k，T），2，Ake（k，T），N带（e（k，T）- l + 1） N-因子。步骤（1）：对于j=e（k，T）-1，我们设置bτkj+1：=bτkj+1（Ak（j+1）N）：=e（k，T）并生成{（Akj，i，（Zkbτkj+1）i）；1≤我≤ N}，其中我们定义（Zkbτkj+1）i：=Zke（k，T）（Ake（k，T），i）；1.≤ 我≤ N、 然后选择（3.19）bUkj：=arg ming∈HkN，jNNXi=1（Zkbτkj+1）i- g（Akj，i）.我们应该注意到，bukjis是AkjNso的一个泛函，我们假设存在一个极小值（3.20）bUkj:Sjk×Sjk公司N×。×Se（k，T）kN→ Rof（3.19），可能取决于N。

用Bukjat手计算bτkji=bτkjAkjN公司i、 bτkj=bτkj的值AkjN公司根据（3.12）的第i个样本进行假设，即我们确定（3.21）bτkji：=j11Zkj（Akj，i）≥bUkj（Akj，i，AkjN）+ bτk（j+1）iZkj（Akj，i）<bUkj（Akj，i，AkjN）对于1≤ 我≤ N、 在本例中，我们设置（3.22）Zkbτkji： =（ZkjAkj，i; 如果bτkji=jZkbτk（j+1）iAkbτk（j+1）i，i; 如果bτkji=bτk（j+1）i，其中bτk（j+1）i=e（k，T）为1≤ 我≤ N、 第（2）步：根据（3.19）、（3.21）和（3.22），我们然后以归纳的方式重复该步骤j=e（k，T）-2.1，0，直到步骤j=0bτkji，bUkj，Zkbτkj我; 0≤ j≤ e（k，T），1≤ 我≤ N、 步骤（3）：对于j=0，我们设置v（Ak0N）：=maxnZk（0），bUk（Ak0N）o.4。蒙特卡罗方法的误差估计在本节中，我们给出了前一节中描述的蒙特卡罗方法的误差估计。早期，蒙特卡罗方案中最重要的目标是共同计算潜在的条件期望。为此，我们利用统计学习理论中的一些机制，以回归函数为基本对象。在本节中，我们将列出函数Zkn:Snk→ Rn=0，给定嵌入离散结构Z的e（k，T）实现（3.7）=（Zk）k≥1，D与给定的奖励过程Z相关。有关结构（Zkn）e（k，T）n=0的路径表示的具体示例，我们请读者参阅Le▄ao，Ohashi andRusso【30】和（5.5）的第5节。非马尔可夫最优停止问题的离散型近似：第二部分134.1。一点学习理论。在后半部分中，假设γ是乘积空间X×R上的Borel概率测度，其中我们假设X是一个具有Borel-sigma代数B（X）的波兰空间。设γX（A）：=γ（A×R）；A.∈ B（X）是X上的边际概率测度。由于X×R是光滑的，因此可以分解γw.R。t。

γX表示存在唯一的测量值函数X 7→ γx（dr）实现zx×Rf（x，r）γ（dx，dr）=ZXZRf（x，r）γx（dr）γx（dx），对于每个f∈ L（X×R；γ）。函数fγ（x）：=ZRrγx（dr）；x个∈ Xis是γ的回归函数。要最小化的最重要对象是所谓的风险函数lt（f）：=ZX×R | R- f（x）|γ（dx，dr），其中f:x→ R∈ L（X；γX）。SinceRR（fγ（x）- r） γx（dr）=0；x个∈ 十、 然后可以很容易地检查（4.1）T（f）=T（fγ）+kf- fγkL（X；γX）对于每个f∈ L（X；γX）。在此之前，fγ=argminf∈L（X；γX）T（f）。统计学习理论中的一个中心问题是通过某种近似结构H来近似fγ L（X；γX）。身份（4.1）yieldsarg ming∈香港- fγkL（γX）=arg ming∈HZX×Rg（x）- rγ（dx，dr）。在本文中，我们将学习理论应用于以下设置：首先，对于给定的一组连续值Ukl: Slk→ Rl = 0, . . . , e（k，T）- 1，我们选择一个近似函数列表BUKl: Slk→ R∈ L（ρkl); l = 0, . . . , e（k，T）- 1、使用此类近似函数，对于eachj=0，e（k，T）- 1，我们定义了一个映射bДkj：e（k，T）l=jS公司lk→ Sjk×R如下（4.2）bkj，bkj+1，bke（k，T）7.→bkj，Zkbτkj+1bkj+1，bke（k，T）式中，Zkbτkj+1：e（k，T）l=j+1秒lk→ R通过以下公式归纳定义：我们从j=e（k，T）开始- 1，其中我们设置Zkbτke（k，T）（bke（k，T））：=Zke（k，T）（bke（k，T）），bke（k，T）∈ Se（k，T）kand（4.3）Zkbτkj+1（bkj+1，…，bke（k，T））：=（Zkj+1（bkj+1）；若Zkj+1（bkj+1）≥bUkj+1（bkj+1）Zkbτkj+2（bkj+2，…，bke（k，T））；如果j=e（k，T），则Zkj+1（bkj+1）<bUkj+1（bkj+1）-2.类似地，对于j=e（k，T）-1，we se t Zkτke（k，t）（bke（k，t））：=Zke（k，t）（bke（k，t）），bke（k，t）∈Se（k，T）kand（4.4）Zkτkj+1（bkj+1，…，bke（k，T））：=（Zkj+1（bkj+1）；若Zkj+1（bkj+1）≥ Ukj+1（bkj+1）Zkτkj+2（bkj+2，…，bke（k，T））；当j=e（k，T）时，如果Zkj+1（bkj+1）<Ukj+1（bkj+1）- 2.