随机最优控制问题的反向仿真方法

（13） 与（B.4）组合表示XRt+1（a）=XRt（a）=XRt（￠a）=XRt+1（￠a）。2、在第二种情况下，XRt（a）=XRt（~a）∈XR，应用公式（13）给定xrt+1（a）=▄HKXRt（a），at, εt+1=小时KXRt（￠a），￠at, εt+1= XRt+1（￠a），其中第二个等式后面是等式（B.3）和归纳假设（B.4）。总的来说，我们总是观察XRt+1（a）=XRt+1（≈a）。为了证明语句（B.4）适用于时间步t+1，它仍然显示为+1∈ At+1（Xt+1（a））。我们把讨论分成两部分。1、首先，假设XRt+1（a）=XRt+1（￠a）∈ XR，式（B.3）表示at+1=^at+1（Xt+1（a））∈ At+1（Xt+1（a））。2、其次，假设XRt+1（a）=XRt+1（￠a）∈XR。引理1的第（i）部分，nXRt+1（a）∈XRo=τR>t因此，从等式（12）得出，nxrt+1（a）∈XRoXRt+1（a）=Xt+1（a）.因此，我们将公式（B.3）应用于getat+1=~at+1∈ 在+1处XRt+1（￠a）= 在+1处XRt+1（a）= At+1（Xt+1（a））。第（二）部分的证明是完整的。前面引理的直接结果是下面的推论。推论1。公式（15）中定义的值函数▄V（X）显示：▄V（X）=supa∈AE“T-1Xt=0хtftXRt，at+ ^1TGXRT公司#. （B.5）值得注意的是，等式（B.5）和等式（15）中的优化问题分别涉及集合A和AR。上述推论表明，这两个优化问题的最优值与▄V（X）给出的值完全相同。B、 2.2定理1主要结果的证明。根据等式。（2） 和（B.5），我们得到V（X）- V（X）= 苏帕∈AE“T-1Xt=0英尺XRt，at- 英尺（Xt，at）I{XRt6=Xt}#+supa∈AEh公司GXRT公司- G（XT）I{XRT6=XT}I：=I+I.（B.6）下面，我们分别为上述显示中定义的土地建立了上限。删除：=Xt=XRT对于所有1≤ t型≤ T.

请注意EXt=XRt==>Xt6=XRt=Xt=XRtc 欧共体。因此，我们得到i=supa∈AE“T-1Xt=0英尺XRt，at- 英尺（Xt，at）I{Xt6=XRt}#≤ 苏帕∈AE“T-1Xt=0英尺XRt，at+ |英尺（Xt，at）|I{Xt6=XRt}#≤ 苏帕∈AE“T-1Xt=0英尺XRt，at+ |英尺（Xt，at）|IEc#≤ 苏帕∈AE“T-1Xt=0ξ（R）+B（Xt）IEc#=supa∈AE“T-1Xt=0Yt！IEc#，（B.7），其中Yt：=ξ（R）+B（Xt），其中第一个不等式由三角形不等式和假设3得出，第三个不等式由假设3的第（ii）部分得出。两次应用Cauchy–Schwarz不等式≤ 苏帕∈A.E[IEc]·ET-1Xt=0Yt！≤ （T- 1） ·supa∈A（E[IEc]·E“T-1Xt=0Yt#）≤ （T- 1） ·supa∈A（E[IEc]·E“T-1Xt=0ξ（R）+B（Xt）#)≤√2（T- 1） ·supa∈A（E[IEc]·T-1Xt=0E[ξ（R）]+E[B（Xt）]),其中第三个不等式如下，因为（a+b）≤ 2a+2b对于两个实数a和b。鉴于假设3，我们得到-1Xt=0E[ξ（R）]+E[B（Xt）]≤ （T-1)ξ（R）+supa∈AE【B（Xt）】≤ （T-1)ξ（R）+ζ.将最后两个显示与假设2相结合意味着≤√2（T- 1)ξ（R）+ζ苏帕∈AE[IEc]=√2（T- 1)ξ（R）+ζ1.- infa公司∈AE[IE]≤ （T- 1） qξ（R）+ζE（X，R）。（B.8）给出了一个类似的论点i≤qξ（R）+ζE（X，R）。（B.9）将（B.6）、（B.8）和（B.9）组合在一起意味着V（X）-V（X）≤ Tq公司ξ（R）+ζE（X，R）。证明是完整的。B、 3定理2B的证明。3.1初步引理我们首先给出了“大O p”和“小O p”符号的定义，这是不稳定文献中常见的符号。定义2。（i） 对于两个随机变量序列{aM}M∈Nand{bM}M∈如果limk为9，我们称aM=OP（bM）→∞lim supM公司→∞P（| aM |>kbM）=0。（ii）此外，如果lim supM，我们说aM=oP（bM）→∞P（| aM |>kbM）=0表示所有k>0。一些矩阵让ht（x）=supa∈在（x）φ处K（x，a）, . . . , 苏帕∈在（x）φJ处K（x，a）!|, 对于x∈ cl（XR），我们抑制了其对J.定义矩阵ψt=Ehht的依赖性X（m）th | tX（m）tiand^ψt=MMXm=1htX（m）th | tX（m）t对于t=1，2，T- 1，上标|表示向量转置。

显而易见，^ψ是ψt的一个有限样本估计。在续集中，我们将λmax（B）（分别λmin（B））表示为平方矩阵B的最大（分别最小）特征值。我们对ψt的特征值施加以下假设。假设5。（i） 对于任何固定的x和t，At（x）是一个紧集。此外，a 7-→ K（x，a）和φj（·）：Rr-→ R是1的连续函数≤ j≤ J、 （ii）存在一个与t和J无关的正常数\'cψ，使得λmax（ψt）≤ (R)cψ<∞.上述假设的第（i）部分保证了函数ht（·）对于t的定义良好∈ T、 a 7的连续性要求-→ 如果At（x）是一个格（离散集），则可以删除K（x，a），尤其是当随机最优控制问题呈现Bang-Bang解时，请参见，例如Azimzadeh和Forsyth（2015）以及Huang和Kwok（2016）。第（ii）部分要求矩阵的最大特征值^ψt在M和J接近时不会爆炸。该条件确保当M接近于完整性时，样本特征值收敛于非样本特征值，如后继引理3所示。此外，我们定义了矩阵Φt=EhφX（m）t+φ|X（m）t+iand^Φt=MMXm=1φX（m）t+φ|X（m）t+.以下引理将Φtandψ的特征值与Φtandψt的特征值联系起来。引理3。（i） 假设定理2的条件（ii）满足。那么，λmax（Φt）- λmax^Φt= 操作Υ（J）pJ/M,和λmin（Φt）- λ最小值^Φt= 操作Υ（J）pJ/M,对于t∈ T、 （ii）假设假设假设5成立。此外，满足假设4的条件（v）。然后，λmax^ψt= 对于t=1，2，…，OP（1），T- 引理3的证明。引理3可以通过与Newey（1997）中等式（a.1）的证明中使用的类似论证来证明。上述引理表明，样本特征值在映射过程中收敛于非样本特征值。

根据假设4的条件（iv），引理3还暗示了^Φtis的最大（分别，最小）特征值，从上方（分别，下方）有界，概率接近1为M-→ ∞. 这个事实在sequel引理4和5的证明中得到了利用。伪估计、Oracle和真估计接下来，我们介绍伪估计的概念。设βt（resp.^βt）为式（31）中优化问题的解，其中U（m）=Vt+1X（m）t+1（分别为VEt+1X（m）t+1) Z（m）=X（m）t+。给定βtandβt，分别用CPEt（·）=βtφ（·）和CEt（·）=βtφ（·）表示相关回归估计。当在回归中使用真值函数Vt+1（·）时，CPEt（·）本质上是连续函数Ct（·）的独立估计。我们进一步定义了x的函数VPEt（x）∈XRB用▄CPEt（·）替换等式（25）中的▄CEt（·）。对于x∈ XR，我们用等式（16）给出的▄Vt（·）设置▄VPEt（x）=▄Vt（x）。诚然，在BSBU算法的实现中，’β是不可处理的，因为真值函数未知，应该用直接获得的数值估计▄VEt+1（·）代替。因此，根据Belomestny et al.（2010），我们将“βt”称为伪估计。尽管如此，伪估计在建立定理2的收敛结果中起着不可或缺的作用。除了上述两个估计值“β”和“βtde”，我们还进一步定义了优化问题（A.1）的解决方案，其中g（·）替换为“Ct（·）”。下面的引理揭示了当M和J以一定的速率增加时，伪估计和预言之间的差距消失了。引理4。假设满足定理2的条件。那么，βt-βt= 操作pJ/M+ρJ, 对于t∈ T、 引理4的证明。

回想一下，βt解决了优化问题：minβ∈RJMMXm=1hVt+1X（m）t+1- β|φX（m）t+i、 以β|φ（·）为准∈ HJ。另一方面，β是上述优化问题的次优解。因此，wegetVt+1- Pβt≤Vt+1- Pβt,其中P是M-x-J矩阵，第M行为φ|X（m）t+而Vt+1是一个M×1的向量，其中M个元素由Vt+1给出X（m）t+1.通过在上述不等式的L.H.S.中加上和减去项Pβ，我们得到\'\'U- P'δ≤\'\'U,其中，我们使用速记符号“δ：=”βt-βtand'U：=Vt+1-P▄βt。展开上述不等式的两侧，得到P'δ2米≤\'\'U | P\'\'δM≤P | UδM、 其中第二个不等式是H¨older不等式。对于上述不等式的L.H.S.，从最小特征值的定义可以得出：P'δ2M=’δ| P | P’δ2M≥δλ最小值^Φt.将最后两个不等式组合在一起意味着δλ最小值^Φt≤MP | U.根据引理3，事件ncΦ/2≤ λ最小值^Φt概率接近1as M的oholds-→ ∞. 因此，δ≤4/cΦM-1.P | U（B.10）概率接近1的保持为M-→ ∞.根据Newey（1997，第163页）的公式（A.2），M-1.P | U= 操作pJ/M+ρJ.这与最后的显示一起证明了所需的结果。证明是完整的。下一个引理将伪估计值β和真估计值β之间的差异与前一时间步值函数的估计误差联系起来。引理5。假设满足定理2的条件。那么，对于t∈ T、 存在一个与T、R和J无关的常数ψ>0，使得βt-^βt≤rψMVt+1-^Vt+1+ 操作pψρJ概率接近1的保持为M-→ ∞, 式中，Vt+1和^Vt+1是两个M×1矢量，第M个元素由▄Vt+1给出X（m）t+1和▄VEt+1X（m）t+1, 分别地引理5的证明。

使用不等式证明（B.10）中的参数，我们得到^δ≤4/cΦM-1.P |^U,概率接近1的保持为M-→ ∞, 其中，我们采用速记符号^δ：=(R)βt-^βtand^U：=^Vt+1- 另一方面，它来自引理3 thatM-2.P |^U= M-1^U|M-1P P P|^U≤ M-1λ最大值^Φt^U≤ M-12°cΦ^U概率接近1的保持为M-→ ∞.将上述两个不等式结合起来意味着^δ≤q32英寸cΦ/cΦM^U:=rψM^U.通过在上述不等式的R.H.S.中加上和减去Vt+1项，我们得到^U=^Vt+1- Vt+1+Vt+1- Pβt≤^Vt+1- Vt+1+Vt+1- Pβt=^Vt+1- Vt+1+ O√MρJ假设4第（ii）部分保证了最后的平等。结合最后两个不等式意味着^δ≤rψM^Vt+1- Vt+1+ 操作pψρJ.概率接近1的保持为M-→ ∞. 这证明了引理5。上述引理的陈述并不难预料，因为伪估计和真估计之间的主要差异源于值函数的估计误差。最终引理量化了经验范式下价值函数与其数值估计之间的差异。引理6。设FXt（·）为X（m）t的概率分布函数，t=1，2，T-假设定理2的假设成立。THNM公司-1.及物动词-^Vt= 操作ψT-t型-1.J/M+ρJ, 对于t=1，2，T-1，（B.11），其中Vt和^Vt是两个M×1的向量，其中第M个元素为▄VtX（m）t和▄兽医X（m）t,分别地引理6的证明。我们使用反向归纳过程来证明引理6的陈述。对于t=t- 1，我们注意到，CET-1（·）与CPET一致-1（·），因为x的▄VET（x）=▄VT（x）=G（x）∈ cl（XR）。我们有兽医-1（x）=VPET-1（x）代表x∈ cl（XR），相应。

此外，我们观察到兽医-1（x）-VT-1（x）=VPET-1（x）-VT-1（x）≤ 苏帕∈在-1（x）CPET-1.K（x，a）-CT-1.K（x，a）= 苏帕∈在-1（x）βT-1φK（x，a）-CT-1.K（x，a）≤ 苏帕∈在-1（x）βT-1.-βT-1.|φK（x，a）+ 苏帕∈在-1（x）β| T-1φK（x，a）-CT-1.K（x，a）≤βT-1.-βT-1.|hT公司-1（x）+β| T-1φ -CT-1.∞=βT-1.-βT-1.|hT公司-1（x）+ O（ρJ），（B.12），其中第三个不等式由函数hT定义-1（·），最后一个等式由假设4保证。因此，我们得到-1.及物动词-1.-^VT-1.=MMXm=1兽医-1.X（m）T-1.-VT-1.X（m）T-1.≤MMXm=1βT-1.-βT-1.|hT公司-1.X（m）T-1.+ OρJ=βT-1.-βT-1.|^ψT-1.βT-1.-βT-1.+ OρJ≤ 2λ最大值^ψT-1.βT-1.-βT-1.+ OρJ= 操作J/M+ρJ, （B.13）其中第二个不等式源自矩阵最大特征值的定义，最后一个等式由引理4和引理3保证。鉴于上述显示，等式（B.11）适用于t=t-作为归纳假设，我们假设（B.11）适用于t+1。注意，对于x∈XR，Vt（x）-兽医（x）≤Vt（x）-VPEt（x）+兽医（x）-VPEt（x）. （B.14）与建立（B.13）中使用的参数类似的参数显示mmxm=1VPEtX（m）t-VtX（m）t= 操作J/M+ρJ. （B.15）接下来，我们研究术语兽医（x）-VPEt（x）. 请注意兽医（x）-VPEt（x）≤ 苏帕∈At（x）CEtK（x，a）-CPEtK（x，a）= 苏帕∈At（x）^βt-βt|φK（x，a）≤^βt-βt|ht公司x个. （B.16）我们采用与（B.13）证明中相同的参数来获得mmxm=1兽医X（m）t-VPEtX（m）t≤ λmax^ψt^βt-βt.应用引理5 yieldsMMXm=1兽医X（m）t-VPEtX（m）t≤ 2λ最大值^ψtψMVt+1-^Vt+1+ OψρJ= 操作ψT-t型-1.J/M+ρJ,其中，最后一个等式是由于归纳假设（B.11）和λmax^ψt= OP（1）（见引理3）。

上述显示与（B.14）和（B.15）一起表示-1.及物动词-^Vt= 操作J/M+ρJ+ 操作ψT-t型-1.J/M+ρJ= 操作ψT-t型-1.J/M+ρJ.这就完成了证明。B、 3.2定理2主要结果的证明。根据用于证明（B.12）的论点，我们得到VPE（X）-V（X）≤β-~β|h（X）+ O（ρJ）=OPpJ/M+ρJ,其中，最后一个等式由引理4和假设5的第（ii）部分得出。另一方面，一个类似于推导（B.16）中使用的参数显示VPE（X）-VE（X）≤^β-β|h（X）≤ M-1/2五、-^Vkh（X）k。上述两个显示与（B.11）一起表示V（X）-VE（X）≤VPE（X）-V（X）+VPE（X）-VE（X）= 操作qψT-1（J/M+ρJ）.这显示了（32），并完成了定理2的证明。