具有多个协变量的长期预测区间

这种额外的离散度是因为这种方法以非平凡的概率连接包含相同元素的块，从而将这些协方差添加到总平均值的离散度中。由于本文更侧重于探索套索固定残差的性能，我们将这种创新引导技术的严格理论论证推迟到未来的工作中。为了方便读者，我们将算法总结如下：算法2.1（Bootstrap-PIs-ADJ）。i、 估计回归yt~ xTt，t=1，用套索。二、使用固定自举法（见Politis和Romano（1994）），复制残差^et=yt- ^yt，B乘以^ebt，t=1，n、 b=1，B.iii.计算（`ebt（m））=m-1Pmi=1ebt-i+1，t=m。n来自每个复制系列。iv.估算α/2和（1）- α/2）th分位数^Q（α/2）和^Q（1）- α/2）使用来自“ebn（m），b=1，…”的高斯核密度估计器，B.v.“y+1”的PI:mis[L，U]=”^yn，1:m+[^Q（α/2），^Q（1- α/2]），其中“^yn，1：h=1的h步进预测的平均值错误，m、 我们的理论结果与原始数列中常用量子位的一致性有关。但我们推测，获得复制序列的平稳自举技术保留了原始序列的渐近依赖结构，因此原始序列的m长度平均分位数和复制序列的最终m长度平均分位数彼此接近。此外，使用高斯核密度获得核分位数估计器（Seesheapler和Marron（1990））进一步提高了预测性能。Chud\'y等人给出的经验证据支持了这些调整。

（2020）采用单变量设置。接下来，我们将在接下来的两部分展示一些理论一致性结果，这些结果涉及各种不同的依赖性情况、尾部衰减和高维回归。3误差过程的预测区间在进行更一般性的讨论之前，与样本量相比，我们使用本节来讨论没有协变量的引物。e、 我们的反应只是一个平均零误差过程。本节还详细描述了误差过程的模型规格，即过程是短程/长程相关的，还是有轻尾/重尾。在短程依赖下，如果窗口大小m足够长，那么yn+1+…+的依赖性yn+mony，y，yn递减与（yn+1+…+yn+m）的条件分布/√mgiven y，Yn几乎类似于无条件分布，因此可以得到一个简单的中心极限定理来量化预测周围的不确定性。考虑（ei）一个平均零平稳过程，设Sm=e+…+em.Wu和Woodroof（2004）证明了当q>5/2时，条件ke（Sm | F）k=O√mlogqm, （3.1）给出了a.s.收敛性（P（Sm）/√M≤ ·|F） ，N（0，σ））=0 a.s.（3.2），其中k·kdenotes为L-范数， 表示Levy距离，Fi表示σ-场σ（…，ei）-1，ei），m→ ∞ σ=limm→∞kSmk/m是长期方差。通过收集Chud\'y等人（2020年）的渐近正态性结果，Westart。当误差过程可能具有长期依赖性时，这种渐近正态性失效。在保持线性结构不变的情况下，我们为第2节中基于分位数的方法提供了一些经验一致性结果。这些结果描述了所有可能的尾部重量和依赖范围。最后，我们将这些结果推广到函数依赖框架下更实际适用的非线性情况。

在本节中，观察到的过程EI要么是未被观察到的独立且同分布（i.i.d.从今往后）创新的直接线性总和，要么我们假设它是这些创新的一般非线性函数。对于后者，我们定义了一些易于处理的基于矩的耦合度量，我们称之为函数依赖度量。3.1线性误差过程：理论结果假设平均零噪声过程的线性如下=∞Xj=0aj我-j、 与二、i、 d.E(||p） <∞ （3.3）对于某些p>2，很容易在Ait上推导出以下条件，以确保（3.2）中的一致性。证据可在Chud\'y等人（2020年）的附录中找到。定理3.1（Chud\'y等人（2020年）的定理1）。假设流程ETAdministration表示法（3.3），其中AISATI=O（i-χ（对数i）-A） ，χ>1，A>0，（3.4），其中较大的χ和A表示依赖性的快速衰减率。进一步假设，如果1<χ<3/2，A>5/2。然后，充分条件（3.1）意味着正态分布的收敛性（3.2）成立。注：如果序列A不是绝对可和的，或者如果（3.3）中的力矩假设放松，则（3.2）中描述的中心极限定理不成立。下一步，如上所述，我们继续对线性过程的分位数一致性结果进行验证，以验证我们提出的方法。我们首先用（3.3）中的表示形式定义线性过程的短期和长期依赖性。对于短程相关性，我们假设（SRDL）：X|ai|<∞.对于长程依赖，我们首先重新定义慢变函数（s.v.f.）。函数g（·）称为s.v.f.如果所有A>0，limx→∞g（ax）/g（x）=1。假设（LRDL（γ））：l*（i） =全部-γ是一个缓慢变化的函数（s.v.f.），对于某些q<γ<1，其中1/q=sup{t:E(|j|t）<∞}. 注意，（LRDL（·））的定义还考虑了J

我们也假设a密度f还有（DENL）：谢谢∈R（f）（x） +|f（x） |）∞.对于固定的0<u<1，设^Q（u）和Q（u）表示第u个样本分位数和Si的实际分位数，i=m，n、 分别，式中Si=Pij=i-m+1ejH*m、 i=m，m+1。（3.5）和h*m=√m、 对于案例1，inf{x:P(|i |>x）≤m} 对于案例2，m3/2-γl*（m） 对于案例3，inf{x:P(|i |>x）m1-γl*（m） 对于案例4，案例1-2表示SRDL保持和E(j） <∞ 或者E(j） =∞ 而案例3-4分别代表LRDL（γ）保持和E(j） <∞ 或者E(j） =∞ 分别地我们收集了Zhou等人（2010）关于分位数收敛率的以下定理，该定理取决于误差过程在行为和相关性方面的性质：定理3.2。[经验分位数一致性：线性误差过程]假设（DENL）成立。另外——轻尾（SRDL）：假设（SRDL）成立，E(j） <∞. 如果m/n→ 0，则对于任何固定的0<u<1，|^Q（u）-Q（u）|=OP（m）/√n） 。（3.6）-轻尾（LRDL）：假设（LRDL）与γ保持一致。如果m5/2-γn1/2-γl（n）→ 0，则对于任何固定的0<u<1，|^Q（u）-Q（u）|=OP（mn1/2）-γ| l*（n） |）。（3.7）-重尾（SRDL）：假设（SRDL）保持不变，E(|j|q）<∞ 对于一些1<q<2的人。如果对于某些k<（q），m=O（nk）- 1） /（q+1），然后对于任何固定的0<u<1，|^q（u）-Q（u）|=OP（mnν）对于所有的ν>1/Q- 1.（3.8）-重尾（LRDL）：假设（LRDL）与γ保持一致。如果m=O（nk）表示somek<（qγ- 1） /（2q+1）- qγ），然后对于任何固定的0<u<1，|^q（u）-Q（u）|=OP（mnν）对于所有的ν>1/Q- γ. （3.9）关于这些结果的一个技术事实是，它们的证明在很大程度上依赖于线性结构。我们认为，将这些扩展到更一般的非线性场景是一项重要的任务，但这是以对这些非线性过程的假设进行更多抽象为代价的。

我们使用Wu（2005a）的函数依赖形式的一个非常一般的框架来首先描述非线性过程的类别，然后提供中心极限定理和分位数一致性结果的类似物。3.2非线性依赖的中心极限理论经济和金融时间序列往往会发生结构性变化，因此线性模型往往无法捕捉数据生成过程的多样性。相对可能的非线性时间序列模型的范围更大。在许多模型中，有用的非线性时间序列模型包括体制转换自回归过程和神经网络模型，该过程假设序列在从一个体制传递到另一个体制时会改变其动力学。我们将渐近正态性结果（3.2）推广到非线性误差过程。我们通过以下结构确定了非线性的定义：设Ei为平稳过程，允许以下表示Ei=H（Fi）=H(我我-1, . . .), （3.10）其中H是一个定义明确的随机变量，我我-1.i.i.d.创新和创新是由(我我-1, . . .). 可以看出，这是H中线性结构的一个最普遍的推广。为了得出类似于（3.2）但在非线性情况下的结果，我们定义了eiin（3.10）的以下函数依赖性度量，根据Wu（2005a）的框架，通过耦合公式化依赖性：δj，p=kei- 哎(我)-j） kp=kH（Fi）- H（Fi，（i）-j） kp，（3.11），其中Fi，kis是Fiwith的耦合版本被身份证复印件放在壁炉里的亲属k、 Fi，k=(我我-1.KK-1, . . .) 还有艾未未-j） =H（Fi，（i）-j） ）。显然，Fi，k=Fiisk>i。正如吴（2005a）所说，kH（Fi）- H（Fi，（i）-j） ）kP测量离子的依赖性我-J

这种依赖性度量可以被看作是一个输入输出系统，是在一定滞后条件下线性系数的自然模拟。与更流行的强混合条件相比，它有利于温和的动量条件，这取决于过程的依赖性。确定累积依赖性测量值Θj，p=∞Xi=jδi，p，（3.12），可以认为是（ej）j的累积依赖性≥康k、 定理3.3。假设Ei接受（3.10）中的表示。还假设在3.11中的函数依赖公式下，以下比率适用于累积依赖性Θj，p:Θj，p=O（j-χ（对数j）-A） 其中（A>0表示1<χ<3/2，A>5/2表示χ≥ 3/2，（3.13）则（3.2）中的收敛成立。除了定理3.3的渐近正态性结果外，我们接下来将证明运动块的估计分位数是一致的。然而，由于技术原因，同样的非线性相关性概念无法建立分位数一致性，因此我们首先确定某种形式的预测相关性。3.3非线性过程的分位数一致性：预测依赖性对于可能具有重尾和长程依赖性的一般非线性过程，中心极限定理失败。我们展示了本文的主要结果之一，即验证形式（2.4）的PIs的经验分位数一致性。为此，我们需要控制eion的潜在依赖性我-j记住（3.10）这样的表述。因此，我们引入了基于密度的预测相关性度量。设Fk=(K, , -1, . . . , ), 是通过替换FK导出的耦合移位过程根据身份证复印件.

设F（u | Fk）=P{H（Fk+1）≤ u | Fk}是一步预测或条件分布函数，f（u | Fk）=dF（u | Fk）/du是相应的条件密度。我们定义了预测相关性测度ψk，q=supu∈Rkf（u | Fk）- f（u | Fk）kq。（3.14）量ψk，q（3.14）测量,第0步的创新，基于第k步的条件密度或预测密度。我们应做出以下假设：i.对于短期依赖性：ψ0,2<∞ 式中ψm，q=P∞k=mψk，q；对于长程依赖性：ψ0,2可能是有限的；二、（DEN）存在一个常数c<∞ 几乎可以肯定，苏普∈R{f（u|f）+|df（u|f）/du|}≤ c、 （DEN）表示边际密度f（u）=Ef（u | f）≤ c、 回想一下，Zhou等人（2010年）中线性案例的有效条件是基于线性过程的效率。这里，短程和长程相关误差的条件都被转移到了预测相关性度量上。我们假设：（SRD）：∞Xj=0|ψj，q|<∞, （3.15）（LRD（γ））：ψj，q=j-γl（j），q<γ<1，l（·）是一个缓慢变化的函数（s.v.f.）。其中1/q=sup{t:E(|j|t）<∞}. 对于固定的0<u<1，设^Q（u）和Q（u）表示第u个样本分位数和Si的实际分位数；i=m，n、 式中Si=Pij=i-m+1ejHm，i=m，m+1。（3.16）和（3.17）Hm=√m、 对于案例1，inf{x:P(|i |>x）≤m} 对于案例2，m3/2-情况3的γl（m），inf{x:P(|i |>x）m1-γl（m）对于情况4，这里情况1-2表示SRD保持和E(j） <∞ 或者E(j） =∞ 表3-4分别代表LRD（γ）舱和E舱(j） <∞ 或者E(j） =∞ 分别地然后，我们有以下分位数的收敛速度，这取决于尾部行为和相关性方面误差过程的性质：定理3.4（经验分位数一致性：非线性误差过程）轻尾（SRD）：假设（DEN）和（SRD）保持和E(j） <∞.

如果m/n→ 0，然后对于任何固定的0<u<1，|^Q（u）-Q（u）|=OP（m）/√n） 。（3.18）-轻尾（LRD）：假设（LRD）和（DEN）保持在（3.15）中的γ和l（·）。Ifm5/2-γn1/2-γl（n）→ 0，则对于任何固定的0<u<1，|^Q（u）-Q（u）|=OP（mn1/2）-γ| l（n）|）。（3.19）-重尾（SRD）：假设（DEN）和（SRD）保持和E(|j|q）<∞ 对于一些<q<2的人。如果对于某些k<（q），m=O（nk）-1） /（q+1），然后对于任何固定的0<u<1，|^q（u）-Q（u）|=OP（mnν）对于所有的ν>1/Q- 1.（3.20）-重尾（LRD）：假设（LRD）保持在（3.15）中的γ和l（·）。对于某些k<（qγ），如果m=O（nk）- 1） /（2q+1）- qγ），然后对于任何固定的0<u<1，|^q（u）-Q（u）|=OP（mnν）对于所有的ν>1/Q- γ. （3.21）请注意，上述结果讨论的是没有任何预测因素的情况。对于低维回归的情况，证明与showingsupi（Zhou等人，2010）所做的完全相似≤n|^ei- 对于一些适当选择的小∏（n），ei |=OP（n））。我们跳过这里的细节，直接转到预测值的数量远远超过可用的过去时间点的情况。4高维回归区域在本节中，我们将重点讨论有关高维回归预测区间的理论保证的结果，其中误差过程可能是非线性的，并且具有时间依赖性。请注意，本节的所有结果都可以很容易地扩展到误差过程呈指数衰减的情况，如次指数和次高斯，但我们仅限于有限多个矩的情况，这是一个比文献中呈现的假设要弱得多的假设。本小节的结果在很大程度上取决于Sn，b=Pni=1的最佳浓度不等式，在此之前，尚未建立可能的非线性依赖关系。由于这只是一个证明技术工具，我们推迟了这里的浓缩结果。

然而，由于我们的最终目标之一是指出在广泛的一般情况下依赖性的价格，因此重要的是定义依赖性调整标准，以便能够说明集中度和一致性结果。回想（3.12）并假设短期依赖，Θ0，q<∞ 保留Q小于或大于2，具体取决于错误进程的尾部行为。此外，我们定义了α>0的依赖性调整范数，ke。kq，α=supt≥0（t+1）α∞Xi=tδi，q.（4.1）很容易注意到，依赖调整测度的完整性比Θ0，q的完整性更强。接下来，我们证明，对于短程依赖非线性误差过程，定理3.4中获得的误差界在适当选择稀疏条件下保持不变。4.1固定设计的套索对于（2.1）中的模型，我们首先假设xi是固定的，未来的xi是已知的。在这个设置下，我们接下来展示非线性过程的分位数一致性。请注意，对于线性过程和误差过程，可以给出非常相似的结果，误差过程允许一个更简单的表示（3.3），但是我们不把它作为一个单独的定理写在这里，以避免重复。定理4.1。（LASSO非线性的经验分位数一致性）假设协变量的比例为kXk=（np）1/2。在标准函数（2.6）中表示λ=2r，其中r=max{Apn-1log pke。k2，α，Bke。kq，αkXkqn-1+min{0,1/2-1/q-α}}.我们假设Bickel等人（2009）中的受限特征值假设RE（s，κ）保持常数κ=κ（s，3），其中s是真参数向量β和κ（s，c）=minJ中的非零条目数{1，··，p}，|J|≤s、 min | uJc|≤c | uJ | kXuk√nkuJk。（4.2）这里UJ通过将J之外的元素设置为零来表示修改后的u。设Qn（u）为（^Si）nm的第u个经验分位数。

假设（SRD）成立，对于r定义（4.2），（对于q≥ 2） s=omrn,（对于1<q≤ 2） ，s=oHm | l（n）| rn2γ-1., （4.3）如果γ和l（·）在（3.15）中定义，r定义中的Hmin（3.17）和α在（4.1）中定义的依赖性调整范数范围内，则定理3.4的（SRD）规范保持不变，Qn（u）替换为“Qn（u）”。可以注意到，我们在定义r=λ/2时使用了对数p/n项。这使我们能够捕捉到logp=o（n）的超高维场景，这是高维文献中的常见标志。涉及ke的附加条款。k、 ，α是由于误差过程中存在的依赖性。轻尾情形的稀疏条件，即q≥ 在（4.3）中，从r的选择来看，在（4.2）中可以写成：对于q≥ 2秒 闵n4/3log pke。k2，α，n7/3-2最大值{0,1/2-1/q-α} |X | qke。kq，α选择m=o（n1/3）。因此，我们可以允许p比通常的超高维基准eO（n）速率增长得更快。这是一个有趣的结果，我们的猜测是，这一额外优势是由于考虑了未来的聚合，而不是对固定k的k步预测。换句话说，如果允许预测范围增长到∞, 残差的m长度平均值可以自动提供某种浓度。因此，它可以考虑β估计不太精确的情况。我们相信，与通常的套索文献相比，这是对稀疏条件放松的有趣探索。对于线性过程（见3.3）的特殊情况，（4.3）中的条件将保持不变，并且可以根据结果9.1中得出的Nagaev型浓度不等式，使用（3.3）中的线性系数Ai，在（4.2）中定义R时提供更多规范。