桥接AIC和BIC：一种新的自回归标准

作为说明，表1列出了不同样本量下BIC的显著水平q。N 100 500 1000 2000 10000q 0.0319 0.0127 0.0086 0.0058 0.0024表1：不同样本量下贝叶斯信息标准的显著水平q为了激励我们的新标准，假设自然g从N AR（L）过程生成数据，而N AR（L）过程又从均匀分布UL随机生成。这里，uli定义在所有根s的模量不大于r（0<r）的稳定滤波器的空间上≤ 1） ：SL（r）=ψL:zL+LXl=1ψL，lzL公司-l=利索l=1（z）- A.l), ψL，l∈ R、 | al| ≤ Rl = 1.L. （8） 在这个数据生成过程中，gLis是一个随机变量，其分布由以下定理描述。为了连续性，我们推迟了对补充材料的详细讨论。定理1假设ψLis均匀分布在SL（1）中。那么，ψ1,1，ψL，Lare根据（ψL，L+1）/2独立分布~ B(L/2+1, （L+1）/2) （L=1，…，L）。此外，LψL，Land lgl在分布上向χ收敛，因为L趋于完整。同样，我们假设假设检验方向相反（对于给定的Lmax）：H:L=LH:L≤ L- 1.（9）在零假设下，gL6几乎肯定等于0，我们用gL的分布近似^gL的分布。我们选择一个固定的数字0<p<1作为显著性水平，相关阈值为L级，使得p=pr（gL<hL）或等效的yhl=F-1gL（p）（10）式中F-1gL（·）表示gL累积分布函数的反函数。如果^gL<hL（或相当于^gL- hL<0），我们拒绝用L替换L- 1，对于L=Lmax，Lmax- 1.直到L=2或其未被拒绝。

同样，可以选择使下列目标函数最小化的L作为最佳阶^L=ar g min1≤L≤Lmax Lmax xk=L+1（^gk）-hk）=log^eL+LXk=1hk+c（11），其中c=-（log^eLmax+PLmaxk=1hk）不依赖于L。下一小节介绍了（11）所提出的标准。2.4建议的订单选择标准现在，我们允许最大的候选订单随着样本量N增长，并使用符号L（N）maxk而不是lmax来强调这种依赖性。定义N=N- L（N）max.基于（11）的概念，我们采用惩罚术语plk=1hk（p），其中hk（p）在（10）中定义，p由hl（N）max（p）=N进一步确定。（12）定理1暗示hk（p）≈ F-1χ（p）/k表示大k，其中F-1χ（·）表示χ的累积分布函数的反函数。从（12）开始，我们有F-1χ（p）≈ 2L（N）最大/N，因此hk（p）≈ 2L（N）最大/（Nk）。因此，我们提出以下桥接标准：选择L∈ {1，…，L（N）max}使对数^eL+（2L（N）max/N）PLk=11/k最小化。我们已经看到，给定固定的I型误差，假设检验（6）的阈值是恒定的，而r（9）的阈值在L中降低，导致1/k项。直观地说，SL（r）上的均匀分布更多地集中在空间的边界附近，而欠拟合的损失，eL-1/eL=1/（1）- ψL，L），随着lin的增加，变得更加微不足道。在某种程度上，这一观察结果表明了一个有趣的想法，即不同模型的惩罚在模型维度上不一定是线性的；一开始可能是双类型的重罚，但随着犯罪模型越来越大，可能会越来越倾向于AIC类型的重罚，从而改变/强化人们对模型规格的信念。3.

bridge E criterion要求桥梁标准的估算值或阶数为^L=arg min1≤L≤L（N）maxbc（N，L）=log^eL+2L（N）maxNLXk=1k（13），其中L（N）max是最大的候选顺序。L（N）max的选择必须使limN→∞L（N）max=∞, 第4节将研究其增长率。众所周知，对于大L，plk=11/k=log L+cE+oL（1），其中Cei是Euler-Mascheroni常数。图1说明了不同N和L（N）最大值的惩罚曲线=日志N. 在不丧失普遍性的情况下，我们可以将曲线移动到L=1时的相同位置。图2示出了Bridge e准则、Akaike信息准则、贝叶斯信息准则以及Hannan和Quinn准则的惩罚曲线，分别用JBC（L）=2L（N）maxNLXk=1k、Jaic（L）=NL、Jbic（L）=log（N）NL、Jhq（L）=c log（N）NL c表示，其中c选择为1.1、L=1，L（N）最大=日志N, N=1000。上述任何顺序，L1 2 3 4 5 6 7 8 9 10 110.0020.0040.0060.0080.010.0120.0140.0160.018图1：显示样本量10（点划线）、10（划线）和10（实线）的惩罚项的图表。惩罚曲线可以写成pLk=1tk的形式，只有斜率tk（k=1，…，Lmax）对订单选择的性能有影响。例如，假设Lis根据某种标准选择了L而不是L（L>L）。这意味着福利的好处- ^eLis大于slopeslk=L+1tk之和。因此，我们将后三个标准的曲线与桥梁标准的对数曲线相切，以突出它们的差异和联系。这里，如果两条曲线在一个且仅在一个点（切点）相交，则两条曲线被称为彼此相交。Jaic、JHQ和Jbicare的切点（用圆圈标记）分别为6、2和1。

以曲线JHQA为例。切点的意思是BC对k的惩罚大于HQ≤ 2，否则k>2。给定样本量N，Jbcand和Jhqcurves之间的切点位于Tbc:hq=2L（N）max/（c log N）。例如，我们选择L（N）max=日志N. 如果真正的顺序确定，则对于所有足够大的N，Tbc:HQ将大于L。换句话说，当N趋于完整时，将有一个非常大的区域，即1≤ L≤ Tbc:hq，Lfalls进入的地方，以及BC比hq处罚更多的地方。因此，桥梁标准渐进地不会超过fit。另一方面，桥梁标准不会低于fit，因为较大的阶次，L1 2 3 4 5 60.010.0150.020.0250.030.0350.040.0450.05图2：显示桥梁标准（实心）与Akaike信息标准（短划线）、Hannan和Q uinn标准（点划线）的惩罚曲线的图表，贝叶斯信息准则（小破折号）和N=1000的切点（圆圈）。阻止f选择L+1和L的惩罚是2L（N）max/N，对于所有足够大的N，该惩罚将小于（5）中定义的任何固定正数。因此，桥接标准是一致的。不等式（2L（N）max/N）/k≤ 2/N适用于任何1≤ K≤ L（N）最大值保证BC惩罚比AIC更多，因此即使在小N或大L的情况下，它也不会导致太多的过度拟合。由于BC惩罚更大的阶数较少，最终变得类似于AIC，因此在适当的条件下，它能够共享AIC的渐近最优性。为了进一步说明为什么桥梁标准通常能很好地工作，我们对模型选择程序进行了以下直观的论证。正如我们将看到的，BC的弯曲曲线很好地连接了BIC（或HQ）和AIC，从而实现了欠融资和过度融资风险之间的良好平衡。

第4节将建立严格的理论。直觉论证：为了获得进一步的直觉，我们考虑一种昆虫正在爬坡，这是由从起点L=1到最大可能值m=L（N）max的特殊惩罚曲线J（L）决定的（图3）。图3（a）显示了Jaic（L）（黑色小破折号）和Jhq（L）（蓝色破折号）。为了简洁起见，我们只画了Jhq（L），因为HQ和BIC这两个高度一致的标准之间没有本质区别。爬升计划和目标：在每一步L，如果昆虫的增益大于其损失，它就会移动到步骤L+1，一旦停止，它就不会再移动。增益是指数据的拟合优度增加（在我们的自回归模型中是^gL+1），损失是指模型复杂度增加的惩罚（是J（L+1）-J（L）），昆虫停止的最后一步用^L表示。目标是设计一个适当的坡度，使昆虫停止在“预期目的地”，这将在下文详述。两个斜率的切点：一个斜率可以写成asPLk=1tk。昆虫的性能由每个增量tk决定，如果斜率被任何不依赖于L的常数移动，则不会受到影响。因此，我们将曲线Jaic（L）和Jhq（L）移动到与Jbc（L）的对数曲线相切的位置。根据我们对Jbc（L）的设计，Jbc（L）和Jaic（L）、Jhq（L）曲线之间的切点分别位于步骤Tbc:aic=L（N）max，Tbc:hq=2L（N）max/（c log N）。在步骤Tbc:hq之前，BC斜坡上的昆虫在每次移动中比HQslope上的昆虫承受更多的损失，而在步骤Tbc:hq之后则相反。具体情况：现在我们将两种不同的情况进行分类：理想的目的地在很多步骤之内，理想的目的地在很多步骤之外。在前一种情况下，有一个明确的目标步骤L。

良好的坡度设计应确保昆虫在L步停止。在这种情况下，已知HQslope良好，而AIC坡度不好。事实上，它可以用F-ig来说明。3（a），其中Lis Op（1）/N后的增益小于Θ（loglogn）/N（通常由重对数定律计算），而大于O（1）/N，具有足够大N的正概率。那么BC呢？值得一提的是，我们关于昆虫的论证隐含地建立在N上，一致性的概念是关于大N渐近性的。假设N持续增加，上述切线步长Tbc:hq不仅比lbc大，而且在logn=o（L（N）max）的情况下也会发散到单位。换句话说，有一个“黑洞”区域[0，Tbc:hq]（图3（b）和（c）），其中BC斜率是陡峭的图3：（a）曲线Jaic（蓝色虚线）和Jhq（黑色小虚线），（b）Jbc（红色粗线）和Jaic，Jhq的联合图，通过将后两个移动到Jbcat切线点STBC:aic，Tbc:hq（圆圈），其中Tbc:aic<L，（c）情节（b）到场景的演变≥ Las N比HQ坡度增大，并且逐渐增大。这会导致两个后果：首先，昆虫会发现自己越来越难以逃离该区域，因为移动每一步所增加的损失需要由它的增益来补偿。以自回归模型为例。移动每一步后，增益近似为独立的χ/N，其期望值小于损失2/N；因此，随着步数的增加，累积收益之和大于损失之和的概率迅速降低到零。第二，昆虫一旦被困在黑洞中，在BC斜坡上前进比在HQ斜坡上前进更困难。

因为在HQ斜坡上，昆虫不会移动超过L级（由于HQ的强烈一致性），所以在BC斜坡上，昆虫也不会移动。另一方面，昆虫不会在e步L之前停止。这是因为两个事实：第一，阻止前进的最大惩罚是Jbc（1）=o（1）；第二，当L<Mis时，昆虫从步骤L移动到步骤L+1的增益通常至少为Θ（1）+op（1）（在自回归模型中，当ψL+1，L+16=0时为真）。因此，昆虫停在BC斜坡上的台阶上。错误规定的原因是：Tbc:aic=L（N）最大的BC坡度总是比aic坡度倾斜，这样昆虫就不会移动太远。因为BC斜坡呈凹形，昆虫越走越容易。在适当的目的地趋于完整的情况下，昆虫很快就会移动到斜坡的尾部。从图3（c）中可以看出，在尾部，坡度设计为与AIC相似（并且在结束步骤L=L（N）max时，坡度精确为AIC），因此可以分享AIC的共有最优性。总之，BC井的弯曲曲线将AIC和HQ连接起来，从而在欠安装和过度安装风险之间实现良好的平衡。我们强调，上述论点与严格的证明并不完全相符，因为昆虫的决策是按顺序进行的，而上述标准通过全局最优选择^L。然而，这种昆虫的论点确实揭示了为什么BC很可能以我们所希望的方式运行：在基础模型明确规定的情况下，自动表现出一致的行为，而在其他情况下，它是一个有效的模型，避免了分析师最初偏见造成的风险。

除此之外，上述公式并没有假定任何具体的概率模型，因此它似乎是其他统计推断的一个有希望的标准。4.桥梁标准的性能在本节中，我们对（13）中提出的桥梁标准的一致性和有效性建立了严格的理论。我们分别在4.1和4.2小节中证明了它的相合性和渐近有效性。在4.3小节中，我们提出了一个扩展的桥接标准及其相关的两步策略，以放松一些技术假设。鉴于上述直观的论点，扩展标准的工作方式如下。在AIC斜坡上插入气候，并记录其终点^Laic；修改BC增量jbc（L）- Jbc（L）- 1） 从2L（N）max/（NL）到2MN/（NL），其中MN略小于L（N）max；让昆虫在边界为^Laic的改良BC斜坡上再次移动。通过这种方式，如果昆虫在AIC斜坡上，它仍然可以在最后一刻停止，或者更快地向莱卡斯末端移动。4.1一致性EOREM 2假设时间序列da ta由有限阶自回归生成，并且→∞L（N）最大日志N=∞, 画→∞L（N）maxN=0。（14） 那么bri-dge标准是一致的。此外，如果^L是从不依赖于N且包含真阶L的整数集合中选择的，则^L不仅在概率上收敛，而且几乎肯定会收敛到L。备注1定理2证明了桥准则在温和假设下的一致性。值得一提的是，分析师不承担指定排除真实顺序L的最终候选集{1，…，Lmax}的风险。因为随着样本规模越来越大，任何最终真实顺序都将被纳入候选，并根据桥接标准进行评估。

补充资料中给出了定理2的证明。注2：定理2的证明可以这样改编：limN→∞L（N）最大/对数N=∞ 不需要证明一致性。这是为了证明^L（如果有）的强一致性，而不是任何特定的候选集，包括指定的真实顺序。然而，各种数值实验表明，当应用于候选集{1，…，L（N）max}时，该条件在有限样本量下极大地提高了桥接准则的性能。4.2渐近效率我们引入以下符号。矩阵范数k·k由kMk=supkyk=1kMyk定义，其中k·k表示列向量的欧氏范数。对于正定义矩阵，k·kai的范数为kykA=（yTAy）1/2。如果两个向量y=[y1,1，…，y1，L]Tandy=[y2,1，…，y2，L]的皮重大小不同，那么我们可以通过以下方式修改定义来减去这些向量。给定y，y，通过附加max{L，L}将y′，y′定义为sizeL′=max{L，L}的向量-min{L，L}0到y的尾部。我们定义y的减法，在这种情况下为y′-y′。类似地，如果向量y的大小小于大小为k×k的正有限矩阵a，则KYKAI与ky‘kAwhere y’的大小相同，在y的尾部加上零。我们通常对一步预测误差感兴趣，如果指定了如下所述的不匹配滤波器（Akaike 1969；Akaike 1970）。假设数据a由（1）中的过滤器ψLas生成。使用滤波器∧lmin的一步预测误差称为失配误差[xn，…，xn-L′+1]（ψL）-∧L）= k∧L-ψLkΓL′。（15） 其中L′=max{L，L}和ΓL′是真自回归的L′×L′协方差矩阵，即它的（i，j）第i个元素是γi-j、 本节需要以下假设。假设1数据{xn:n=1。

，N}由递归xn+ψ生成∞,1xn-1+ψ∞,2xn-2+·=εn，式中ψ∞,J∈ R、 P∞j=1 |ψ∞,j|<∞, εn是独立的，并且根据n（0，σ）和相关的幂级数ψ（z）=1+ψ分布∞,1z-1+ψ∞,2z-2+····························收敛且不为零≥ 1.假设2{L（N）max}是一个正整数序列，使得L（N）max→ ∞ 当N趋于完整时，L（N）max=o（N1/2）。假设3自回归过程的顺序（或过滤器ψ的大小）∞) 就在最后。备注3假设1是一个比我们在前几节中所做的更一般的假设。在假设1下，我们有0<γ=kΓk≤ kΓk≤ ··· ≤ kΓk，其中Γ=[γi-j]∞i、 j=1在有限维协方差矩阵中，范数kΓk=supkyk=1hP∞i=1{P∞j=1γi-jyj}i1/2。假设3在我们将要介绍的几个技术引理（Shibata 1980）中被假设。对于这些引理和本文的范围，假设3可以简化为允许自回归过程的顺序（用byL（N）表示）是有限的但取决于N的情况。换句话说，数据生成过程随N而变化。在这种情况下，假设1中出现的相关幂级数可以写成ψN（z）=1+ψL（N），1z-1+·ψL（N），L（N）z-L（N），这个假设被替换为：ψN（z）不是零f或| z |≥ 1，它随着N趋于一致而收敛；附加要求是L的分歧*N（下文介绍）因为N趋于完整。在这一部分中，我们证明了所提出的顺序选择准则在一定条件下渐近地最小化失配误差。定义成本函数CN（L）=Lσ/N+kψL- Ψ∞kΓ。如果使用L阶估计滤波器进行预测，则可将其视为预期失配误差。事实上，在假设1-3下，它认为（Shibata 1980，命题3.2）limN→∞max1≤L≤L（N）maxk^ψL- Ψ∞kΓCN（L）-1.= 概率为0。