桥接AIC和BIC：一种新的自回归标准

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

英文标题：
《Bridging AIC and BIC: a new criterion for autoregression》
---
作者：
Jie Ding, Vahid Tarokh, Yuhong Yang
---
最新提交年份：
2016
---
英文摘要：
  We introduce a new criterion to determine the order of an autoregressive model fitted to time series data. It has the benefits of the two well-known model selection techniques, the Akaike information criterion and the Bayesian information criterion. When the data is generated from a finite order autoregression, the Bayesian information criterion is known to be consistent, and so is the new criterion. When the true order is infinity or suitably high with respect to the sample size, the Akaike information criterion is known to be efficient in the sense that its prediction performance is asymptotically equivalent to the best offered by the candidate models; in this case, the new criterion behaves in a similar manner. Different from the two classical criteria, the proposed criterion adaptively achieves either consistency or efficiency depending on the underlying true model. In practice where the observed time series is given without any prior information about the model specification, the proposed order selection criterion is more flexible and robust compared with classical approaches. Numerical results are presented demonstrating the adaptivity of the proposed technique when applied to various datasets.
---
中文摘要：
我们引入了一个新的标准来确定时间序列数据的自回归模型的阶数。它具有两种著名的模型选择技术的优点，即Akaike信息准则和贝叶斯信息准则。当数据由有限阶自回归生成时，贝叶斯信息准则和新准则是一致的。当真实阶数无穷大或相对于样本大小适当高时，已知Akaike信息准则是有效的，因为其预测性能渐近等同于候选模型提供的最佳值；在这种情况下，新标准的行为方式类似。与两个经典准则不同，该准则根据底层真实模型自适应地实现一致性或效率。在实际应用中，当观测到的时间序列没有任何关于模型规格的先验信息时，与经典方法相比，所提出的顺序选择准则更灵活、更稳健。数值结果表明，该方法适用于各种数据集。
---
分类信息：

一级分类：Mathematics        数学
二级分类：Statistics Theory        统计理论
分类描述：Applied, computational and theoretical statistics: e.g. statistical inference, regression, time series, multivariate analysis, data analysis, Markov chain Monte Carlo, design of experiments, case studies
应用统计、计算统计和理论统计：例如统计推断、回归、时间序列、多元分析、数据分析、马尔可夫链蒙特卡罗、实验设计、案例研究
--
一级分类：Quantitative Finance        数量金融学
二级分类：Economics        经济学
分类描述：q-fin.EC is an alias for econ.GN. Economics, including micro and macro economics, international economics, theory of the firm, labor economics, and other economic topics outside finance
q-fin.ec是econ.gn的别名。经济学，包括微观和宏观经济学、国际经济学、企业理论、劳动经济学和其他金融以外的经济专题
--
一级分类：Statistics        统计学
二级分类：Machine Learning        机器学习
分类描述：Covers machine learning papers (supervised, unsupervised, semi-supervised learning, graphical models, reinforcement learning, bandits, high dimensional inference, etc.) with a statistical or theoretical grounding
覆盖机器学习论文（监督，无监督，半监督学习，图形模型，强化学习，强盗，高维推理等）与统计或理论基础
--
一级分类：Statistics        统计学
二级分类：Statistics Theory        统计理论
分类描述：stat.TH is an alias for math.ST. Asymptotics, Bayesian Inference, Decision Theory, Estimation, Foundations, Inference, Testing.
Stat.Th是Math.St的别名。渐近，贝叶斯推论，决策理论，估计，基础，推论，检验。
--

---
PDF下载：
--> Bridging_AIC_and_BIC:_a_new_criterion_for_autoregression.pdf (641.59 KB)

2022-5-8 21:53:30 上传

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：AIC BIC 自回归 Quantitative Multivariate

桥接AIC和BIC：自回归的新标准哈佛大学工程与应用科学学院瓦希德·塔罗克什杰丁明尼索塔大学洪洋统计学院摘要我们引入了一个新的标准来确定适用于时间序列数据的自回归模型的阶数。它得益于两种著名的模型选择技术，即Akaike信息准则和贝叶斯信息准则。当数据由有限阶自回归生成时，已知贝叶斯信息准则是一致的，新准则也是一致的。当trueorder在样本量方面是完整的或适当高的，Akaike通知标准已知是有效的，因为它的预测性能在某种意义上等同于候选模型的最佳效果；在这种情况下，新标准的行为方式类似。与两个经典标准不同，所提出的标准根据基础真实模型自适应地实现一致性或效率。在实际应用中，如果观察到的时间是在没有任何关于模型规格的先验信息的情况下给出的，那么与经典方法相比，建议的顺序选择标准更灵活、更稳健。数值结果表明，当应用于各种数据集时，所提出的技术具有适应性。关键词：适应性；AIC；自回归模型；BIC；一致性效率；模型选择；参数指数1。引言在自回归模型的实际情况下，模型的顺序通常是未知的。根据不同的哲学，已经提出了许多顺序选择方法。Anderson的多重决策程序（Anderson 1962）在时间序列的偏自相关为零时进行顺序测试。

Akaike（1969）提出的最终预测误差标准旨在将估计值应用于另一个独立生成的数据集时的一步预测误差最小化。Bhansali&Downham（1977）通过在公式中用参数α替换2，推广了最终预测误差准则，并证明了选择正确阶数的渐近概率随着α的增加而增加。著名的Akaike信息准则AIC（Akaike 1998）是通过最小化真实分布和候选模型估计之间的Kullback-Leibler分歧而得出的。还考虑了AIC的一些变体，例如修改后的Akaikei信息标准，该标准将常数2替换为不同的正数（Broersen 2000）。尽管如此，Akaike（1979）在贝叶斯设置中认为，在实际情况下，原始AIC比其变量更合理。Hurvich&Tsai（1989）针对样本量较小的情况提出了修正的AIC。另一种流行的方法是（Schwa r z 1978）提出的贝叶斯信息准则BIC，其目的是选择一个最大化后验模型概率的模型。Hanna n&Quinn（1979）提出了一个标准HQ，用c log n（c>1）替换BIC中的对数n项，其中n是样本量，他们表明，这是保证所选顺序强一致性的最小惩罚项。重点信息标准是另一种考虑到统计分析特定目的的显著方法，通过估计每个候选模型的兴趣风险量（Claeskens&Hjort 2 003；Claeskens，Croux&Van Kerckhoven 2007）。

自回归顺序选择的其他方法包括标准自回归传递函数法（Parzen 1974）、预测最小二乘原理（Rissanen 1986；Hemerly&Davis 1989）、组合信息标准（Broersen 2000）；更多参考文献请参见德古伊耶、亚伯拉罕、古尔德和罗宾逊（1985）和邵（1997）。尽管有大量关于自回归模型的文献，但最常见的顺序选择标准是AIC和BIC。在本文中，用于拟合的特定模型类是ordersL=1，对于某些规定的自然数Lmax。就真实数据生成过程而言，如果数据是从自回归的有限阶生成的，且真实阶数不大于Lmax，则模型类被称为指定良好（或参数化），如果不确定，则称为指定错误（或非参数）。众所周知，BIC在特定环境中的顺序选择是一致的。换句话说，随着样本量趋于一致，选择正确顺序的概率趋于一。Akaike信息标准不一致，当样本量趋于一致时，有固定的过度匹配概率（Shibata 1976）。然而，AIC被证明在错误规定的设置中是有效的，而BICis则不是（Shibata 1980）。这里我们称之为顺序选择程序（渐近）有效，前提是其预测性能（就预测和目标条件平均值之间的平方差而言）渐近等同于候选自回归模型的最佳效果。第4.2节给出了效率的严格定义。换句话说，当数据不是由有限阶自回归过程生成时，AIC通常比BIC产生的建模误差更小。

此外，在有限阶自回归或集成自回归过程的相同实现预测方面，AIC fororder selection的渐进效率也得到了很好的证实（Ing&Wei 2005；Ing，Sin&Yu 2012）。在实际应用中，人们通常不知道模型类是否得到了很好的定义。自适应地实现AIC和BIC更好性能的任务在理论上很有趣，在实践中也很有用。朝着这个方向已经有好几次尝试。Yang（2005）考虑了在回归背景下分享AIC和BIC优势的可能性。已经证明，在温和的假设下，任何一致的模型选择标准在估计回归函数的最小收敛速度方面都是次优的。换句话说，AIC和BIC在估计回归函数时，在实现模型选择一致性和最小最大速率最优性方面的矛盾无法解决。但这并不意味着，无论是在规范良好还是规范错误的情况下，都不存在实现点态渐近效率的标准，因为最小值（线性系数的一致性）本质上不同于（点态）效率。在Ing（2007）的杰出工作中，提出了一种结合AIC和类BIC准则的混合选择程序。粗略地说，如果一个BIC-likecriterion在样本大小N下选择相同的模型l(0 < l < 1） 然后，对于高概率（对于大N），模型类是明确的，真实模型已经收敛到，因此使用了类似BIC的标准；否则使用AIC。在某些条件下，混合标准被证明在良好规定和错误规定的情况下都能达到逐点渐近效率。

在使用独立观测估计回归函数时，Yang（2007）提出了一种类似的方法，通过检查BIC是否在不同样本大小下（而不是Ing（2007）仅使用两个样本大小）再次选择同一模型，自适应地实现参数和非参数度量情况下的渐近效率。Liu&Yang（2011）提出了一种基于参数指数的自适应选择NAIC和BIC的方法。在序贯贝叶斯模型平均的背景下，Erven、Gr–unwald&De Rooij（2012）和van der Pas&Gr–unwald（2014）使用了切换分布，以鼓励尽早切换到更好的模型，并对其同时性质提供了有趣的理论理解。交叉验证也被提议作为在AIC和BIC之间选择的一般解决方案。Zhang&Yang（2015）指出，在适当选择数据分割比的情况下，对于AIC和BIC区域，复合riterion渐进地表现为AIC和BIC中更好的一个。本文介绍了一种新的模型选择准则，称为自回归模型的桥接准则（BC）。桥接标准能够解决以下两个问题：首先，给定一个真实的时间序列数据，分析人员通常不知道模型类是否被很好地指定；第二，即使已知模型类是正确的，但顺序（维度）是未知的，因此任何规定的最终候选集都有丢失真实模型的风险。我们证明了当模型类被很好地指定时，BC同时达到一致性，当模型类在某些合理条件下被指定时，BC同时达到渐近有效性。回想一下，对于L阶自回归模型，AIC和BIC的惩罚项与L成正比。

相比之下，BCN的一个关键元素是表达式1+2-1+··+1-1在其处罚期内受雇。正如我们将看到的，正是谐波数“桥接”了AIC和BIC的特性。另一个关键因素是让LMax随样本量增长。我们强调，对于特定的情况，一旦选择了概率接近1的正确顺序，由此产生的预测性能也是渐近最优/有效的。从这个角度来看，该标准在规范良好和规范错误的情况下都达到了渐近效率。本文概述如下。在第2节中，我们对本文考虑的问题进行了模拟，简要介绍了新标准的背景和推导过程。在第三节中，我们提出了桥接标准，并对其进行了直观的解释。我们在第4节中建立了一致性和渐近有效性。第5节给出了数值结果，比较了我们的方法和其他技术的性能。在第4.3节中，我们提出了一个两步策略来自适应选择候选大小Lmax，以便进一步放宽前面章节中建立的定理所要求的条件。为了达到这个目的，我们还扩展了桥判据的表达式。最后，我们在第6.2节中进行了一些讨论。背景2。1符号我们用op（1）和op（1）分别表示概率收敛到零的随机变量和随机有界的随机变量。当c<hN/gN<1/cf时，我们写出hN=Θ（gN），当c<hN/gN<1/cf时，我们写出所有大N的正常数c，当| hN |<cgn时，我们写出hN=O（gN）→∞fN/gN=0，我们把ef=oN（g），或者为了简洁起见，把f=o（g）。允许十、 表示小于than或等于tox的最大整数。

设N（u，σ），B（a，B），χk分别表示密度函数f（x）=exp的正态分布{-（十）- u)/(2σ)}/(√2πσ），密度函数f（x）=xa的β分布-1(1 - x） b-1/B（a，B），其中B（·，·）是β函数，以及具有k个自由度的卡方分布。2.2问题公式化在给定的观测值{xn:n=1，…，n}中，我们考虑以下L（L）阶的自回归模型∈ N） xn+ψL，1xn-1+·ψL，Lxn-L=n，（1）式中ψL，l∈ R(l = 1.五十） ，ψL，L6=0，多项式zL+PL的根l=1ψL，lzL公司-l模量小于1，且εn根据n（0，σ）独立且均匀分布。自回归模型被称为AR（L）模型，[ψL，1，…，ψL，L]被称为稳定的自回归滤波器ψL。让我们注意一下真正的顺序，目前认为是确定的。换句话说，数据是以（1）描述的方式生成的，L=L。当Lis未知时，我们假设{1，…，Lmax}是顺序的候选集。设N=N- Lmax。样本自协方差向量和矩阵分别为^γL=[^γ1,0，…，^γL，0]T，^γL=[^γi，j]Li，j=1。式中，γi，j=NPNn=Lmax+1xn-ixn-j（0）≤ i、 j≤ Lmax）。L阶自回归模型的滤波器可通过^ψL=-^Γ-1^γL，（2）产生一致的估计（Box，Jenkins&Reinsel 2011，附录7.5）。一步预测误差为^eL=PNn=Lmax+1（xn+^ψL，1xn）-1+·ψL，Lxn-五十） /N.为了方便起见，我们定义了^e=^γ0,0。AR（L）模型的误差可以通过^eL=^e来计算- ^γTL^-让γi-j=E{xn-ixn-j} （i，j）∈ Z） 是自协方差，ψL=[ψL，1，…，ψL，L]是L阶的最佳线性预测器。换句话说，ψL（L≥ 1） 是of el=minψ的最小值*五十、 1，。。。，ψ*五十、 L∈重新（xn+ψ）*五十、 1xn-1+ ··· + ψ*五十、 Lxn-L）, （4） 其中，对于平稳过程{Xn}取期望值。此外，wede fine e=γ。

通过去掉帽子，可以从一组类似于（2）-（3）的方程中计算出ψ-El的值(∧) 从所有参数。给定一个观测到的时间序列，问题是如何识别与数据相匹配的自回归模型的未知阶数。自回归顺序选择的Akaike信息准则和Bayesian信息准则是选择^L（1）≤^L≤ Lmax）分别最小化了数量aic（N，L）=log^eL+2L/N，bic（N，L）=log^eL+L log（N）/N。在以下两小节中，我们介绍了自然导致桥接标准的动机和观点。第3节和第4.2.3节建立了BC的形式表达式及其在渐近区域中的性能。与AIC或BIC不同，新标准最初是从一些自回归的角度推导出来的。简而言之，它最初不是通过假设大自然从非信息性均匀分布中随机抽取真实自回归系数，并通过在顺序上的一系列假设检验中确定I型错误而产生的。假设我们用（1）生成一个时间序列来模拟AR（L）过程。显然，^e≥ ··· ≥ ^eL-1.≥ ^eL≥ ^eL+1≥ ··· ≥ ^eLmax。由于（3）和^ψL的一致性，通常^eLis大，对于L<Land小得多≥ L.如果我们画出L=1的^eLagainst lf，Lmax，曲线通常在L<Land时减小，在L>L时几乎变平。直观地说，可以选择^L的顺序，使^eL/^eL-1对于L>1，其结果比其前辈“不那么重要”。我们使用AR（L）对AR（L）定义了经验和理论上的收益-1） ，分别为^gL=log^eL-1^eL, gL=对数埃尔-1eL. （5） 假设数据是由稳定的过滤器ψLof阶L生成的。

对于任何大于Land的正整数L不依赖于N，Anderson（1971，定理5.6.2和5.6.3）证明：√N[^ψL+1，L+1，…，^ψL，L]是一个极限联合正态分布N（0，I），因为N趋于完整，其中I表示单位矩阵。此外，随机变量N^gL（L=L+1，…，Lmax）是渐近独立的，并根据t oχ分布，其中Lmax>Lis是一个不依赖于N的常数（Shibata 1976）。接下来，我们将AIC和BIC和一系列催眠测试联系起来，重新审视它们。以下论点的目的是激励我们的新标准。测试：我们选择一个固定的数字0<q<1作为显著性水平（或I型错误），并选择阈值s，使q=pr（W>s），其中W~ χ. 考虑假设testH:L=L-1小时：1小时≥ L.（6）如果N^gL>s（或等效s/N- ^gL<0），我们拒绝手动替换L- 1乘1，因为L=2，3。直到L=Lmaxor他才被弹射出去。这种低密度测试技术的一个局限性是它可能会产生极值（Akaike 1970）。一个简单的替代解决方案是选择L，这样s/N的聚合- ^g，序列号- ^L最小化，即选择全局最小值：^L=ar g min1≤L≤LmaxLXk=1锡- ^gk= log^eL+sLN- log^e，（7）其目标函数可被视为帮助的好处加上模型复杂性的惩罚。处罚期限是阈值和的总和-log^e.术语-对数不依赖于L，因此它对产生的结果没有影响，可以忽略不计。Akaike信息标准有一个惩罚项2L/N，因此它对应于上述假设t ests，q=0.1573。贝叶斯信息准则有一个惩罚项L log（N）/N。它对应于具有变化q的假设检验。