自适应套索的Oracle性质和有限样本推断

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

英文标题：
《Oracle Properties and Finite Sample Inference of the Adaptive Lasso for
  Time Series Regression Models》
---
作者：
Francesco Audrino and Lorenzo Camponovo
---
最新提交年份：
2013
---
英文摘要：
  We derive new theoretical results on the properties of the adaptive least absolute shrinkage and selection operator (adaptive lasso) for time series regression models. In particular, we investigate the question of how to conduct finite sample inference on the parameters given an adaptive lasso model for some fixed value of the shrinkage parameter. Central in this study is the test of the hypothesis that a given adaptive lasso parameter equals zero, which therefore tests for a false positive. To this end we construct a simple testing procedure and show, theoretically and empirically through extensive Monte Carlo simulations, that the adaptive lasso combines efficient parameter estimation, variable selection, and valid finite sample inference in one step. Moreover, we analytically derive a bias correction factor that is able to significantly improve the empirical coverage of the test on the active variables. Finally, we apply the introduced testing procedure to investigate the relation between the short rate dynamics and the economy, thereby providing a statistical foundation (from a model choice perspective) to the classic Taylor rule monetary policy model.
---
中文摘要：
我们对时间序列回归模型的自适应最小绝对收缩和选择算子（自适应lasso）的性质得出了新的理论结果。特别地，我们研究了如何对给定的参数进行有限样本推断的问题，该参数是针对收缩参数的某个固定值的自适应lasso模型。这项研究的核心是对假设的检验，即给定的自适应套索参数等于零，从而检验假阳性。为此，我们构建了一个简单的测试程序，并通过广泛的蒙特卡罗模拟从理论和经验上证明，自适应套索在一步中结合了有效的参数估计、变量选择和有效的有限样本推理。此外，我们通过分析得出了一个偏差修正系数，该系数能够显著提高主动变量测试的经验覆盖率。最后，我们应用引入的测试程序来研究短期利率动态与经济之间的关系，从而为经典的泰勒规则货币政策模型提供统计基础（从模型选择的角度）。
---
分类信息：

一级分类：Statistics        统计学
二级分类：Methodology        方法论
分类描述：Design, Surveys, Model Selection, Multiple Testing, Multivariate Methods, Signal and Image Processing, Time Series, Smoothing, Spatial Statistics, Survival Analysis, Nonparametric and Semiparametric Methods
设计，调查，模型选择，多重检验，多元方法，信号和图像处理，时间序列，平滑，空间统计，生存分析，非参数和半参数方法
--
一级分类：Quantitative Finance        数量金融学
二级分类：General Finance        一般财务
分类描述：Development of general quantitative methodologies with applications in finance
通用定量方法的发展及其在金融中的应用
--

---
PDF下载：
--> Oracle_Properties_and_Finite_Sample_Inference_of_the_Adaptive_Lasso_for_Time_Ser.pdf (576.83 KB)

2022-5-5 06:21:25 上传

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：Oracle CLE ACL Quantitative Multivariate

时间序列回归模型自适应套索的Oracle性质和有限样本推断Francesco Audrino*圣加连伦佐·坎波诺沃大学+圣加连德大学2013年12月摘要我们对时间序列回归模型的自适应最小绝对收缩和选择算子（自适应套索）的性质得出了新的理论结果。特别是，我们研究了如何对参数进行有限样本推断的问题，为收缩参数的某些固定值建立了自适应套索模型。这项研究的核心是检验一个假设，即给定的自适应套索参数等于零，从而检验假阳性。为此，我们构建了一个简单的测试程序，并通过广泛的蒙特卡罗模拟从理论和经验上证明，自适应套索在一个步骤中结合了有效的参数估计、变量选择和有效的有限样本推断。此外，我们通过分析得出了一个偏差修正系数，该系数能够显著提高主动变量测试的经验覆盖率。最后，我们应用引入的测试程序来研究短期利率动态与经济之间的关系，从而为经典的泰勒规则货币政策模型提供了统计基础（从模型选择的角度）。JEL分类：C12；C22；E43。关键词：自适应套索；时间序列；甲骨文财产；有限样本推理；泰勒勒夫货币政策模型。*电子邮件：弗朗西斯科。audrino@unisg.ch.地址：瑞士圣加仑9000号Bodanstrasse 6+电子邮件：洛伦佐。camponovo@unisg.ch.

地址：瑞士博丹斯街6号。1简介近年来，大量经济数据的可用性稳步增加。这就提出了一个问题，即如何最好地利用这些信息来重新定义私营行业和学术界使用的基准技术。在这项研究中，我们关注的是如何在具有固定数量候选变量和一般误差分布的经典时间序列回归模型中执行一致变量选择和（有限样本）推断的问题。为此，我们考虑了最近在机器学习界引入的一种技术，它属于收缩方法学（即，遵循将无关变量的系数收缩为零的思想），它已经证明了它的价值，并且正变得越来越流行：Tibshirani（1996）引入的最小绝对收缩和选择算子（lasso），其重新定义的版本称为自适应套索，由邹（2006）提出。套索的主要问题是，它需要一个表示为不可再现条件的条件，这基本上是准确恢复非零系数的必要条件，而在许多情况下，非零系数的限制太大。事实上，不可再现的条件表明套索典型地选择了太多的变量，而所谓的误报是不可避免的。Zou（2006）提出了自适应套索来缓解这个问题，并试图减少误报的数量。此外，自适应lasso估计器还充分体现了Fan和Li（2001）提出的感知中的oracle属性。人们对在一般应用中使用套索式技术的兴趣，例如那些不经济和金融的应用，提出了如何将iid横截面设置的最先进理论结果扩展到时间序列设置的问题。

在需要对活动变量的数量和误差分布进行不同假设和条件的情况下，对这个问题进行研究的最新论文包括：Wang等人（2007年）、Hsu等人（2008年）、Nardiand Rinaldo（2011年）、Song和Bickel（2011年）、Kock和Callot（2012年）、Park和Sakaori（2012年）以及Audrino和Knaus（2012年）。最近提出的两项研究与我们的工作密切相关：Kock（2012）和Medeirosand Mendes（2012）。每种方法都研究了单方程线性时间序列模型中自适应套索估计器的渐近性质：而Kock（2012）更关注在平稳和非平稳自回归模型中使用具有固定数量变量的自适应套索进行一致变量选择所需的条件，Medeiros和Mendes（2012）扩展了上述研究中调查的基本线性模型，以包括外源变量。我们参考Bühlmann和van de Geer（2011）详细讨论了lasso估计量及其在独立同分布（iid）变量横截面环境中的推广。有关更多细节，请参见赵和俞（2006）。变量、非高斯、条件异方差和可能的时间相关误差，以及允许作为样本大小函数增加的变量数量（候选变量和相关变量）。尽管他们的一些结果与本研究的结果相同，但模型和证明的条件基本上（如果不是完全）不同。此外，在本文中，我们进一步讨论了自适应套索，并在两个主要维度上对自适应套索的文献做出了贡献。首先，我们通过引入显式公式，量化了在对时间序列回归中的活动变量进行推断时产生的有限样本偏差。

第二，我们展示了如何对回归中的非活动变量进行推断。特别是，我们引入了一个非常简单的过程来检验给定参数等于零的假设，即相应的变量不属于活动集。我们的理论结果表明，自适应套索可以将高效的参数估计、变量选择和有效的有限样本推理结合在一起。据我们所知，这些都是新的结果。他们将（自适应）套索的用途扩展到变量选择之外，用于在处理大量iid和时间序列数据的领域的广泛应用中执行统计推断（如假设测试和置信区间的构建）。Lockhart等人（2013）最近提出了一些关于套索模型中活动变量重要性的相关研究。尽管如此，他们提出的协方差统计方法在预测变量进入活动集时，沿着拉索解路径测试其重要性，与我们在本研究中提出的方法有很大不同。正如洛克哈特所说。（2013）在论文结尾的讨论部分，对于给定λn（即控制收缩量的套索调节参数）的套索模型，如何对活动集中的任何预测值进行显著性检验的问题留给了未来的研究。

最后，Javanmard和Montanari（2013）提出了高斯iid环境下套索的类似方法。利用基于不同变量数量、误差分布和观测数量的数据生成过程的广泛模拟研究，我们调查了偏差校正系数的相关性和引入测试程序的有效性。首先，结果显示了活动变量偏差修正系数在有限样本中的重要性：经验覆盖率显著提高，尤其是系数较小的变量。第二，尽管在结构上保守，但对无效变量系数等于零的无效假设的检验给出了准确的结果，导致了相当小比例的错误拒绝。第三，如果有足够的数据可用，对系数较小的活动变量的测试也会产生令人满意的幂次结果。最后，我们将适应性套索应用于金融经济学中的一个经典问题，这个问题在过去20年里一直在学术界研究：利率与经济状态之间的关系。特别是，我们从一组宏观经济和金融指标中分析哪些变量与解释简单泰勒规则型货币政策模型中的短期利率相关（见Taylor，1993，第202页）。

不足为奇的是，我们发现，自适应ASSO确定的一组活动变量的唯一预测因子是以下三个：一个滞后于短期利率值（考虑到众所周知的短期利率动态持续性，并作为其他宏观经济、货币政策甚至金融变量的代理）、一个通货膨胀指标，以及失业率。这一结果为推动泰勒规则的经典经济直觉提供了纯粹的统计基础，表明美联储（Fed）在高通货膨胀时期或就业高于充分就业水平时提高利率，在相反的情况下降低利率。本文的内容可以概括如下：第2节介绍了我们将要考虑的模型。第3节讨论了时间序列回归的自适应套索的预言性质。在第4节中，我们介绍了统计测试程序，该程序可用于对活跃变量和非活跃变量进行有限样本推断。蒙特卡罗模拟结果见第5节，短期利率预测应用见第6节。最后，第7节得出结论。附录中提供了本文理论的所有证明。2模型和符号考虑平稳线性回归模型Yt=pXi=1ρ*iYt-i+pXi=1γ*iWi，t+pXi=1β*伊克西，t-1+ t、 （1）其中p+p+p=p<∞, Wt=（W1，t，…，Wp，t）是时间t，Xt的协变量向量-1=（X1，t）-1.Xp，t-1） 是时间t的回归向量-1假设预测Yt，这是azero平均误差项和θ*= (ρ*, . . . , ρ*p、 γ*, . . . , γ*p、 β*, . . . , β*p） 是未知的感兴趣的参数。线性回归模型（1）的重要例子包括：自回归模型（当γ*i=0和β*j=0，对于i=1，pand j=1。

，p）；iid线性回归模型（whenSee等人，Clarida等人（2000年）、Ang和Piazzesi（2003年）、Dewachter和Lyrio（2006年）、Moench（2008年）、Ang等人（2008年）、Rudebusch（2010年）和Filipova等人（2013年）。在这一点上，我们有意不引入对协变量和回归器的相关结构的限制，除非排除完美相关。关于WT和Xt的进一步假设-1在下面的OREM 3.1中介绍。ρ*i=0和β*j=0，对于i=1，pand j=1，p） )；和预测回归模型（当ρ*i=0和γ*j=0，对于i=1，pand j=1，p） 。为了简化我们的符号，我们只写θ*= (θ*, . . . , θ*p） ，即我们设置θ*i=ρ*i、 对于i=1，p、 θ*i=γ*我-p、 对于i=p+1，p+p和θ*i=β*我-P-p、 对于i=p+p+1，p+p+p.一种估计未知参数θ的常用方法*依赖于最小二乘法。更准确地说，我们可以引入θ的最小二乘估计量θLS=（θLS，1，…，θLS，p）*定义为^θLS=arg minθnnXt=1（Yt- θZt），其中Zt=（Yt-1.Yt-p、 Wt，Xt-1） n表示样本量。此外，在某些规则性条件下，使用标准技术，我们可以证明√n（^θLS）- θ*) →dN（0，V），即θlsi是θ的一致估计量*具有正态极限分布和协方差矩阵V。设A={i：θ*i6=0}表示非零系数的集合，并假设|A |=q<p。同样地，设^ALS={i:^θ*LS，i6=0}。然后，通常| ALS |=P6=q。因此，尽管对未知参数进行了有效估计，但最小二乘法不能进行可变选择。在iid的背景下，邹（2006）介绍了一种套索程序，它将有效的参数估计和变量选择结合在一起。为了在时间序列回归模型中实现这一目标，我们将套索方法扩展到我们的设置中。

更准确地说，我们引入了θ的自适应套索估计量θAL=（θAL，1，…，θAL，p）*定义为^θAL=arg minθnnXt=1（Yt- θZt）+λnnpXi=1λn，i |θi |，（2）其中λnis为调谐参数，λn，i=1/|θLS，i |。为了简化我们结果的表述，我们只考虑权重λn，i=1/|θLS，i |，而不是邹（2006）提出的更一般的惩罚λ（γ）n，i=1/|θi |γ，其中γ>0和^θ是θ的根n一致估计*i、 例如θ的套索估计*. 然而，通过一些轻微的修改，我们也可以将第3节和第4节中的结果扩展到这个更一般的框架。值得注意的是，（2）中变量的惩罚也取决于最小平方估计^θLS。特别是，最小二乘估计值接近于零的变量更容易受到惩罚。正如邹（2006）在iid上下文中强调的那样，该属性代表了确保有效变量选择的关键条件。在下一节中，我们将推导时间序列回归模型的自适应套索的渐近性质。3.自适应套索的Oracle属性在iid上下文中，邹（2006）介绍的自适应套索程序具有所谓的lasso属性。更准确地说，自适应套索同时执行正确的变量选择，并提供非零系数的有效估计，就好像模型中只包含了相关变量一样。在下一个定理中，我们证明了adaptivelasso在时间序列回归模型中也具有这些性质。在介绍主要结果之前，我们首先介绍一些符号。让θ*A=（θ）*A.θ*Aq）表示θ的非零系数的子向量*. 类似地，让^θALS=（^θALS，1，…，^θALS，q）和^θAAL=（^θAAL，1，…，^θAAL，q）表示θ的最小二乘和自适应套索估计*A.此外，设Va为^θALS的渐近协方差矩阵。

最后，让^AAL={i:^θAL，i6=0}。下一个定理推导了自适应套索的预言性质。定理3.1。设p+p+p=p<∞. 假设{Yt}和{Zt}是静态进程，比如npnt=1ZtZt→prC，其中C是满秩的非随机矩阵，以及√nPnt=1tZt→dN（0，Ohm), 对于某些协方差矩阵Ohm. 如果（i）λn→ +∞ 和（ii）λn√N→ 0，然后：（I）变量选择：limn→∞P（^AAL=A）=1。（二） 限额分配：√N^θAAL- θ*A.+^bAAL→dN（0，VA），其中偏差项由^bAAL=nnXi=1ZAtZ0At！-1·λn√nλAn，1符号（θAAL，1），λn√nλAn，qsign（^θAAL，q）,ZAtis是非零系数zt的子向量，λAn，i=1/|^θALS，i |，i=1，q、 定理3.1中的假设是证明一致性和推导最小二乘估计量^θLS的极限分布所需的温和条件。定理3.1的陈述（I）表明，自适应套索也在时间序列设置中执行正确的变量选择，即自适应套索渐近识别θ的非零系数的子向量*. 此外，在表（II）中，我们推导了极限分布。特别是，我们注意到自适应套索具有与最小二乘估计相同的极限分布。因此，自适应套索在一步中执行变量选择和有效的参数估计。上面讨论的甲骨文属性（I）和（II）与inKock（2012）和Medeiros and Mendes（2012）所示的结果一致，这些结果是使用不同的目标和证据得出的。此外，除了这些研究之外，在声明（II）中，我们还提供了对活动变量进行推理时产生的偏差项^bAALthat的明确公式。