正则化回归模型中的偏差感知推理

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

英文标题：
《Bias-Aware Inference in Regularized Regression Models》
---
作者：
Timothy B. Armstrong and Michal Koles\\\'ar and Soonwoo Kwon
---
最新提交年份：
2020
---
英文摘要：
  We consider inference on a regression coefficient under a constraint on the magnitude of the control coefficients. We show that a class of estimators based on an auxiliary regularized regression of the regressor of interest on control variables exactly solves a tradeoff between worst-case bias and variance. We derive \"bias-aware\" confidence intervals (CIs) based on these estimators, which take into account possible bias when forming the critical value. We show that these estimators and CIs are near-optimal in finite samples for mean squared error and CI length. Our finite-sample results are based on an idealized setting with normal regression errors with known homoskedastic variance, and we provide conditions for asymptotic validity with unknown and possibly heteroskedastic error distribution. Focusing on the case where the constraint on the magnitude of control coefficients is based on an $\\ell_p$ norm ($p\\ge 1$), we derive rates of convergence for optimal estimators and CIs under high-dimensional asymptotics that allow the number of regressors to increase more quickly than the number of observations.
---
中文摘要：
我们考虑在控制系数大小的约束下对回归系数的推断。我们证明了一类基于控制变量相关回归子的辅助正则回归的估计量精确地解决了最坏情况偏差和方差之间的折衷。我们基于这些估计器推导出“偏差感知”置信区间（CI），在形成临界值时考虑了可能的偏差。我们证明，对于均方误差和CI长度，这些估计量和CI在有限样本中是接近最优的。我们的有限样本结果基于正态回归误差和已知同态方差的理想设置，我们提供了未知和可能异方差误差分布的渐近有效性条件。针对控制系数大小的约束基于$\\ell_p$范数（$p\\ge 1$）的情况，我们推导了高维渐近条件下最优估计量和CI的收敛速度，这使得回归器的数量比观测值的数量增加得更快。
---
分类信息：

一级分类：Economics        经济学
二级分类：Econometrics        计量经济学
分类描述：Econometric Theory, Micro-Econometrics, Macro-Econometrics, Empirical Content of Economic Relations discovered via New Methods, Methodological Aspects of the Application of Statistical Inference to Economic Data.
计量经济学理论，微观计量经济学，宏观计量经济学，通过新方法发现的经济关系的实证内容，统计推论应用于经济数据的方法论方面。
--
一级分类：Statistics        统计学
二级分类：Methodology        方法论
分类描述：Design, Surveys, Model Selection, Multiple Testing, Multivariate Methods, Signal and Image Processing, Time Series, Smoothing, Spatial Statistics, Survival Analysis, Nonparametric and Semiparametric Methods
设计，调查，模型选择，多重检验，多元方法，信号和图像处理，时间序列，平滑，空间统计，生存分析，非参数和半参数方法
--

---
PDF下载：
--> Bias-Aware_Inference_in_Regularized_Regression_Models.pdf (454 KB)

2022-4-28 16:05:17 上传

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：回归模型 正则化 econometrics coefficients observations

正则化回归模型中的偏差感知推理*Timo thy B.Armstrong+耶鲁大学Michal Koles\'ar大学校长宋宇权耶鲁大学2020年12月29日摘要我们考虑在控制系数大小的约束下对回归系数的推断。我们证明了一类基于对控制变量感兴趣的回归器的辅助正则回归的估计量b精确地解决了最坏情况偏差和方差之间的一个偏差。我们根据这些估计器得出“偏差感知”置信区间（CI），其中考虑了构成临界值的可能偏差。我们证明，对于平均误差和CI长度，这些估计量和CI在有限样本中接近最优。我们的有限样本结果基于正态回归误差和已知同方差的理想设置，我们提供了未知和可能的异方差分布的渐近有效性条件。关注控制系数大小的约束基于lpnorm（p≥ 1） 在高维渐近条件下，我们得到了最优估计和CI的收敛速度，这使得回归器的数量比观测值的数量增长得更快。*本文的部分内容包括工作文件阿姆斯特朗和科尔斯ar（2016）第4节中的材料，该文件在最终出版版本（阿姆斯特朗和科尔斯ar，2018年）中取出。这篇文章的一个更清晰的版本以“正则化回归模型中的最优推理”为题分发我们感谢MarkLi和Ulrich M¨uller提供他们的代码。

Koles\'ar感谢斯隆研究奖学金的支持。+电子邮件：蒂莫西。armstrong@yale.edu——电子邮件：mkolesar@princeton.edu§电子邮件：soonwoo。kwon@yale.edu1在产品中，我们对线性回归模型中的标量系数β的估计和推断感兴趣，i=wiβ+z′iγ+ε，i=1，n、 （1）其中控制的k向量可能较大。在这种情况下，经典的普通最小二乘法（O LS）估计量的方差太大，无法产生有用的结果，而且当k>n时，它甚至没有定义。为了改善这一点，正则化回归文献考虑修改OLS目标函数以惩罚较大的γ值，从而以增加偏差为代价降低方差。这些方法中最流行的是使用套索（Tibshirani，1996）或其他不同的套索l惩罚（例如，坎德斯和陶，2007；贝洛尼等人，2011）。有大量文献（参见B–uhlmann和van de Geer，2011年的综述）表明，在稀疏γ假设下，这些估计值具有良好的均方误差（MSE）性质。为了进行推断，几篇论文提出了基于“双套索”估计量的CIs（见Belloni等人，2014年；Javanmard和Montanari，2014年；van de Geer等人，2014年；Zhang和Zhang，2014年），其渐近校正依赖于γ稀疏性的速率条件。然而，在经济学的许多应用中，稀疏性假设可能并不令人信服。此外，尚不清楚这种方法在给定的有限样本中隐含着什么样的稀疏性约束。在本文中，我们采用了不同的方法。我们的方法基于对控制系数的大小施加先验界，使用惩罚函数Pen（·）形式化：我们假设Pen（γ）≤ C

在我们领先的产品规格中，我们认为这是一种惩罚lpnorm，但我们的框架可以包含γ的任何限制，将其置于凸对称集中。例如，如果z′iγ是某个光滑函数的基近似，我们可以定义Pen（γ）以包含该函数导数的边界。正则参数C起着类似于稀疏界的作用。在已知的高斯方差假设下，我们得到了理想的方差估计。我们还研究了当k>> n、 最后，我们讨论了使用异方差估计来形成我们的CI的可行版本，以及它们的符号有效性的条件。我们的主要有限样本结果表明，这类估计器精确地解决了问题。虽然我们排除了稀疏约束（非凸约束），但我们的结果对这种情况也有影响。有关讨论和比较，请参见第5节。最坏情况下的偏差和方差之间的权衡可以通过以下方法获得：（1）使用Pen（·）作为权重λ的惩罚函数回归wion-Zi，然后（2）使用该回归的残差作为工具回归Yion-Zi。基于这些估计器的CI可以通过使用包含估计器最坏情况偏差的临界值来构建，我们表明，该临界值可以作为步骤（1）中正则化回归的副产品自动获得。这些CI是“偏差感知”的，因为它们解释了估计器的潜在有限样本偏差，因此在理想高斯设置中，它们在有限样本中是有效的。

我们展示了如何选择调谐参数λ来优化结果估计器的均方误差，或者优化结果CI的长度。我们还考虑了偏差感知CI在高维渐近条件下的行为>> n、 和（wi，z′i′）是独立于i的，方差矩阵的特征值从零开始并在单位内。我们推导了当Pen（γ）是一个常数时，最优CI收缩的速率lpnorm。我们证明了，在k>> n和Cdoes不随n收缩，最优CI收缩比n慢-1/2，因此bia项渐近占主导地位。此外，我们还表明l在这种情况下，即使有一个国家也无法提高这一比率l在wion-zi的回归中受到约束，并且在这两个回归中都有一定程度的稀疏性。作为我们方法的一个关键输入，我们要求研究人员明确指定约束Pen（γ）大小的规则参数C。我们的效率范围表明，在形成CI时，自动选择C是不可能的。因此，我们建议采用灵敏度分析的形式，并报告由C的最大值给出的“细分”值，以使给定的结果（如拒绝特定的零形合）成立。我们讨论了如何通过将C与回归R联系起来来指导C的选择，并提出了一个较低的C的CI，该CI可用作规格检查，以确保cho值不会太低。正如我们在第5节中进一步讨论的那样。2.不选择规则约束的CI（例如C，或者对于基于稀疏性的方法，稀疏界）显式涉及这些参数的隐式选择。我们的有限样本方法的优点是使这些选择明确。

这确保了我们的覆盖率保证和效率界限不只是基于在特定样本中可能难以评估的调整参数的“渐进承诺”。我们的结果与几股轻时代的理论有关。我们的程序和效率与inIbragimov和Khas’minskii（1985年）、Donoho（1994年）、Low（1995年）以及Armstrong和Koles’a r（2018年）开发的凸高斯模型中线性泛函的一般理论有很大关系。特别是，最优估计值在结果上是线性的，CI是以此类估计值为中心的“双线性”固定长度置信区间（FL CI）。我们的研究结果补充了近年来将这种方法应用于各种美国环境的文献，包括Armstrong和Koles\'ar（2020a，b），Koles\'ar和Rothe（2018），Imbens和Wager（2019），Rambachanand Roth（2019），Noack和Rothe（2020），以及Kwon和Kwon（2020）。Muralidharan等人（2020年）将本文中的方法应用于阶乘设计和交互效应边界的实验。我们推导的估计量的类别，尤其是结合wion-zito估计β的回归的想法，与针对这个问题提出的各种估计量有关，至少可以追溯到Robinson（1988）关于部分线性模型的工作。我们的结果为这一想法提供了一个新的有限样本调整，以及给出该回归的最佳形式和包含该回归的最佳估计量的精确结果。我们的结果考虑了Pen（·）的一般形式，它在一些特殊情况下简化为现有的估计量：在这种情况下，我们的结果可以用来推导新的偏差感知CI来伴随这些估计量。Li（1982）的结果表明，当峰值对应于l标准Li和M¨uller（2020）考虑加权lnormPen（γ）=（Pni=1（z′iγ））1/2。

他们采用了一种不同的方法，利用了这个惩罚函数的特殊不变性。Heckman（1988）在部分线性模型中导出了最优线性估计，其中惩罚函数限定了一元非参数回归函数的第一或第二导数。β的估计和CI构造问题不同于使用全局损失估计回归函数本身或整个参数向量的问题。关于后一个问题，请参见Zhang（2013）的案例，其中p≤ 1（与我们在p=1时考虑的γ的界类重叠）和邵和邓（2012）在p=2时的界类重叠。这些论文在关注渐近结果方面也不同于目前的论文。本文的其余部分组织如下。第2节给出了理想模型中带有高斯误差的有限样本结果。第3节讨论在未知错误分布的更现实环境中的实现。第4节给出了在高维环境下，在一个平面上的边界下，效率边界的渐近特征lpnorm。第5节将我们的方法与CIs设计的f或稀疏约束进行了比较。证据和辅助结果见附录。2有限样本结果本节建立了我们的模型的理想化版本，带有高斯同调误差。然后，我们展示了如何在该模型中构造在有限样本中接近最优的估计量和CI。2.1.我们在等式（1）中以向量形式asY=wβ+Zγ+ε（2）写出模型，其中w=（w，…，wn）′∈ Rn是系数为β的感兴趣变量∈ R和Z=（Z′，，Z′n）\'∈ Rn×kis是控制变量的矩阵。设计矩阵X=（w，Z）是固定的。为了获得有限样本结果，我们进一步假设误差为正态和齐次ε~ N（0，σIn），（3）已知σ。

在第3节中，我们讨论了可能存在异基态且无n-高斯误差的实现。为了在k相对n较大的情况下（包括k>n的情况）对β进行推断，研究人员需要对控制系数γ进行先验限制。我们假设这些限制可以通过将（β，γ′）的参数空间限制为R×Γ来形式化，其中，对于Rk的一些线性子空间G，Γ=Γ（C）={γ∈ G:Pen（γ）≤ C} ，其中Pen（·）是G.上的一个半形式。（4）Pen（·）是一个半形式的要求意味着它满足三角形不等式（Pen（γ+～γ）≤ Pen（γ）+Pen（~γ）），以及同质性（对于任何标量c，Pen（cγ）=| c | Pen（γ）），但与范数不同，它不一定是正定义（Pen（γ）=0并不意味着γ=0）。这使我们能够涵盖只有一部分控制系数受到限制的设置。为了说明我们的方法，我们将重点放在Pen（·）对应于加权lpnorm。为此，将控件分成一组k≥ 0无限制基线控制和一组k=k-k附加控件，Z=（Z，Z）。相应地，配分γ=（γ′，γ′）。让HAdenote将投影矩阵投影到矩阵a的列空间上。例2.1（l惩罚）。我们指定惩罚asPen（γ）=kMγk=pγ′M′Mγ，（5），其中k×k矩阵M包含对变量进行缩放，并选择哪些变量需要约束。如果M=（0，Ik），那么Pen（γ）=kγk，γ不受约束。设置m=（0，（Z′（I）-HZ）Z/n）1/2）对应于I和M¨uller（2020）中考虑的规范，在控制基线控制Z后，该规范限制了平方平均效应Z′2iγ对Yi的平均值。示例2.2(l惩罚）。我们将等式（5）中的nor m替换为l标准为了简单起见，我们将重点放在未加权的情况下，设置M=（0，Ik）。

这导致Pen（γ）=kγk=Pkj=k+1 |γj |。除了惩罚的选择，Γ的规定还要求研究人员选择规则参数C；在这里，我们认为它是给定的，并推迟到第3节讨论这个选择。虽然我们已经用半形式表示了参数空间Γ，但这个公式并没有限制性，因为基本上任何对称的凸集Γ（γ∈ Γ意味着-γ ∈ Γ）可以用这种方式定义（见Yosida，1995年，提案5，第26页）。虽然我们排除了Γ上的非凸约束，例如稀疏性，但我们的结果仍然对这种设置有影响，正如我们在第5节中讨论的那样。我们的目标是构造β的估计量和CI。为了评估β的估计量^β，我们在均方误差准则RMSE（^β；Γ）=supβ下考虑了它们在参数空间R×Γ上的最坏情况性能∈R、 γ∈ΓEβ，γ[（^β- β） 其中Eβ，γ表示（β，γ′）下的期望值。为了评估CI，我们首先要求它们满足覆盖要求。A 100·（1）- α） 半长为^χ=^χ（Y，X）的%CI是满足β的区间{710β±^χ}∈R、 γ∈ΓPβ，γβ ∈ {^β ± ^χ}≥ 1.- α、 其中Pβ，γ表示（β，γ′）下的概率。为了比较特定参数向量（β，γ′）下的两个CI，我们选择期望长度较短的CI Eβ，γ[2^χ]。请注意，优化预期长度不一定会导致CI集中在MSE标准下最优的估计器^β上。2.2线性估计量CIs我们首先考虑结果Y中的线性估计量，β=a′Y，并展示如何基于此类估计量构建CIs。权重a的n向量可能取决于设计矩阵X或已知方差σ。

在第二部分。下面，我们将在第2节展示如何以最佳方式选择权重a。4.我们证明，当a是最优选择时，结果估计量和CI在所有过程中都是最优的，而不仅仅是线性过程。在给定的参数向量（β，γ′）下，β=a′Y的偏差由a′（wβ+Zγ）给出- β. 当（β，γ′）在参数空间R×Γ上变化时，偏压在该集合上变化[-biasΓ（^β），biasΓ（^β）]，其中biasΓ（^β）=supβ∈R、 γ∈Γa′（wβ+Zγ）- β（6）表示最坏情况下的偏差。^β的方差不依赖于（β，γ′），由var（^β）=σa′a给出。要形成以t^β为中心的CI，请注意t统计量（^β-β） /var（^β）1/2遵循N（b，1）分布，其中|b |≤ 偏差Γ（^β）/var（^β）1/2。因此，表示1-a | N（B，1）|分布的α分位数由cvα（B）构成，双侧CI可以形成为^β±χ，其中χ=var（^β）1/2·cvα偏差Γ（^β）/var（^β）1/2. （7） 我们将其称为固定长度置信区间（FLCI），遵循术语inDonoho（1994），因为其长度2χ是固定的：它仅取决于非随机设计矩阵xx和已知方差σ，2.3 MSE R（β；β）=偏差（β）+var（β）和公式（7）中给出的CI半长χ的最佳权重在β的方差及其最坏情况下的偏差（β）中增加。因此，为了找到最佳权重，必须将方差最小化，并在最坏情况偏差上有一个界B，我们可以将其写成最小值∈Ra′a s.t.supβ∈R、 γ∈Γa′（wβ+Zγ）- β ≤ B.（8）然后我们可以改变边界B，以找到给定标准（MSE或CI长度）的最佳权衡。由于这种优化不依赖于结果数据Y，因此以这种方式优化权重不会影响结果CI的覆盖特性。我们的主要计算结果表明，式（8）中的优化问题可以用w对Z的正则化回归来计算。