正则化回归模型中的偏差感知推理

如果wi-z′iδ是有界的，因此，如果我们施加上界n Lind（a），我们可以获得最优的收敛速度≤对于一些大常数K（或者更一般地说，我们可以在适当的条件下，在Cn和p上，允许束缚K随n增加）。当设计矩阵为wi- z′iδ是用wizi预测wizi的总体最佳线性预测误差，因此这本质上需要关于这一最佳线性预测误差的尾部条件。用于TheoremB中的设置。1，我们可以取cn=pKnn（k/n+Cnrq（k，n））作为缓慢增加的常数Kn，只要是aspKn（k/n+Cnrq（k，n））·n Lind（a）→ 0.这将给出以下结果。推论B.1。假设，对于某些η>0，η≤ EQεi和EQε2+ηi≤ 1/η适用于所有土地Q∈ Qn，设^ε为（19）中正则化回归的残差，λ在定理B.1中给出，对于某些Kn→ ∞, 假设定理B.1中的条件成立。然后，ifpKn（k/n+Cnrq（k，n））·n Lind（a）→ 0时，覆盖结果（21）保持为Θ=R×Rk×{γ：kγk≤ Cn}。为了解释Lind（a）的条件，考虑kis固定的情况，k/n→ ∞ Cn的界远离零。然后Lind（a）上的条件降低了topKn·Cnrq（k，n）·n Lind（a）→ 0.还要注意，在这种情况下，Cnrq（k，n）是定理4中^β的最佳收敛速率。1.因此，在这种情况下，我们需要n Lind（a）比^β的最优收敛速度的平方根的倒数增长得更慢。特别地，如果n Lind（a）有界为n→ ∞, 然后，我们总是可以构造一个可行的、具有偏差意识的、渐近有效的cit。如上所述，该界限可在不影响CI宽度收敛速度的情况下，基于权重使用。B.3 CWe的较低CI表示规律性参数C的较低CI，可用于评估假设Pen（γ）的可行性≤ C

设^θ（λ）表示（19）中给出的γ的正则回归估计量，带有惩罚λ。让λ*α表示1的上界- k2X′MXεkq/n的α量。设^C=supλ>λ*αλ - λ*αλ + λ*αk^θ（λ）kp。（22）在理想的有限样本设置下，ε~ N（0，σIn），已知σ，λ*α可以精确计算，所以^Cis是可行的。定理B.3。设（22）中给出的^Cbe为λ*α由1给出-k2X′MXεkq/n的α分位数。然后，对于任何β，γ，γ和kγkp≤ C、 我们有Pβ，γ，γ（C∈ [^C，∞)) ≥ 1.- α.证据它来自LemmaB。1在事件k2X′MXεkq/n上≤ λ*α（概率至少为1）-α），我们有λ-λ*αλ+λ*αk^θ（λ）kp≤ kγkp≤ C表示所有λ>λ*α.因此，这个集合中λ上的这个量的上确界在这个事件上也不大于C。当误差分布未知且在p=1的情况下可能是异方差时，我们现在给出了该CI的一个可行版本。设xij=（M′XX）ij。因为q=∞ 在这种情况下，我们需要选择^λ*α使得2kxm′Xεk∞/n=max1≤J≤KnXi=12xijεi/n≤^λ*概率至少为1的α- 渐近α。L et^Vj=Pni=1（2xij/n）^εi，其中^εi是初始正则化回归的剩余值，λ选择为定理B中的λ。1对于缓慢增加的Kn。这导致临界值^λ的中度偏差*α、 设定α=kXj=12Φ(-^λ*α/^V1/2j）。（23）备注B.1。理论分析。正则化回归估计（19）中的1个依赖于选择大于2kXM′Xεk的惩罚参数t∞/n具有高概率，这正是临界值^λ的目标*α在（23）中给出。

这意味着一个迭代过程，其中使用^λ*在使用满足定理B.1条件的初始惩罚选择来形成用于计算^λ的残差后，α（可能有一些序列α缓慢地变为零）作为回归（19）中的数据驱动的p enalty参数*α.刑罚选择^λ*在误差分布未知的情况下，α与数据驱动的套索惩罚选择有关。Belloni等人（2012年）使用类似的想法来选择该设置下的惩罚参数l约束，尽管我们的实现有些不同，因为我们的参数空间限制了我们对每个参数施加的惩罚载荷。而λ*α不考虑力矩之间的相关性，可以使用自举实现来考虑这些相关性，如ChernoZhukov等人（2013）所建议的。定理B.4。假设，对于某些η>0，TheoremB的条件。1保持p=1，且该NPNI=1xij≥ η对于j=1，k表示所有n，式中xij=（MXX）ij。让^λ*用正则化回归（19）中的残差^ε形成的^vjn（22）给出α，惩罚λ在T h eoremB中选择。1对我来说是如此→ ∞ 有Kn（k/n+（Cn+1）√日志k/√n） ·（对数k）→0.那么，lim supnsupβ，γ：kγk≤CnsupQ∈QnPθ，Qmax1≤J≤k | Pni=12)xijεi/n |>^λ*α≤ α. 特别是，让^Cbe在（22）wi和λ中给出*α给定b y^λ*α、 我们知道β，γ：kγk≤CninfQ∈QnPθ，QCn∈ [^C，∞)≥ 1.- α.证据设Vj=Pni=1（2~xij/n）εi，设VQ，j=Pni=1（2~xij/n）EQεi。注意| Vj-~Vj|=nXi=1（2~xij/n）（εi）- εi）=nXi=1（2~xij/n）（εi+εi）（εi）- εi）≤ （2KX/n）k^ε+εkk^ε- εk≤ （2KX/n）（2kεk+k^ε- εk）k^ε- εk.当2kεk≤√n~K和K^ε-εk=kX（^θ）-θ） k≤pnKn·（k/n+2Cnplog n）/√n） 1/2，其概率在Q上一致接近1∈ qn当K足够大时，它以（2KX/n）（~K）为界√n+√nKn（k/n+2Cn）√日志k/√n） 1/2）·√nKn（k/n+2Cn）√日志k/√n） 1/2。

自从VQ，j≥ η/n在j和n上均匀分布，对于某些)η>0，这意味着，在这个事件中，max1≤J≤K^Vj-~Vj/VQ，jis以4η为界-1（KX/n）（K）√n+pnKn（k/n+2Cnplog k/√n） 1/2）·pnKn（k/n+2Cnplog k/√n） 1/2，它又以常数乘以K1/2n（k/n+2Cn）为界√日志k/√n） 1/2秒后，这个量收敛到零。此外，请注意（~Vj-VQ，j）/VQ，j=Pni=1aij（εi）-式中εi）/n，式中aij=~xij/（nVj，Q）≤KX~η-1和∧η是nVQ，j的一个较低的边界。利用这个边界和εi上的尾界，可以从Bernstein关于次指数随机变量的不等式得出，对于δ<1，PQ（| Vj）- VQ，j |/VQ，j≥ δ） 由2 exp（-cnδ）对于某些常数c，它只依赖于KX，η和η。因此，对于任意序列δn，我们有PQ（max1≤J≤k | Vj-VQ，j |/VQ，j≥ δ) ≤ 2kexp(-cnδn），只要δn从下到下有足够大的常数倍，它就会收敛到零√日志k/√n、 这给出了^Vj/VQ，jto的收敛速度，通过t7的连续微分→√t=1时，给出了q^Vj/pVQ，j的相同速率。特别是，让Cn以足够大的常数乘以K1/2n（k/n+（Cn+1）√日志k/√n） 1/2，eventmax1≤J≤Kq^Vj/pVQ，j- 1.≤ cnholds的概率一致逼近1∈ Qnandβ，γ与kγ≤ 中国。在这个事件中，我们有α=kXj=12Φ(-^λ*α/q^Vj）≥kXj=12Φ(-^λ*α/（pVQn，j（1）- cn）））。因此，让λα，nsolveα=Pkj=12Φ(-λα，n/（pVQn，j）），我们有^λ*α/(1 -cn）=λα，对于某些α≤ α、 所以^λ*α/(1 - （中国）≥ λα，n。由此可知，在kγkp的任意参数序列下，非覆盖概率≤ cnn和任意序列Qn∈ Qnis由一个收敛到零的项所限定≤J≤KnXi=12xijεi> (1 - cn）λα，n！≤kXj=1Fn，j(-(1 - cn）λα，n/pVQn，j）=kXj=12Φ(-λα，n/pVQn，j）·An，j·Bn，j，其中Fn，j（t）=PQnPni=12xijεi/pVQn，j> T, An，j=Φ(-(1-cn）λα，n/√VQn，j）Φ(-λα，n/√VQn，j）和Bn，j=Fn，j(-(1-cn）λα，n/√VQn，j）2Φ(-(1-cn）λα，n/√VQn，j）。

SincePkj=12Φ(-λα，n/pVQn，j）=α通过定义，可以证明→∞max1≤J≤kmax{An，j，Bn，j}≤ 1.对于An，j，我们使用界Φ(-s） /Φ(-（t）≤ [s]-1/（t）-1.-T-3） [exp（（t-s） /2）这是从装订开始的-1.-T-3） 经验(-t/2）/√2π ≤ Φ(-（t）≤ T-1exp(-t/2）/√2π在引理2中给出，第7.1节inFeller（1968）），其中给出了San，j≤(1 - （中国）-11- （λα，n/pVQn，j）-2exp[1 - (1 - cn）]λα，n/（2VQn，j）.使用标准计算和nVQn，jis从上到下一致有界的事实，我们得到（logk）/k≤ λα，n/VQn，j≤ K log K表示某个常数K。因此，上述显示的右侧在n和1上均匀收敛为1≤ J≤ k，再见→ 0，这是由定理的假设所决定的。对于Bn，j，我们使用一个中等偏差界作为inFeller（1971年，第16.7章）。特别是界|Fn，j（t）/（2Φ（t））- 1| ≤~Kt/√n代表所有1≤ t<tn，其中tn是带有tn/n1/6的任何序列→ 0，和＠K仅取决于t以及εi上的力矩条件和尾界（Armstrong和Chan，2016，引理B.5）。利用λα，n/pVQn，jis以常数倍为界的事实√log k，由此得出lim supn→∞max1≤J≤kBn，j≤ 1索隆as（日志k）3/2/√N→ 0，这是由定理的条件保证的。参考阿姆斯特朗，T.B.和陈海平（2016）。条件动量不等式的多尺度自适应推理。生态计量学杂志，194（1）：24-43。阿姆斯特朗，T.B.和科尔斯阿尔，M.（2018）。一类回归模型中的最优推理。《计量经济学》，86（2）：655-683。阿姆斯特朗，T.B.和科尔斯阿尔，M.（2016）。一类回归模型中的最优推理。arXiv:1511.0602 8v2。阿姆斯特朗，T.B.和科尔斯塔尔，M.（2020a）。有限样本最优估计和推断不确定条件下的平均治疗效果。arXiv:1712.04 594。阿姆斯特朗，T.B.和科尔斯阿尔，M.（2020b）。使用近似动量条件模型进行灵敏度分析。

《定量经济学》，即将出版。贝洛尼，A.，陈，D。，Chernozhukov，V.和Hansen，C.（2012年）。优化工具的稀疏模型和方法，并应用于征用权。Eco nometrica，80（6）：2369-2429。贝洛尼，A.，切尔诺朱科夫，V.，和汉森，C.（2014）。在高维对照组中，关于治疗效果的推断会影响选择后的结果。《经济研究评论》，81（2）：608-650。贝洛尼，A.，切尔诺朱科夫，V.，和王，L.（2011）。平方根套索：通过圆锥曲线编程恢复解析信号的关键。Bi ometrika，1（4）：791-896。B–uhlmann，P.和van de Geer，S.A.（2011）。高维数据统计：方法、理论和应用。施普林格，柏林，海德堡。蔡铁涛，郭，Z.（2017）。高维线性回归的置信区间：极大极小率和适应性。《统计年鉴》，45（2）：615-646。坎德斯、E.和陶，T.（2007）。Dantzig选择器：当p大于n时的统计估计。统计年鉴，35（6）：2313–2351。切诺朱科夫，V.，切特韦里科夫，D.，a和加藤，K.（2013）。G aussian近似和高维随机向量和最大值的乘法器引导。《统计年鉴》，41（6）：2786-2819。Donoho，D.L.（1994年）。统计估计和最佳回收率。《统计年鉴》，22（1）：238-270。多诺霍，D.L.（2006年）。对于大多数大型欠定线性方程组l-范数解也是最稀疏的解。《纯粹和应用数学通讯》，59（6）：797–829。埃夫隆，B.，黑斯蒂，T.，约翰斯通，I.M.，和蒂布什拉尼，R.J.（2004）。最小角度回归。《统计年鉴》，32（2）：407-451。费勒，W.（1968）。概率论及其应用导论，第1卷。威利，纽约，纽约，第三版。费勒，W.（1971）。概率论及其应用导论，第2卷。威利，纽约，纽约。戈德伯格，M。

(2017). 有限维向量空间上半形式的连续性。线性代数及其应用，515:175–179。东北赫克曼（1988）。半参数模型中的极小极大估计。美国统计协会杂志，83（404）：1090-1096。Ibragimov，I.A.和Khas\'minskii，R.Z.（1985）。关于高斯白噪声中线性泛函值的非参数估计。概率论及其应用，29（1）：18-32。Imbens，G.和Wager，S.（2019年）。优化回归不连续设计。《经济与统计评论》，101（2）：264–278。贾文马尔，A.和蒙塔纳里，A.（2014）。高维回归的置信区间和假设检验。机器学习研究杂志，15（82）：2869-2909。贾文马尔，A.和蒙塔纳里，A.（2018年）。减少套索：高斯设计的最佳样本量。《统计年鉴》，46（6A）：2593-2622。Koles\'ar，M.和Rothe，C.（2018年）。离散变量回归不连续设计中的推理。《美国经济评论》，108（8）：2277-230 4。Kwon，K.和Kwon，S.（20）。单调回归不连续设计中的推理。arXiv:2011.14216。Li，C.M.和M¨uller，英国（2020年）。解释力有限的许多控制的线性回归。《定量经济经济学》，即将出版。李克强（1982）。随机过程正则化方法的极小性。《统计年鉴》，10（3）：937-942。Low，M.G.（1995）。函数估计问题中的Bia s-方差权衡。《统计年鉴》，23（3）：824-835。Muralidharan，K.，Romero，M.，和W–uthrich，K.（2020年）。随机实验中的事实设计、模型选择和（不正确的）推断。国家经济研究局2656 2号工作文件。诺克，C.和罗斯，C.（2020年）。模糊回归设计中的偏差感知推理。arXiv:1906.04631。奥斯特·E.（2019）。

不可观测选择和系数稳定性：理论和证据。商业与经济统计杂志，37（2）：187–20 4。Rambachan，A.和Roth，J.（2019年）。对平行趋势的诚实态度。未出版的手册，哈佛大学。罗宾逊，P.M.（1988）。根N-一致半参数回归。《计量经济学》，56（4）：931-954。Rosset，S.和Zhu，J.（2007）。分段线性正则化解路径。《统计学年鉴》，35（3）：1012-1030。邵，J.和邓，X.（2012）。具有确定性设计矩阵的高维线性模型中的估计。《统计年鉴》，40（2）：812-831。Tibshirani，R.（1996年）。通过套索进行回归收缩和选择。皇家统计学会杂志。B系列（方法学），58（1）：267-288。van de Geer，S.A.（2000）。M-Es时代的经验过程。剑桥大学出版社，剑桥，英国。van de Geer，S.A.，B–uhlmann，P.，R it ov，Y.，和Dezeure，R.（2014）。关于高维模型的渐近最优置信域和检验。《统计年鉴》，42（3）：1166-1202。维什宁，R.（20-18）。高维概率：数据科学应用导论。剑桥大学出版社，英国剑桥，第一版。冯·巴尔（1965年）。关于中心极限定理中矩的收敛性。《数理统计年鉴》，36（3）：808-818。冯·巴尔，B.和埃森，C-G.（1965年）。随机变量之和的rth绝对矩不等式，1≤ R≤ 2.《数理统计年鉴》，36（1）：299-303。Wahba，G.（1990年）。观测数据的样条模型。宾夕法尼亚州费城暹罗。吉田，K.（1995）。功能分析。施普林格·维拉格，柏林，第6版再版。张春海和张小胜（2014）。高维线性模型中低维参数的置信区间。

英国皇家统计学会期刊：B辑（统计方法学），76（1）：217–2 42。张磊（2013）。高维稀疏线性回归的近似最优极大极小估计。《统计年鉴》，41（4）：2149-2175。