一个自动有限样本稳健性度量：什么时候可以稍微降低

最后，我们强调，虽然我们将使用渐近性来提供直觉，但“噪声”指的始终是有限样本量^σψ，而不是其渐近极限。3.1.2什么决定了普通租赁方的AMIP稳健性？既然我们已经将OLS翻译成了我们的框架，我们就可以分析OLS的AMIPfor了。为此，我们使用了理论和模拟研究。在描述我们的主要结论之前，我们概述了模拟研究。对于N=5000个数据点，对于σx和σε的范围，我们绘制了正态回归方程xn~ N（0，σx）和残余εN~ N（0，σε）。对于θ=0.5，我们设置yn=θxn+εn。我们计算了theOLS估计量^θ=PNn=1ynxn/PNn=1xn。图1：N=5000个观测值的单变量线性回归模拟结果。左面板：在σx和σε的不同值下的近似扰动诱导比例。红色表示当丢弃少于1%的数据点时，其符号可能会发生变化的数据集。灰色区域表示^ψα=NA，线性近似法无法找到任何改变符号的方法。右面板：实际变化、变化的线性近似值，以及σx=2和σε=1的近似误差。（a） 信噪比驱动AMIP鲁棒性。从第3节开始的讨论中，我们预计信噪比将决定分析是否具有AMIP鲁棒性。在我们的模拟中，N很大，我们保持θ固定，因此我们预计信号在模拟过程中不会发生实质性变化。因此，信噪比由噪声控制。根据上面的渐近性论证，我们将噪声近似为σε/σx。在图1的左面板中，我们改变σε和σx，并绘制得出的近似扰动诱导比例α*改变^θ的符号。

正如预期的那样，我们看到，具有最大近似噪声∑ε/σx的模拟是最不稳健的，从某种意义上说，可以通过删除一小部分点来反转^θ的符号。（b） 流动数据点具有较大的残差和较大的回归系数。设（εx）（n）表示乘积εnxn，从最负到最正排序，因此排序的影响分数为ψ（n）=n-1S-1X（εx）（n）。从这个公式中，我们观察到，流动数据点既有较大的残差，也有较大的回归系数（相对于回归系数方差）。一个典型的影响分数在速率N时为零-1，尽管像maxn |ψn |这样的极值可能服从不同的规律。然而，sincenpn=1xnandNPNn=1εn具有高概率，在这种情况下，即使maxn |ψn |也不会发散。（c） AMIP敏感性不会随着N的增加而消失→ ∞. OLS的标准结果给出了SXp-→ σx和εn- εnp-→ 0.So NψN- σ-2xxnεnp-→ 因此，NψN的经验分布收敛为具有有限方差的非退化分布。设qα表示随机变量σ分布的第α分位数-2xxε。由于xnandεNAR是独立的，大约一半的εN将为负，我们预计大约一半的影响分数为负。α也是如此 1/2，很可能至少αN影响分数为负值。然后，拜伊。6和Slutsky定理，我们有φlin（~w）*) -^φ = -αNXn=1ψ（n）=-NαNXn=1S-1X（εx）（n）p-→ E-Xε-西席xεσx≤ qα.前一个显示屏的右侧显示的是精确的α。因此，对于固定的α，我们预计AMIP敏感性不会随着N而消失→ ∞.（d） AMIP的非稳健性不仅仅是由于错误指定。我们的模拟非常精确。

然而，我们从图1中看到，根据不同的信噪比，不同的情况在不同的鲁棒性削减下仍然可以是鲁棒的或非鲁棒的。渐近为N→ ∞, 即使是在一个明确的模型中，对于一个足够小的|θ|，我们实际上也期望在任何α下都具有非稳健性。AMIP灵敏度的极限值与θ无关。因此→ ∞, 当且仅当|θ|<Eh时，我们的兴趣量（用于改变估计量的符号）将是高概率的AMIP非稳健性-Xε-西席xεσx≤ qαi、 如果我们对θ的符号感兴趣，|θ|相对于σ的尾均值很小-2Xxε，那么问题将是AMIP非稳健的，概率接近1，不管模型的规格是否正确，数据中是否存在异常。（e） 虽然两者都是通过噪声来衡量的，但标准误差与AMIP灵敏度不同，通常小于AMIP灵敏度。一开始可能看起来像是一个显著的巧合，nψn的极限分布方差（决定AMIP敏感性，见等式5）与实际方差相同，如果我们取φ（θ）=^θxn=^yn，那么第n个影响分数应该是S-1Xxn^εn，即杠杆率分数乘以剩余值。该表达式形式化了Chatterjee和Hadi（1986）在影响、杠杆和^εn的大值之间建立的概念联系。不一致性源于不平等性nmaxnxn≤NPNn=1xnp-→ σx，εn的一个类似不等式。然而，因为我们知道εnis高斯，所以在这种情况下，我们实际上有一个更强的结果：maxn∈{1，…，N}|εN |以速率plog（2N）增长（Rigollet，2015，定理1.14）。然而，正如所期望的那样，期望值确实会变为零，即α→ 自E[|xε|]起为0∞.我们利益数量的有限分配√N（^θ）- θ） （这决定了经典标准误差）。

这两种分布并不相同。Nψnis的极限分布通常不是正态分布，但它们具有相同的尺度。特别是，将公式16中的噪声限值与以下限值进行比较，后者是OLS的标准结果。√N（^θ）- θ） N0，σεσx！。正如我们在下文第3.2.1节第（b）段和第3.2节第（d）段中所讨论的那样，这种平等并非巧合，而是影响分数与感兴趣数量的极限分布之间的一般（众所周知）关系。对于较大的N，使用标准误差将承认当|θ|<1.96时θ可能为0的假设√Nσεσx。因此，对于每一个θ6=0，对于足够大的N，使用标准误差总是拒绝θ=0。相比之下，正如我们上面所看到的，使用AMIP将允许一个足够大的变化，每当|θ|时，将^θ移动到0≤E-xσxεσεIxσxεσε≤σxσεqασεσx6=1.96√Nσεσx。因此，我们看到，当信噪比的极限值|θ|/（σε/σx）较大时，AMIP灵敏度和标准误差都允许更大的^θ可能值。但AMIP敏感性由标准化影响分数的尾部平均值决定，标准误差由一个变为零的数量决定，即N→ ∞. 因此，AMIP灵敏度不同于标准误差，并且通常大于标准误差。单位方差随机变量xσxεσε的尾部行为正是我们在第3节开头介绍的形状。该形状捕捉了影响分数分布尾部的与尺度无关的形状；详细和一般性分析见下文第3.2.1节（c）段。（f） 对于小α，我们的近似是精确的。^θ（~w）的表达式取决于两个项，NPNn=1~wnxn-1和NPNN=1~wnynxn，这两个函数都是~w/N的一致光滑函数，对于足够小的~W-~/N

由于平滑，我们希望在~w=~1处形成的线性近似在以下情况下是准确的：~W-~/N很小。当~w包含的零值不超过bαnc0和其他零值时，我们得到了它~W-~/N≤ α、 因此，当α很小时，我们期望线性近似是准确的。我们在下面的第3.3节中对这一直觉进行了精确和概括。我们在图1中根据经验检查了近似值的准确性。对于图1中的右手图，我们确定了σε=1和σx=2。我们计算了0%到10%范围内遗漏比例α的近似最有效集。对于每个α，我们计算线性近似值，重新运行回归计算实际变化，并计算线性近似值的误差作为两者的差异。图1的右面板显示了小α近似的相对误差是如何消失的，并且从定性上讲，对于小于2.5%的去除比例，近似非常好。3.2一般Z-估计的理论和解释我们接下来显示，第3.1节的结论不仅适用于OLS，而且适用于Z-估计。在本节中，我们将更普遍地确定，AMIP敏感性不是误判的产物，不会随着N的增加而消失，并且不同于标准误差。为此，在第3.2.1节中，我们首先将AMIP正式分解为第3节开头定义的形状和噪声项，并确定形状在分布中大致恒定。然后，在第3.2.2节中，我们使用这种分解来回顾我们关于AMIP敏感性的OLS结论，但现在更广泛。最后，在第3.2.3节中，我们将AMIP连接到影响函数，展示了不确定性与粗差稳健性的区别。3.2.1 AMIP的分解（a）AMIP是噪声乘以形状。设ψ（1）。

，ψ（N）表示影响分数的顺序统计。回想一下，近似最大流量扰动由bαNc最大流量分数之和的负值给出。所以我们可以写出^ψα=φlin（~w）*) -^φ = -bαNcXn=1ψ（n）Iψ（n）<0= ^σψ^Tα。（17） 第一个等式源自AMIP^ψα（定义2）的定义。第二个等式来自等式6。第三个等式来自第3节开头对噪声∑ψ和形状∑Tα的定义。（b） 噪声是感兴趣的数量的限制分布的标准偏差的估计器（Z-估计器版本）。对于Z-估计，我们可以通过直接计算证明∑ψ是极限分布方差的估计√Nφ（^θ）由delta方法和“三明治”或“稳健”协方差估值器给出（Huber，1967；Stefanski和Boos，2002）。要了解这一点，首先观察NPNN=1d^θ（~w）d~wn~d^θ（~w）d~wn~T、 如式10所示，正是有限分布协方差的三明治协方差估计量√N^θ。反过来，等式7中给出的线性近似的样本方差，由∑ψ给出，则为√N^φ。请注意，我们在上文第3.1.2节第（e）段的OLS特例中得出了相同的结论。因此，我们可以使用^σψ来形成φ的一致可信区间，这一事实在下面比较AMIP稳健性和标准误差时非常有用。具体来说，如果∑ψp-→ σψ和^θp-→ θ∞, 然后√N（φ（^θ）- φ(θ∞))   N（0，σψ）。

（18） 正如我们在下面第3.2.3节（d）段中所讨论的，症状方差和影响分数之间的这种关系实际上是影响函数和分布极限之间的一般关系的结果。（c） 形状主要取决于α，而不是模型规格。更准确地说，我们接下来展示了形状^Tα满足以下性质。（1） 概率为1，0≤^Tα≤pα（1）- α). （2） 通常，^Tα不可能收敛到一个非零常数，如N→ ∞. （3） ^Tα在遗漏点的影响范围得分均相等时最大。相反，ψn分布中的重尾导致^Tα值较小。（4） 根据经验，^Tα在常见的抽样分布中变化相对较小。为了证明（1）中的下限，我们观察到指示符Iψ（n）<0说明了这样一个事实，即对抗权重会漏掉更少的点，而不是漏掉一个正ψ（n）的点。因此，^Tα≥ 0.我们将（1）的上界显示为下面（3）的极值化参数的一部分。为了证明（2），请注意^Tα是bαnc正项的和，除以N。总的来说，只要NψN的分布在非退化随机变量的分布上略微收敛，我们就期望^Tα收敛到固定α的非零常数。事实上，通过Eqs。7和10，只要^θ和npnn=1，我们就可以从Slutsky定理中得到这样的收敛性G（^θ，dn）θ^θ以constants的概率收敛，因为Nψnis与G（^θ，dn）成正比，G本身具有非退化极限分布。我们接下来展示（3），当所有的影响因素都是ψ（1），…，时，^Tα取其最大可能值，ψ（αN）取相同的负值。为此，为了简单起见，将αN设为bean integer。根据^σψ（等式13）的定义，NPNn=1Nψ（N）^σψ= 根据下面详述的影响函数的性质，PNn=1ψn=0（第3.2.3节，第（c）段）。

所以^Tα是样本均值和单位样本方差为零的标量的尾平均值。因此，等价于考虑标量Z，…zNwithNPNn=1zn=0和NPNN=1zn=1，并询问如何最大化平均值-αNPNαn=1z（n）。为了实现最大化，我们将数据点划分为D组DropPedIndicates，K组Keep Indicates。精确地说，D:={n:z（n）≤ z（αN）}和k:={1，…，N}\\D。我们将样本均值和方差分别写为uD:=αNPn∈Dznand vD:=αNPn∈D（zn）- uD），带有uk和vK的模拟表达式。在这种表示法中，我们的目标是最大化uD，即删除集的平均值。然后，可以将分布的约束写为npnn=1zn=0=> αuD+（1）-α） uK=0，NPNN=1zn=1=> α（vD+uD）+（1）-α） （vK+uK）=1。考虑到这些限制，我们通过设置vK=vD=0使uD达到极值，在这种情况下，我们实现uD=-p（1）-α)/α. 将NψN/^∑ψ与zn、^Tα与αuD区分开来，我们发现当所有的影响因素都是ψ（1），ψ（αN）取相同的负值。这个观察结果完成了我们对（3）的论证。从这个论点也可以得出^Tα≤pα（1）- α） 概率为1时，在最坏情况下达到的界限。这个观测结果提供了（1）中的上限。为了确定第（4）点，我们用一个具有代表性的α，模拟大量IID从一些常见分布中提取zn，标准化得到zn:=zn-`zqNPNn=1（`zn-\'\'z），并计算形状^Tα=-NPbαNcn=1z（n）。我们发现，在常见分布中，^Tα变化相对较小。例如，对于α=0.01，正态分布给出^Tα=0.0266，柯西分布给出^Tα=0.0022。根据上一段的推理，正如预期的那样，重尾柯西分布的形状比正态分布小。

对于所有被忽略的zn都相等的最坏情况分布，给出^Tα=0.0995≈pα（1）- α） 正如所料。3.2.2什么决定了AMIP的稳健性？我们现在使用AMIP分解为噪声和形状，以及形状的相对稳定性，来推导AMIP鲁棒性的一些一般性质。（a） 信噪比驱动AMIP鲁棒性。我们在上面论证过，我们并不期望^Tα在不同的问题之间有根本的差异。相比之下，噪声^σψ原则上可以是任何正数。然后，我们得出结论，决定不稳定性的主要因素是信噪比，而不是形状。这种关系还表明，如果分析结果不可靠，可能会采取什么措施。正如我们在第3.2.1节（b）段中所示，由于^∑ψ是进入标准误差计算的同一数量，分析师通常倾向于选择^∑ψ尽可能小的估计量，同时仍能保证一致性等理想性质。与此同时，信号 由被问的问题和由θ估计的自然真实状态决定。根据这些观察，考虑一个情况。/^σψ太小，无法确保AMIP健壮性。然后，研究人员似乎有必要提出不同的问题或调查不同的数据，以找到AMIP稳健分析。（b） AMIP敏感性不会随着N的增加而消失→ ∞. ^σψ和^Tα都收敛到非零常数。所以∑ψ^Tα，你可以改变估计器的估计量，也不会变为零。如果信号 小于∑ψTα的概率极限，则无论N增长多大，问题都将是AMIP非鲁棒的。正如我们下面讨论的，这种行为与标准错误的行为形成了鲜明的对比。（c） AMIP的非稳健性不仅仅是由于错误指定。考虑到没有异常数据点的正确指定问题。

正如我们在上文第3.2.1节（b）段中所讨论的，噪声仍将有一些非零概率限制。我们在第3.2.1节（c）段中展示了形状将具有非零概率极限。兴趣量φ（^θ）通常可以有一个非零概率极限。因此，通过对等式15的分解，如果用户对信号足够小的问题感兴趣，那么他们的问题将是非鲁棒的，尽管规格正确。（d） 虽然两者都是通过噪声来衡量的，但标准误差与AMIP灵敏度不同，通常小于AMIP灵敏度。回想一下，基于极限正态近似的经典标准误差也取决于∑ψ，因为我们通常报告φ形式的φ的置信区间∈φ（θ，~1）±qN^σψ√N,其中qn是正态分布的某个分位数，例如0.975分位数qn≈ 1.96. 从这个意义上说，使用标准误差可以使φ与φ+一样大 无论何时/^σψ≤1.96√N.相比之下，AMIP稳健性允许φ与φ+一样大 什么时候/^σψ≤^Tα。因为^Tα6=1.96√总的来说，这两种方法会得出不同的结论。实际上，通常^Tα收敛到一个N为零的常数→ 0，while1。96√接近于零。（e） 统计上的非显著性始终是AMIP非稳健的，因为N→∞. 这一观察结果是上述讨论的推论。特别是，如果φ(^θ,~1)≤1.96^σψ√N.为了产生无统计学意义的结果，从而破坏结论，必须将φ（^θ，~1）移动超过1。96^σψ√N.任意选择。如上所述，我们可以产生^σψ^Tα的变化，它大于1。96^σψ√Nwhenever^Tα>1.96/√N