一个自动有限样本稳健性度量：什么时候可以稍微降低

或者，考虑统计符号的问题，我们可以选择ωp（Th，~w）＝π（Th，~w）＝Th p+1.96的西格子p（Th，~w），其中Sp（Th，~w）是标准误差在Th和W上平稳地估计；这个例子有时等式1与优化光滑目标函数的“M-估计”有关，因为这种M-估计通常采用Z-估计的形式。然而，一些Z-估计，如IVR回归，不会优化任何特定的经验目标函数，因此Z-估计的概念实际上更一般。下面，我们将考虑φ对数据权重的额外依赖。是我们允许φ（θ，~w）中更一般的~w依赖性的动机。有了这个符号，我们可以重申我们最初的目标，即计算最具影响力的集合，即求解~w**:= arg max~w∈Wαφ（θ（~w），~w）-^φ. （4） 这里我们关注φ的正变化，因为负变化可以通过翻转φ的符号和使用-而是φ。特别是~w的零指数**对应于最有效的集合：Sα：={n:~w**n=0}。ψα=φ（~w）**) -^φ是最大影响扰动。微扰诱导比例是诱导至少大小变化的最小α: α*:= inf{α：ψα>}.2.2一个易于处理的近似我们的近似集中在~w 7中的一阶泰勒展开（以及线性近似）→ φ（^θ（~w），~w）在~w=~1附近。设φ：=φ（θ（~1），~1），原始数据集的感兴趣数量。那么：φ（θ（~w），~w）≈ φlin（~w）：=φ+NXn=1（wn）- 1） ψn，带ψn：=φ（θ（~w），~w）wn~w=~。（5） 反过来，我们可以近似计算最具影响力的集合，如下所示。设ψ（n）表示ψn的阶统计量，即从最负到最正的ψ。LetI（·）表示参数为false时取值为0，为true时取值为1的指示符函数。

然后~w**≈ ~W*:= arg max~w∈Wαφlin（~w）-^φ= arg max~w∈WαXn:wn=0(-ψn）=>φlin（~w）*) -^φ = -bαNcXn=1ψ（n）Iψ（n）<0. （6） 计算~w*（类似于~w**这决定了精确的最有效集），我们计算每n的ψ，然后选择~w*在ψ为最负的bαNc指数n处，条目等于零（在其他地方，条目等于一）。与扰动诱导比例类似，我们可以找到实现某种大小变化所需的最小数据比例α:i、 例如φlin（~w*) -^φ > . 特别是，我们迭代移除最负的ψn（和指数n），直到 实现变革；如果移动点的数量为M，则我们报告的比例为α=M/N。回想一下，要找到准确的最大影响扰动、最大影响集和扰动诱导比例，需要进行超过MbαNc时报。相比之下，我们的近似只需要运行单个原始数据分析，N个额外的快速计算来计算每个ψN，最后对ψN值进行排序。我们确定了我们的近似数量，如上文所述，如下所示。定义2。最具影响力的近似集合是最多100α%数据指数的集合^Sα，如果忽略该集合，会导致最大的近似变化φlin（~w）-^φ;i、 例如，它是~w遗漏的一组数据索引*:^Sα：={n:~w*n=0}。近似最大影响摄动（AMIP）^ψα是在~w处观察到的近似变化*:^ψα：=φlin（~w）*) -^φ.近似摄动诱导比例^α*是引起近似变化φlin（~w）所需的最小α-^φ大于. 也就是说，α*:=inf{α：^ψα>}. 如果没有α，我们报告NA∈ [0,1]会影响这种变化。下面，我们有时会强调，AMIP是一种敏感性，并将其称为AMIP敏感性。

如果对于某个特定的α，AMIP足够大，足以改变分析的实质性结论，我们会说分析是AMIP非稳健的。相反，如果AMIP不够大，我们说分析是AMIP稳健的。我们通常使用AMIP首字母缩略词来描述我们的方法，即使是在计算近似的最有效集或近似的扰动诱导比例时。2.2.1最大流量扰动的精确下界对于任何问题，如果第二次进行估算并不困难，我们可以在没有近似最大流量集中的数据点的情况下重新运行分析，从而提供精确最大流量扰动的下界。正式地说，让~w**是精确的最有效集的权重向量，让~w*是近似最有效集^Sα的权重向量。我们额外运行估算程序，以恢复φ（^θ（~w）*), ~W*). 然后，通过定义，ψα=φ（^θ（~w**), ~W**) -^φ=最大~w∈Wαφ（θ（~w），~w）-^φ≥ φ（^θ）~w*), ~W*) -^φ.因为φ（^θ（~w*), ~W*) -^φ是ψα的下界，我们可以使用近似的MostIn流集来最终证明非稳健性。当然，这个lowerbound适用于任何权重向量，如果近似最大流量摄动接近精确最大流量摄动，它将非常有用。在下面的第3.3节中，我们确定了在温和正则条件下小α的近似精度。2.2.2计算影响分数为完成对近似值的描述，仍需详细说明如何计算ψn=φ（θ（~w），~w）wn~w=~来自等式5。我们将参考数量φ（θ（~w），~w）wn~是φat~w的数据点n的影响核心，因为正如我们在下面第3.2节中所示，它是在数据点dn处评估的经验影响函数。

为了计算影响内得分，我们首先应用链式规则：φ（θ（~w），~w）wnθ（~w），~w=φ（θ，~w）θT^θ（~ w），~ w^θ（~w）wn~w+φ（θ，~w）wn^θ（~w），~w.（7）φ（·，·）的导数可以使用Python的autograd库等自动微分软件计算（Maclaurin等人，2015；Baydin等人，2017）。一旦我们从原始数据分析中得到^θ（~1），我们就可以在~w=~1:。，φ（θ，~w）θTθ（~1），~w=~。术语^θ（~w）wn~w=~需要稍微多做一些工作，因为^θ（~w）是隐式定义的。我们遵循统计学和数学文献（Krantz and Parks，2012；Hampel，1974）中的标准参数，在下面展示如何计算它。首先考虑更一般的设置，其中θ（~w）是方程γ（θ（~w），~w）=0P的解。我们假设γ（·，~w）与满秩雅可比矩阵是连续可微的；然后是导数^θ（~w）wn~我们通过隐函数定理（Krantz and Parks，2012，定理3.3.1）存在。因此，我们可以使用链式规则来解决^θ（~w）wn~W在下面的内容中，0P×Nis是零的P×N矩阵。P×N=dγ（^θ（~w），~w）d~wT~w=γ（θ，~w）θT^θ（~w），~wd^θ（~w）d~wT~w+γ（θ，~w） ~wTθ（~w），~w（8）=>d^θ（~w）d~wT~w=-γ（θ，~w）θTθ（~w），~w！-1.γ（θ，~w） ~wT^θ（~w），~w，（9），其中我们可以通过满秩假设求逆。我们将上面的一般设置应用于我们的特殊情况，即γ（θ，~w）=PNn=1wnG（θ，dn），以确定^θ（~w）d~wT~w=-NXn=1wnG（θ，dn）θT^θ（~w）！-1.G（θ（~w），d），G（θ（~w），dN）, （10） 这也可以通过自动微分软件进行计算。2.3感兴趣的函数示例我们在本节末尾给出了一些感兴趣的量的具体示例。

从第2节开始，再次说明我们通常感兴趣的是，我们是否可以改变估计器的符号或意义，或者产生相反符号的重要结果。回想一下，只有一个参数的φ（·）是θ的函数，有两个参数的φ（·，·）是θ和权重~w的函数。为了形成我们的激励示例，在本节的剩余部分，假设我们对^θ的第p分量感兴趣，其中^θpis是正的，并且统计意义重大。也就是说，让^σpbe估计√N^φ，设θp-1.96√N^σpbe是我们信任区间的下限。所以我们假设θp>0和θp-1.96√N^σp>0。此外，我们将写出^σp（θ，~w），以强调标准误差通常作为θ和权重~w的函数给出。例如，基于观察到的Fisher信息矩阵的标准误差xnpnn=1~wnG（θ，dn）θ^θ（~w）通常取决于显式和粗略的^θ（~w）的权重。要使^θ改变符号，我们可以取φ（θ）=- θp（变化符号）（11）我们使用-θpin代替θpsince，我们将φ定义为我们试图增加的函数（参见等式4和后面的讨论）。增加φ（^θ），对于等式11中的φ，增加一个量 =^θpis相当于^θP将符号从正变为负。为了使^θp在统计学上不重要，我们希望将置信区间的下限取为0。为此，我们可以取φ（θ，~w）=-θp-1.96√N^σp（θ，~w）. （变化显著性）（12）与前一种情况一样，我们选择带有前导负号的等式12，因为我们试图增加φ（参见等式4）。增加φ（^θ，~w），对于等式中的φ。

12，按一定数量 =^θp-1.96√N^σpis相当于^θP，在统计学上不显著。类似地，为了得到相反符号的重要结果，我们可以取φ（θ，~w）=-θp+1.96√N^σp（θ，~w）（显著符号反转）和 =^θp+1.96√N^σp，因为如果置信区间的上限为负，则估计值必须为负且具有统计学意义。在上述每种情况下，数量 代表我们必须走多远才能扭转我们的结论。从这个意义上说， 是原始数据集中“信号”量的度量。正如我们将在下面第3节中讨论的，信号 是决定AMIP稳健性的三个关键参数之一。2.4实际OLS回归示例在继续之前，我们用一个示例来说明我们的方法。经济学家经常使用通过普通最小二乘法（OLS）估计的线性回归来分析因果关系，但研究人员很少相信条件均值相关性是线性的。相反，研究人员使用线性回归，因为它允许对平均治疗效果或局部平均治疗效果进行透明而直接的估计。研究人员经常援引大数定律来证明对样本均值的关注，并援引中心极限定理来证明在样本较大时使用高斯置信区间的合理性。我们现在讨论最近经济学文献中的一个例子，说明在实践中，即使在全样本很大的情况下，忽略极少量的数据点也会对有限样本中的回归参数产生巨大影响。我们将在下面第3.1节中使用模拟和理论进一步研究OLS的AMIP敏感性。作为一个例子，考虑七个随机对照试验的扩展小额信贷的访问讨论了微薄（2019）。为了便于说明，我们选择了样本量最大的研究：Angelucci等人。

(2015). 这项研究有大约16500个家庭。第4.3和4.4条以及下面讨论的结果表和图表对所有七项研究进行了全面处理。我们考虑了关于家庭业务PROT的回归结果和一个二元变量，即一个家庭是否被分配给治疗组或对照组。让Yikdenote为现场k中的家庭i测量利润，并让Tikdenote为其治疗状态。我们使用回归公式Yik通过OLS估计以下模型~ β+βTik。在第2.1节的旋转中，我们有θ=（β，β）T，dik=（Yik，Tik），其中n=（i，k），和g（θ，dik）=（Yik）- （β+βTik）T.我们确认了本研究的主要结论，即估计每2周-4.55美元PPP的无显著平均治疗效果（ATE），标准误差为5。88.我们感兴趣的是是否可以将β的符号从负拓扑正变为φ（θ）=β。我们计算样本中每个数据点的ψ，使用我们的Zamin fluence软件包，在R中只需要几分之一秒。检验~ψ，我们发现一个家庭的ψn=4.95；如果近似值是准确的，则删除该单亲家庭应忽略该符号。我们手动移除数据点并重新运行回归，确实发现ATE现在为0.4，标准误差为3.19。此外，通过删除15个家庭，我们可以生成7.03的ATE，标准误差为2.55：这是一个显著的相反符号结果。如果没有一个单独的家庭，那么表面上基于16500个样本的所有信息的麻醉症状怎么可能出现？人们可能会怀疑样本均值的使用，因为已知样本均值对粗差不具有鲁棒性，或者推测这种过度敏感性只是标准误差充分捕捉到的普通采样噪声的简单表征。

在接下来的第3节中，我们证明了这种直觉是不正确的。相反，AMIP的鲁棒性实际上与标准误差和经典的粗差鲁棒性根本不同。3基础理论和解释我们现在确定AMIP稳健性的决定因素和准确性。首先，我们推导了正确指定的单变量OLS回归的简单情况下AMIP稳健性的关键数量（第3.1节）。对于这个简单的例子，我们通过理论和模拟表明，AMIP鲁棒性不一定由误判驱动，AMIP非鲁棒性不会渐近消失，并且AMIP鲁棒性不同于标准误差。接下来，我们在第3.2节中正式将这些结论推广到一般Z-估计。最后，在第3.3节中，我们建立了一个条件，在这个条件下，无论是在有限样本还是渐近样本中，小α的近似值都是一致准确的。我们将看到，在我们理解AMIP鲁棒性时，一个中心方程是将其分解为三个关键量：信号、噪声和形状。首先是信号 是我们的兴趣量变化的大小，这将推翻我们的实质性结论（见上文第2.3节）。信号的大值 表明需要做出重大改变才能做出不同的决定。其次，噪声∑ψ由∑ψ定义：=NNXn=1（NψN）（13）。我们称∑ψ为噪声，因为∑ψ通常是极限分布方差的一致估计√Nφ（^θ），这一事实将从以下AMIP稳健性、稳健性标准误差估计器和影响函数之间的关系中得出（见第3.2.1节（b）段或更一般地说，第3.2.3节（d）段）。

第三，形状^Tα定义为^Tα：=-NbαNcXn=1Nψ（n）^σψIψ（n）<0, （14） 式中，ψ（n）表示影响分数的n阶统计量，I（·）表示指示函数，当其参数为真时取值1，否则取值0。形状^Tα以一种复杂的方式取决于影响分数分布尾部的形状，但我们表明0≤^Tα≤pα（1）- α） 概率为1，且^Tα在标准假设下以概率收敛到非零常数（见第3.2.1节，第（c）段）。鉴于这三个数量，我们将在第3.2.1节（a）段中说明分析是AMIP非稳健的<=>^σψ≤^Tα。（15） 我们指的是数量/^σψ为信噪比。对于给定的α，等式15表明，主要决定AMIP稳健性的是信噪比。此外，这种分解允许我们简洁地比较标准误差和粗差稳健性的不确定性，以及分析AMIP稳健性的大N行为。本节将使用以下符号。让符号-→ 表示概率收敛，表示分布收敛，均为N→ ∞.设k·kopdenote为矩阵的算子范数。3.1普通最小二乘法的理论和解释我们首先关注正确指定的单变量线性回归的简单情况，以提供直觉并激发更一般的结果。3.1.1普通最小二乘法示例（a）模型的问题设置。设X=（X，…，xN）t表示N个连续平均零回归器的向量，从具有有限方差σX的分布中提取IID。设ε=（ε，…，εN）表示从N（0，σε）分布中提取的IID向量，我们假设σε已知。对于未知θ∈ R、 设yn=θxn+εn，使向量Y=（Y。

，yN）给定的X是从一个正确指定的回归模型中得出的，该模型具有真实系数θ。（b） 加权估计方程。OLS估计量^θ传统上是通过最大化（对数）似然找到的：对数p（yn|θ，xn）=-2σε（yn）- θxn）+C，其中C不依赖于θ。特别是，将对数似然的导数设置为零，得到估计方程G（θ，dn）=-σε（yn）- θxn）xn=0。也就是说，^θ是选择G的Z-估计量（见等式1）。典型的Zestimators没有封闭形式的解决方案。但在这种情况下，估计方程的解返回通常的OLS估计。类似的推导返回等式3中给出的加权估计方程的解：^θ（~w）=NPNn=1~wnxn-1NPNn=1~wnynxn。（c） 利息的数量。假设我们对θ的符号感兴趣。在不丧失一般性的情况下，我们假设^θ<0。那么我们感兴趣的量是φ（θ）=θ。（d） 信号和噪音。对于我们感兴趣的数量，信号是 =^θ既然，如果我们能增加θ^θ, 它的标志会改变。为了计算噪音，我们计算影响分数。直接对^θ的显式公式进行微分，必然会得到与等式9的隐式函数定理结果相同的ψ值。任εn:=yn-^θx和SX:=NPNn=1xn，我们通过直接微分或等式9看到，ψn=n-1S-1Xxn^εn.对于噪声^σψ的直觉，我们观察它的渐近行为。OLS的标准结果给出：^σψ=NNXn=1（NψN）=S-2XNNXn=1xn^εnp-→σεσx.（16）注意，噪声包括残差和回归方差的贡献。我们将^σψ称为“噪声”，因为它估计了√N^θ，而不是残差（见下文第3.1.2节第（e）段）。