非参数并矢方程的极小极大风险和一致收敛速度

这两个界限都要求截断阈值足够小。为了限制剩余RN的大小，我们可以使用一个三角形不等式来限制其第一时刻的sup，或者使用Borel-Cantellimma来限制其非零概率。这两个界限都要求截断阈值较大。只有当带宽序列满足条件max时，满足这两个要求的适当截断阈值才存在明尼苏达州（aNh2dXN）-s-[N（ln（ln）ln]-s-1N 闵A.-1N，Nln NhdXN.这种情况的复杂形式本质上是技术性的。当所有（有条件）的矩都有界时，s=∞ （根据上述假设3.3），该条件简化了toNln NhdXN 1.为了说明核回归估计量^gN的弱一致收敛结果，我们需要对核进行额外的光滑性假设。和核估计的其他应用一样，这些假设用于减少偏差。假设3.4（内核，B部分）。ZRdWwl···WLDWK（w）dw=（1，如果l=···=ldW=00，如果（l，…，ldW）∈ ZdW+和l+··+ldX<β我们现在可以给出NW回归估计在扩张集序列上并矢相关下的一致收敛结果。定理3.3。假设fW，g∈ ∑（β，L）和δN=inf | | w||≤CNfW（w）>0，δ-1Na*N→ 0在哪里*N:=ln NNhdXN1/2+hβN.在定理3.2和假设3.4sup | | w的假设下||≤CN|^gN（西）- g（w）|=Op（δ）-1Na*N） 。最优收敛速度为p | | w||≤CN|^gN（西）- g（w）|=Opδ-1Nln NNβ2β+dX！。与iid情况一样，KW估计器达到了定理2建议的最佳速率。1对于CN=C的紧集。如果我们看一系列接近整个空间RdW的扩张集，那么对于分离器fW（w）的存在，还有一个额外的惩罚项δNdue。参考萨科内斯，M.A.和吉恩，E.（1993）。u-过程的极限定理。

《概率年鉴》，21（3）：1494-1542。Aronow，P.M.，Samii，C.和Assenova，V.A.（2017年）。聚类——二元数据的稳健方差估计。政治分析，23（4）：564-577。Boucheron，S.，Lugosi，G.，和Massart，P.（2013）。集中不等式：独立性的非交感理论。牛津大学出版社。蒋，H.D.，加藤，K.，马，Y.，和佐佐木，Y.（2019）。多向聚类鲁棒的双/基于DEBIASE的机器学习。arXiv预印本arXiv:1909.03489。格雷厄姆，B.S.（2020a）。网络数据。在《计量经济学手册》第7卷。北荷兰，阿姆斯特丹。格雷厄姆，B.S.（2020b）。logistic回归的稀疏网络渐近性。arXiv预印本XIV:2010.04703。格雷厄姆，B.S.，牛，F.和鲍威尔，J.L.（2019）。无向数据的核密度估计。arXiv预印本arXiv:1907.13630。汉森，B.E.（2008）。依赖数据核估计的一致收敛速度。计量经济学理论，24（3）：726-748。Ibragimov，I.A.和Has\'Minskii，R.Z.（1982）。非参数回归估计的风险界限。概率论及其应用，16:84–99。Ibragimov，I.A.和Has\'Minskii，R.Z.（1984）。lo中非参数回归估计质量的渐近界。《苏联数学杂志》，25:540-550。林顿，O.和尼尔森，J.P.（1995）。基于边缘积分的结构化非参数回归估计的核方法。Biometrika，82:93–100。纽伊，W.K.（1994）。部分均值的核估计和一般方差估计。计量经济学理论，第233-253页。斯通，C.J.（1980）。非参数估计的最优收敛速度。《统计年鉴》，8（6）：1348-1360。斯通，C.J.（1982）。非参数回归的最优全局收敛速度。《统计年鉴》，10（4）：1040-1053。齐巴科夫，A.B.（2008）。非参数估计简介。

斯普林格。附录除非另有说明，否则所有符号均按正文规定。方程式编号按正文顺序继续。定理2.1的证明方法遵循Tsybakov（2008）第2章概述的一般方法。为了证明第（i）部分，我们使用Le Cam的两点法来确定某一点回归函数估计的风险下限。为了证明第（二）项涉及到完整性标准，我们使用了法诺的方法。陈述的证明（i）我们陈述的证明（i）基本上涉及检查（Tsybakov，2008）定理2.3的条件，这是为我们的二元回归问题特别公式化的。对于k=0，1，让PkNbe作为观测数据{（Xi，Yij）}1的概率测度≤i6=j≤n用回归函数gkN。Tsybakov（2008）第2.2节中概述的一般化简方案，以及他的定理2.1和2.2，意味着如果我们可以构造两个假设序列g0N，G1n，则我们的定理2.1将成立：（a）回归函数g0N，G1n在H¨older类∑（β，L）中；（b） d（θ，θ）=g1N（w）- g0N（w）|≥ 2AψN，其中ψN=N-对于某些固定的w，β2β+dx和θ=g0N（w）和θ=g1N（w）∈ X×X；（c） p0nf与P1Nis的Kullback-Leibler散度有界：KL（P0N，P1N）≤ α < ∞.证明的“诀窍”是恰当地选择这两个假设序列。让w=（x，x）我们选择序列：g0N（x，x）≡ 0g1N（x，x）=LhβNK十、- xhN+ K十、- xhN+ K十、- xhN+ K十、- xhN其中hN=cN-2β+dx与函数K:RdW→ [0, ∞) 满足感∈ Σ (β, 1/2) ∩ C∞（RdX）和K（x）>0<==> ||x||∞∈ (-1/2, 1/2). （5） 存在满足这个条件的函数K。

例如，对于非常小的a>0，我们可以取k（x）=∏dXi=1λ（xi），其中λ（u）=aη（2u）和η（u）=exp-1.- U1（|u |≤ 1).另见Tsybakov（2008）中的方程式（2.34）。我们按顺序验证条件（a）、（b）和（c）。验证（a）g0N、g1N∈ ∑（β，L）表示s=（s，…，sdX |{z}s，sdX+1，…，s2dX |{z}s），其中|s |=bβc，w=（x，x）和w=（x，x），是g1NisDsg1N（w）=LhβN的短时导数DsK十、- xhN+ DsK十、- xhN+ DsK十、- xhN+ DsK十、- xhN=0如果| S |/∈ {0，| s |}Lhβ-bβcNhDSK十、-xhN+ DSK十、-xhNiif | S |=|S | Lhβ-bβcNhDSK十、-xhN+ DSK十、-xhNiif | S |=0。因此，如果| S |/∈ {0，| s |}，然后| Dsg1N（w）- Dsg1N（w）|=0；如果| S |=|S |，那么| Dsg1N（w）- Dsg1N（w）|=Lhβ-bβcNDSK十、- xhN- DSK十、- xhN+DSK十、- xhN- DSK十、- xhN≤ L | | x- x | |β-bβc∞≤ L | | w- w | |β-bβc∞;最后，如果| S |=0，那么| Dsg1N（w）- Dsg1N（w）|=Lhβ-bβcNDSK十、- xhN- DSK十、- xhN+DSK十、- xhN- DSK十、- xhN≤ L | | x- x | |β-bβc∞≤ L | | w- w | |β-bβc∞.因此g1N∈ ∑（β，L）。我们也有g0N∈ 检验∑（β，L）。验证（b）：d（θ（P0N），θ（P1N））=|g1N（w）-g0N（w）|≥ 2AψN，其中ψN=N-β2β+d检查我们的假设是否分开。我们有| g1N（w）- g0N（w）|=LhβN2K（0）+K十、- xhN+ K十、- xhN≥ 2LhβNK（0）=LK（0）cβψN，因此条件（b）保持A=LK（0）cβ。验证（c）：KL（P0N，P1N）≤ α < ∞该条件允许应用Tsybakov（2008）中定理2.2的第（iii）部分。Webegin通过建立一些有用的符号。让Y=[Yij]1≤i、 j≤N×N邻接矩阵；Gk=[gkN（Wij）]1≤i、 j≤对于k=0，1，两个假设序列的回归函数的相关矩阵；V=[Vij]1≤i、 j≤并矢特定扰动的对应矩阵。注：这些矩阵的对角线都由“结构”零组成。进一步让U=[Ui]1≤我≤Nbe——agent特定干扰的N×1向量。

最后，K是带有ithelementLhβNhK的N×1向量十一-xhN+ K十一-xhNi、 设ιJdenote为1的J×1向量，0ιK，Ja K×J为零的矩阵，ij为J×Jidentity矩阵。我们还定义了以下选择矩阵：T=ιN-10 0··0ιN-20 ··· 0 0..................0 0 0 ··· 1 0（N） ×N，T=\'N-1,1英寸-1\'N-2,2英寸-2.0 1（N） x N，由此我们形成T=T+Tand，最后，T=ιT接下来让y=（vech（y），vech（y））是N（N）- 1） ×1二元结果的矢量化。同样地，让k=0，1和V分别是gk和V的对应向量化。使用这个符号，我们可以写出N（N- 1） ×1复合回归误差向量SEIj=Ui+Uj+Vijas e=TU+v及其方差协方差矩阵为Ohm = Var（e）=IN（N）-1） ×N（N）-1） +TTT。在p0nw下，我们有g=0，y=e，y | X~ N（0，Ohm) .而在p1nw下，我们用thatg=TK，y=TK+e，y | X代替~ N（TK，Ohm) .让Kmax=maxuK（u），回想一下hN=cN-2β+dX。我们现在可以如下评估KL差异：KL（P0N，P1N）=ZlogdP0NdP1NdP0N（6）=Zlogp0N（y | X）P1N（y | X）dP0N=-Zy>Ohm-1y- （y）- g） >Ohm-1（y）- g） dP0N=Zg>Ohm-1gdP0N=EP0NK> T>（I+TT>）-1TK≤EP0NK> K≤LKmaxBh2β+dXNN=LKmaxBc2β+dX，对于足够大的N，使得NhdXN≥ 1和LKmaxh2βn位于上述边界。在上面的推导中，第三个等式来自多元正态密度的形式。第六行的弱不等式成立，因为ek>K- K> T>（I+TT>）-1TK=K>在里面- T> （I+TT>）-1TK=K>IN+T>T-1K≥ 最后，第七行中的弱不等式成立，因为使用上面的条件（5），E“K十一- xhN+ K十一- xhN#≤ 2E“K十一- xhN+K十一- xhN#= 2ZK十、- xhN+K十、- xhNdF（x）≤ 2KmaxZ十、- xhN≤+ 1.十、- xhN≤dF（x）=2KmaxhdXNZ|u|≤[f（x+hNu）+f（x+hNu）]du≤ 4hdXNBKmax，提醒自己之前给出的K的定义也很有帮助。如果我们拿c=2αLKmaxB2β+dX，得到KL（P0N，P1N）≤ α.

这个结果和上面的条件（b）给出了——调用Tsybakov（2008）第29页的方程（2.7）和（2.9）以及定理2.2的第（iii）部分：inf^gNsupg∈∑（β，L）Eg[1（| g1N（w）- g0N（w）|≥ AψN）]≥ maxexp(-α) ,1 -pα！对于足够大的N。一些重排和马尔可夫不等式∈∑（β，L）EghN2β2β+dX（g1N（w）- g0N（w））i≥ Amaxexp(-α) ,1 -pα！。由于不等式右边的常数仅取决于β和L，因此将上述表达式的下限取为N后，定理的（i）部分如下→ ∞.陈述证明（ii）再次让PkNbe作为观测数据的概率度量（Xi，Yij，1）≤ i 6=j≤ N） 用回归函数gkN。Tsybakov（2008）的定理2.5暗示，如果我们能够构建假设序列P0N，P1N，…，则第（ii）部分将成立，使（a）g0N，gkN∈ ∑（β，L），k=1，锰；（b） d（θk，θl）=|gkN- glN||∞≥ 2AψN，ψN=Nln-β2β+dθk=gk和θl=glNfork 6=l和k，l=1，锰；（c） MNPMNk=1kg（包装号，P0N）≤ αln-MN。定义假设：g0N:（x，x）→ 0gkN:（x，x）→ LhβNK十、- xkNhN+ K十、- xkNhNk在哪里∈ IN={1,2，…，mN}dX，hN=cNln-2β+dX，mN=dh-1Ne，MN=|IN |=mdXN，对于k=（k，k，…，kd），xkN=K-1/2mN，k-1/2mN，杜兰特-1/2mN, 函数K:RdX→[0, ∞) 满意度（5）。请注意，这些函数对相同N的支持是不相交的。结果通过验证条件（a）、（b）和（c）得出。我们已经证明了条件（a）在第（i）部分的证明中成立。A=LK（0）cβ的条件（b）成立，因为| | gkN- glN||∞≥ |吉凯恩（xkN，xkN）- glN（xkN，xkN）|=2LhβNK（0）=2LK（0）cβψN.为了验证条件（c），我们评估KL散度：MNXk∈INKL（PkN，P0N）≤MNXk∈INEP0NK> kKk≤MNXk∈IN2Lh2βNKmaxNXi=1Z十一- xkNhN≤dF（xi）=MN2Lh2βNKmaxNXi=1ZXk∈在里面十一- xkNhN≤dF（xi）≤ 2Lh2β+dXNKmaxN=2LKmaxc2β+dXln N。第一行和第二行在第（i）部分中得到了证明。

第四行使用函数gkN，k的支持∈ INare不相交和pk∈在里面十一-xkNhN≤≤ 1.我们有ln MN=ln（mdXN）≥dX2β+dXlnNln- dXln c≥dX2β+dX+1ln N表示足够大的N。因此，条件满足足够大的c。结果来自Sybakov（2008）的定理2.5。定理3.1对^ψ（w）yieldsV应用方差算子的证明^ψ（w）=NN- 2N- 1VN，1+N-1VN，其中，从第二项开始，VN，2=V[YK+YK]≤ V（YK）≤ EYK= H-4dXNZEY |（X，X）=（X，X）K十、- xhN，x- xhNf（x）f（x）dx=h-2dXNZEY |（X，X）=（X- hNs，x- hNs）f（x）- hNs）f（x）- hNs）K（s，s）DSD≤ H-2dXNBKmaxB。接下来，考虑第一个术语。我们得到vn，1=C（YK+YK），（YK+YK）= 五、E（YK+YK）十、 U≤变量EYK十、 U+变量EYK十、 U≤E（YKYK）+E（YKYK）=h-4dXNZE（YY |（X，X，X）=（X，X，X））·K十、- xhN，x- xhNK十、- xhN，x- xhNf（x）f（x）f（x）dx+h-4dXNZE（YY |（X，X，X）=（X，X，X））·K十、- xhN，x- xhNK十、- xhN，x- xhNf（x）f（x）f（x）dx=h-dXNZE（YY |（X，X，X）=（X- hNs，x- hNs，x- hNs）·f（x- hNs）f（x）- hNs）f（x）- hNs）K（s，s）K（s，s）DSDS+h-dXNZE（YY |（X，X，X）=（X- hNs，x- hNs，x- hNs）·f（x- hNs）f（x）- hNs）f（x）- hNs）K（s，s）K（s，s）DSD≤ H-dXNBZ | K（s，s）| K（s，s）| dsds≤ H-dXNBBB。（7） 这两个界限意味着方差界限^ψ（w）≤N-1小时-2dXNBKmaxB+4（N- 2） N（N）- 1） h-dXNBBB=N-1小时-dXNN- 2N- 14BBB+N-1小时-dXN4NN- 1BKmaxB,这反过来意味着，对于M=4BBB+1且足够大的N，V^ψ（w）≤MNHDXN所有w∈ 有人要求赔偿。定理3.2的证明对于正截断参数的τNa序列，我们考虑和∧ψN（w）=NX1≤i<j≤NYij·1（|Yij |<τN）hdWNKW- 威恩+Yji·1（|Yji |<τN）hdWNKW- WjihN.我们将在下面的表达式中使用ZN，ij来表示上述表达式中的总和。

该类U统计量的有效分解为ψ（w）=Eψ（w）+NNXi=1′ZN，i |{z}TN，1（w）+NX1≤i<j≤NZN，ij |{z}TN，2（w），其中`ZN，i=Eh＠ZN，ijXi，Uii- EZN，ijZN，ij=~ZN，ij- EhZN，ijXi，Uii- EhZN，ijXj，Uji+EZN，ij。注意，TN，1（w）是N个iid均值为零的随机变量的平均值，而TN，2（w）是二阶U型统计量。为了进一步进行，我们需要下面的引理。引理3.4。在假设3.1和3.2下，对于任何α>0，存在常数Mα，例如（i）如果τN A.-1N，然后是supw∈RdWP（|TN，1（w）|>MαaN）=O（N）-α);（ii）如果τN NhdX/ln N和aN=o（1），然后supw∈RdWP（|TN，2（w）|>MαaN）=O（N）-α);（iii）如果某些s>1，则为supx，x∈RdXE|Y | s（X，X）=（X，X）·f（x，x）≤ B4，s<∞ 和τN A.-s-1N，然后是supw∈RdWE^Φ（w）-■Φ（w）= o（安）；（iv）如果某些s>1，E | Y | s≤ B6，沙τN （aNh2dXN）-s-1，然后是SUPW∈RdW公司^ΦN（w）-■ΦN（w）= oP（aN）；（v） 如果对于一些s>2，τN=（NφN）swwhereφN=（ln（ln N））ln和E | Y | s≤ B6，s，然后P（ΦN=^ΦN）=P^ΦN（w）=，W∈ R2dX→ 1作为N→ ∞.下面可以找到上述引理的证明。定理3.2中假设的带宽条件确保我们可以选取满足以下条件1的截断阈值τn。τN A.-1N；2.τNNln NhdXN；3.τN A.-s-1N；4.τN （NφN）sorτN （aNh2dXN）-s-1.这些条件允许应用引理3.4。表示RN（w）：=^ψN（w）-ψN（w）。对于任何一组CN R2d，P苏普∈CN^ψN（w）- E^ψN（w）> 8人= P苏普∈CNψN（w）- E△ψN（w）+RN（w）- 厄恩（西）> 8人≤ P苏普∈CNψN（w）- E|ψN（w）> 6人+ P苏普∈CN | RN（西）- ERN（w）|>2人. （8） 不等式（8）中的第二项收敛到零，因为苏普∈CN | RN（西）- ERN（w）|>2人≤ Psupw∈RdW | RN（西）- ERN（w）|>2人！≤ Psupw∈RdW | RN（w）|>男人！+1SUSP∈伙计！（9） =o（1）。最后一行之所以成立是因为∈男人！=0表示大N（10）Psupw∈RdW | RN（w）|>男人！=作品（1）。

（11） 参见（10），注意引理3.4的第（iii）部分暗示了supw∈RdW | ERN（w）|=o（aN）。因此1（supw∈R2d | ERN（w）|>MaN）=0表示大N。要查看（11），请注意不等式supw∈RdW | RN（w）|>伙计！≤ 闵1.- P（ΦN=^ΦN），E supw∈RdW | RN（w）|人,建议我们可以将右边的任一项绑定到左边的项。我们选择的阈值满足引理3.4的（iv）和（v）两部分的条件，这确保- P（^ΦN=^ΦN）=o（1）矿石供应∈RdW | RN（w）| MaN=o（1）。这意味着（11）。为了显示不等式（8）中的第一项收敛到零，我们将使用覆盖参数来减少查找有限个点上的上确界，以查找最大的超有限个点。然后我们调用逐点浓度边界。这一部分紧跟汉森（2008）的论点。覆盖任何紧凑区域CN RdWby在集合LN={wN，1，wN，2，…，wN，LN}的网格点处以Ann为中心的半径球的有限个数（在这里我们滥用了一点符号：LN用于指代集合及其基数）。表示球AN，j={w∈ RdW:| | w- wN，j | |≤ 安。对于足够大的N，对于任意点w，a<L（L是假设3.3中出现的常数）∈ 在球内，假设3.3（ii）暗示KW- Wijh- KwN，j- Wijh≤ aNK*wN，j- Wijh. （12） 定义ΦN（w）：=N（N）- 1） X1≤i6=j≤NYij·1（|Yij |<τN）hdWK*W- Wijh,这是一个版本的Φ（w），K被K取代*. 界限（12）意味着ψN（w）-ψN（wN，j）≤ aNΦN（wN，j），带|EΦN（wN，j）|≤ B1/2B1/2R | K*（w） | dw<∞.

下一步，中锋阿瓦鲁将sup与sup分开，将sup固定在球内∈安，jψN（w）- E|ψN（w）≤ψN（wN，j）- E△ψN（wN，j）+ 苏普∈安，jψN（w）-ψN（wN，j）+ 苏普∈安，jEψN（w）-ψN（wN，j）≤ψN（wN，j）- E△ψN（wN，j）+ aNhΦN（wN，j）+EΦN（wN，j）i≤ψN（wN，j）- E△ψN（wN，j）+ 一ΦN（wN，j）- EΦN（wN，j）+ 2aNEΦN（wN，j）≤ψN（wN，j）- E△ψN（wN，j）+ΦN（wN，j）- EΦN（wN，j）+ 2aNEΦN（wN，j）。最后一个不平等是因为≤ 1换足够大的N。对于任何常数M≥B1/2B1/2R | K*（w） | dw≥ EΦN（wN，j），Psupw∈安，jψN（w）- E|ψN（w）> 6个人！≤ PψN（wN，j）- E△ψN（wN，j）+ΦN（w）- EΦN（w）+ 2aNEΦN（w）>6MaN≤ PψN（wN，j）- E△ψN（wN，j）> 2人+ PΦN（w）- EΦN（w）> 2人,还有asP苏普∈CNψN（w）- E|ψN（w）> 6人≤LNXj=1Psupw∈安，jψN（w）- E|ψN（w）> 6个人！≤ LNmaxj∈{1,2，…，LN}Psupw∈安，jψN（w）- E|ψN（w）> 6个人！≤ LNmaxj∈{1,2，…，LN}PψN（wN，j）- E△ψN（wN，j）> 2人+ LNmaxj∈{1,2，…，LN}PΦN（w）- EΦN（w）> 2人. （13） 现在，我们使用相同的参数来约束（13）中的两个项，就像K和K一样*满足假设3.1，这是函数K或K的唯一性质*我们将使用。对于引理3.4中的任意α>0和Mα，对于任意w∈ RdWsupw∈RdWPψN（w）- E|ψN（w）> 2MαaN= 苏普∈RdWP（|TN，1（w）+TN，2（w）|>2MαaN）≤ 苏普∈RdWP（|TN，1（w）|>MαaN）+supw∈RdWP（|TN，2（w）|>MαaN）=ON-α.亨塞普苏普∈CNψN（w）- E|ψN（w）> 6人≤ OLNN-α.如果我们取CN={w∈ RdW:| | w | |<cN}其中cN=Nq，那么cnn可以由n=2覆盖cNaNhNdWn半径为aNhN的球数。因此我们可以取足够大的α，例如α=（q+）dW+3，这样O（LNN-α） =OcNaNhNdWN-α= ON（q+）dW+2-α=O（N）-1） =o（1）。因此，我们证明了这一点苏普∈CNψN（w）- E|ψN（w）> 6人= o（1）。（14） 两个界限（9）和（14）加在一起意味着等式（8）的右边是o（1）。