非参数并矢方程的极小极大风险和一致收敛速度

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

英文标题：
《Minimax Risk and Uniform Convergence Rates for Nonparametric Dyadic
  Regression》
---
作者：
Bryan S. Graham, Fengshi Niu, James L. Powell
---
最新提交年份：
2021
---
英文摘要：
  Let $i=1,\\ldots,N$ index a simple random sample of units drawn from some large population. For each unit we observe the vector of regressors $X_{i}$ and, for each of the $N\\left(N-1\\right)$ ordered pairs of units, an outcome $Y_{ij}$. The outcomes $Y_{ij}$ and $Y_{kl}$ are independent if their indices are disjoint, but dependent otherwise (i.e., \"dyadically dependent\"). Let $W_{ij}=\\left(X_{i}\',X_{j}\'\\right)\'$; using the sampled data we seek to construct a nonparametric estimate of the mean regression function $g\\left(W_{ij}\\right)\\overset{def}{\\equiv}\\mathbb{E}\\left[\\left.Y_{ij}\\right|X_{i},X_{j}\\right].$   We present two sets of results. First, we calculate lower bounds on the minimax risk for estimating the regression function at (i) a point and (ii) under the infinity norm. Second, we calculate (i) pointwise and (ii) uniform convergence rates for the dyadic analog of the familiar Nadaraya-Watson (NW) kernel regression estimator. We show that the NW kernel regression estimator achieves the optimal rates suggested by our risk bounds when an appropriate bandwidth sequence is chosen. This optimal rate differs from the one available under iid data: the effective sample size is smaller and $d_W=\\mathrm{dim}(W_{ij})$ influences the rate differently.
---
中文摘要：
让$i=1、\\ldots，N$索引从一些大群体中抽取的简单随机样本单位。对于每个单元，我们观察回归向量$X{i}$，对于每个$N\\left（N-1\\right）$有序单元对，结果$Y{ij}$。如果结果$Y_{ij}$和$Y_{kl}$的指数是不相交的，则它们是独立的，但在其他情况下是相依的（即“二元相依”）。设$W_{ij}=\\left（X_{i}\'，X_{j}\'\\right）$；利用采样数据，我们试图构造均值回归函数$g\\left（W_{ij}\\right）\\overset{def}{\\equiv}\\mathbb{E}\\left[\\left.Y_{ij}\\right | X_{i}，X_{j}\\right]的非参数估计我们给出了两组结果。首先，我们计算在（i）点和（ii）无穷范数下估计回归函数的极小极大风险的下界。第二，我们计算了（i）点态和（ii）一致收敛速度为二元模拟熟悉的纳达拉亚-沃森（NW）核回归估计。我们证明，当选择适当的带宽序列时，NW核回归估计达到了风险界建议的最佳速率。该最佳速率与iid数据下的可用速率不同：有效样本量较小，$d_W=\\mathrm{dim}（W_{ij}）$对速率的影响不同。
---
分类信息：

一级分类：Mathematics        数学
二级分类：Statistics Theory        统计理论
分类描述：Applied, computational and theoretical statistics: e.g. statistical inference, regression, time series, multivariate analysis, data analysis, Markov chain Monte Carlo, design of experiments, case studies
应用统计、计算统计和理论统计：例如统计推断、回归、时间序列、多元分析、数据分析、马尔可夫链蒙特卡罗、实验设计、案例研究
--
一级分类：Economics        经济学
二级分类：Econometrics        计量经济学
分类描述：Econometric Theory, Micro-Econometrics, Macro-Econometrics, Empirical Content of Economic Relations discovered via New Methods, Methodological Aspects of the Application of Statistical Inference to Economic Data.
计量经济学理论，微观计量经济学，宏观计量经济学，通过新方法发现的经济关系的实证内容，统计推论应用于经济数据的方法论方面。
--
一级分类：Statistics        统计学
二级分类：Statistics Theory        统计理论
分类描述：stat.TH is an alias for math.ST. Asymptotics, Bayesian Inference, Decision Theory, Estimation, Foundations, Inference, Testing.
Stat.Th是Math.St的别名。渐近，贝叶斯推论，决策理论，估计，基础，推论，检验。
--

---
PDF下载：
--> Minimax_Risk_and_Uniform_Convergence_Rates_for_Nonparametric_Dyadic_Regression.pdf (477.61 KB)

2022-4-26 13:53:35 上传

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：一致收敛 非参数 econometrics Multivariate Econometric

非参数二进回归的极小极大风险和一致收敛速度Bryan S.Graham*, 牛凤石+，詹姆斯·L·鲍威尔，§初稿：2019年7月，本稿：2021年3月摘要i=1，N指数从某个大群体中抽取的单位的简单随机样本。对于每一个单元，我们观察回归向量xind，对于N（N）中的每一个- 1） 有序的成对单位，一个结果Yij。如果它们的指数不相交，则结果与Yijand Yklareindependent无关，但在其他情况下，结果与Yijand Yklareindependent无关（即“二元依赖”）。让Wij=Xi，Xj; 利用采样数据，我们试图构造均值回归函数g（Wij）def的非参数估计≡ E[Yij | Xi，Xj]。我们给出了两组结果。首先，我们计算在（i）点和（ii）在完整性范数下估计回归函数的极小极大风险下界。其次，我们计算了熟悉的Nadaraya-Watson（NW）核回归估计的并矢对数的（i）逐点收敛速度和（ii）一致收敛速度。我们证明了当选择合适的带宽序列时，NW核回归估计达到了风险界建议的最优速率。该最佳速率与iid数据下的可用速率不同：有效样本量较小，且DW=dim（Wij）对速率的影响不同。JEL代码：C14关键字：网络，可交换随机图，并元回归，核回归，极大极小风险，一致收敛。*加州大学伯克利分校经济系和国家经济研究局，电子邮件：bgraham@econ.berkeley.edu+加州大学伯克利分校经济系，电子邮件：fniu@berkeley.edu——加州大学伯克利分校经济系，电子邮件：powell@econ.berkeley.edu§我们感谢加州大学伯克利分校的研讨会听众提供的有用反馈。

我们还感谢Matias Cattaneo、Michael Jansson和Harold Chiang提供了有用的评论和讨论。所有通常的批评者都适用。感谢国家科学基金会（SES#1357499，SES#1851647）的资助。1引言让我=1，N指数从大量人口中抽取的简单随机样本。对于每一个单元，我们观察回归向量xind，对于每一个N（N- 1） 订购的单位对或定向二元，我们观察“二元”结果Yij（例如，从i国到j国的总出口）。如果Yijand-Yklar的指数是不相交的，则其结果是独立的，但在其他方面是独立的（例如，从日本到韩国的出口可能与从日本到越南的出口共变）。让Wij=Xi，Xj; 利用采样数据，我们试图构造均值回归函数g（Wij）def的非参数估计≡ E[Yij | Xi，Xj]。（1） 我们给出了两组结果。首先，我们计算在（i）点和（ii）在完整性范数下预测回归函数的极小极大风险的下界。其次，我们计算纳达拉亚-沃森（NW）核回归估计器的并矢模拟的（i）逐点和（ii）一致收敛速度。我们证明，当选择适当的带宽序列时，NW核回归估计达到了我们的风险界所建议的最佳速率。类似的结果在i.i.d.设置中广泛可用。有关非参数回归风险界限，请参见Stone（1980、1982）和Ibragimov and Has’Minskii（19821984）。Tsybakov（2008）对这些结果进行了巧妙的综合，我们从中得出了自己的证明。核平均值与i.i.d.的一致收敛性。

例如，Newey（1994）和Hansen（2008）分别研究了数据和平稳强混合数据。后一篇论文包括对该领域大量文献的补充参考。我们的一致收敛证明基于Hansen（2008）的一致收敛证明。Graham等人（2019）首先考虑了利用并矢数据进行非参数密度估计；Chiang等人（2019）给出了并矢密度估计的一致收敛结果。我们的结果为二进非参数估计问题的结构提供了见解。我们的极小极大风险界限表明，N是单位数，而不是ndef≡ N×（N）- 1） ，即二元结果的数量，是二元估计问题的相关“样本量”。这与经验主义研究人员长期以来的直觉一致，即二元依赖性会降低推理的准确性（见Aronow等人（2017）和本文引用的参考文献），并且随着更正式的收敛速度的减少，但数量越来越多。蒋等人（2019）提出的推理方法可能会适应我们的环境。结果（参见Graham，2020a）。更令人惊讶的是，我们发现估算问题的相关维度是justdX=dim（Xi），而不是dW=2dX。我们为这一事实提供了两种直觉。第一个，如下所述，源于我们的极大极小风险界计算背后的思想实验。第二个原因是，NW估计量的哈耶克投影具有“部分平均”结构。众所周知，对一些回归系数的边际分布进行平均，同时保持其余回归系数不变，可以提高收敛速度（例如，Newey，1994；Linton和Nielsen，1995）。格雷厄姆（2020a）利用二元数据调查经济学的实证研究。

经济学、其他学术领域和企业环境对此类数据的兴趣和可用性都在增长。本文给出了二进数据非参数回归的一组初步结果。当然，这些结果具有直接的意义。与他们的i.i.d.前辈一样，它们也应该有助于证明二元依赖下两步半参数M估计的一致性（关于二元数据的双机器学习的一些结果，参见Chiang等人（2019）），N指数从大量人口中抽取的简单随机样本。计量经济学家观察每个样本单位的回归向量Xi，以及每个样本单位的有向对（即每个有向二元）的标量结果Yij。LetZN=（X，…，XN，Yij，1）≤ i 6=j≤ N） N个单位采样时的可观测数据。兴趣的回归函数如上（1）。目标是构造g:RdW的非参数估计→ R其中dW=2dx。我们假设Yijis是根据以下条件独立二元（CID）模型生成的（参见Graham，2020a，第3.3节）。Yij=h（Xi，Xj，Ui，Uj，Vij）。（2） 随机抽样确保（Xi，Ui）在i=1，N.我们进一步假设{（Vij，Vji）}1≤i<j≤奈尔i.i.d.和指数ofX=（X，…，XN）和U=（U，…，UN）。这里h是一个未知函数，通常称为graphon。这种设置也可以作为更原始的可交换性假设的一种含义推导出来，具有以下含义（更多讨论见Graham（2020a，b））：。鉴于Wij，Yijare相对可交换。也就是说，Y的条件分布在指数σ：N的置换中是不变的→ N满足约束[Wσ（i）σ（j）]d=[Wij]：[Yij]d=[Yσ（i）σ（j）]。

如果指数不相交，则Yijand Yklar是独立的。3.Yijand-Yklare-dependent（无条件或有条件地给出X，…，XN），前提是它们至少有一个共同的索引。统计问题是当回归函数g的唯一先验限制是它属于H–older类函数时，对其进行估计。定义2.1。（H–older类）给定一个向量s=（s，…，sd），定义s |=s+··+sdandDs=s+··+sd西南···sdwd。设β和L为两个正数。RDI上的H类∑（β，L）定义为L=bβc乘以可微函数g:Rd的集合→ R其偏导数Dsg满足| Dsg（w）- Dsg（w）|≤ L | | w- w | |β-L∞, w、 w∈ rds表示所有的| s |=bβc。bβc表示严格小于实数β的最大整数。函数w7的估计量→ ^gN（w）=^gN（w，ZN）相对于Z可测量。我们的第一个结果建立了在单一点和完整性范数下估计回归函数的最小最大风险下限。我们在高斯错误假设下陈述了这个结果，这简化了证明。定理2.1。（极大极小风险下界）假设β>0，L>0；Xi以密度f和supxf（x）连续分布在RDx上≤ B<∞; 根据以下非参数回归模型生成Yijis：Yij=g（Wij）+eij，i6=j，其中eij=Ui+Uj+Vij，Uiiid~ N（0，1）和Vijiid~ N（0，1），然后（i）表示所有w∈ RdW，lim infN→∞inf^gNsupg∈∑（β，L）EghN2β2β+dX（^gN（w）- g（w））i≥ c、 其中c>0仅取决于β和L.（ii）lim infN→∞inf^gNsupg∈∑（β，L）Eg“Nln2β2β+dX | |^gN- g||∞#≥ c、 其中c>0也仅取决于β和L。我们的证明遵循Tsybakov（2008）第2章中概述的一般配方。某一点上的下边界基于勒坎的两个假设方法。

完整性规范下的下限基于Fano的多假设方法。在我们的证明中，关键且新颖的一步是，根据库尔贝克-莱布尔（KL）散度，构建彼此足够接近的假设，同时根据目标回归函数，构建不同的假设。我们构造的一个基本特征是回归函数的加性可分性。在我们考虑的假设中，Yij=k（Xi）+k（Xj）+Ui+Uj+Vij。接下来假设我们也观察到了Tidef≡ k（Xi）+Ui。观察（Xi，Ti，i=1，…，N）对（Xi，Ti，i=1，…，N，Ykl，1）有效≤ k6=l≤ N） 对于参数k，众所周知，使用iid数据（Xi，Ti，i=1，…，N）估计k的最佳收敛速度为N-β2β+dx逐点和Nln-β2β+dx为单位标准。我们预计估算g的速度不会超过这些。定理2.1的证明使这种直觉变得严格。相对于它的iid对应物，定理2.1有两个显著的特征。首先，相关样本量不是观察到的二元结果数n=n×（n）- 1） ，但取而代之的是采样单位的数量，N。共享结果之间的依赖性表明，in common足够强，足以减慢可行的收敛速度。第二，尽管回归函数有dW=2dx的参数，但收敛速度结果中反映的相关维度仅为dX（即，仅为天真预期的一半）。我们构建的假设形式为第二个结论提供了一种直觉：显然，估算k（x）问题的相关维度只是dX。

与此相关的是，这一发现与林顿和尼尔森（1995）对可加性抛物线的分析一致，但在其他方面与非参数回归函数一致（另见Newey（1994））。二元数据的成对结构导致了明显的数据丰度（样本数量，但观察O（N）结果！）。这种丰富既是虚幻的，因为有效样本量实际上只有N，也是真实的，从某种意义上说，成对结果数据的可用性允许通过偏均值平均有效地降低问题的维数（如纽伊（1994）和林顿与尼尔森（1995）在不同的背景下）。3二元回归的核估计在本节中，我们研究特定非参数回归估计的性质。即著名的Nadaraya Watson（NW）核回归估计器的并矢模拟。虽然我们的结果特别适用于这种估计，但例如，它们可以扩展应用于局部线性回归（例如，Hansen，2008）。并元NW核回归估计量为^gN（w）：=P1≤i6=j≤NKij，N（w）YijP1≤i6=j≤NKij，N（w），（3）其中kij，N（w）：=hdWNK权重系数- whN,K是一个固定的多元核函数，HN是一个消失的带宽序列。我们首先得出一系列结果，这些结果有助于限定形式为^ψN（w）：=N（N）的核对象的方差- 1） X1≤i6=j≤NYijKij，N（w）（4），然后将这些结果应用于NW回归估计。然后，我们对估计量的偏差进行约束，并将这两组结果结合起来，形成一个风险界。3.1方差界和一致收敛在这里，我们感兴趣的是限制^ψN（w）与其平均值的偏差。我们首先陈述我们坚持的假设。假设3.1（模型）。数据生成过程如第2节所述，其中（i）xic以边缘密度f（x）s.t连续分布。

好的∈RdXf（x）≤ B<∞;（ii）supx，x∈RdXE|Y|（X，X）=（X，X）· f（x）f（x）≤ B<∞,好的，好的，好的∈RdXE|YY|（X，X，X）=（X，X，X）· f（x）f（x）f（x）≤ B<∞.条件（i）是核估计中的标准条件，而（ii）确保方差计算中出现的各种二阶矩是有限的。假设3.2（内核，A部分）。苏普∈RdW | K（w）|≤ Kmax<∞,Rw∈RdW | K（w）| dw≤B<∞, 还有supx∈RdXR | K（x，x）| dx≤ B<∞.假设3.2被许多广泛使用的多元核函数所满足。我们的初始结果在假设3.1和3.2下成立。定理3.1（方差界）。在假设3.1和3.2以及带宽条件NhdXN下→ ∞ 作为N→ ∞, 存在一个常数M<∞ 因此，对于N sufficientlylargevar^ψN（w）≤MNHDXN所有w∈ RdW。附录中提供了证据。根据我们的风险约束结果，REM 3.1的两个特性值得评论。首先，N不是N=N×（N- 1） 出现在分母中。这是由于共同分享单元的二元体之间的依赖效应。第二，问题的相关维度是dX，而不是dW=2dX，这反映了核加权平均值的U型统计结构，以及这种结构导致的部分平均值。为了建立一致收敛性，我们需要Yijas上的附加矩条件以及核K上的一些光滑条件。正如Hansen（2008）所说，我们要求核具有有界支撑和Lipschitz或有界导数和可积尾。有关这些条件的更多讨论，请参见Hansen（2008）。和假设一样。最常用的内核满足这些条件。假设3.3（规则性条件）。

（i） 对于一些s>2，E|Y|s<∞ 和supx，x∈RdXE|Y | s（X，X）=（X，X）· f（x，x）≤ B4，s<∞;（ii）对于某些∧<∞ 而L<∞, 对于| | w | | | L和| K（w），无论是（a）还是（b）都保持（a）K（w）=0- K（w）|≤ ∧| | w- w | |为了所有的w，w∈ R2d（b）K（w）是可区分的，wK（w）≤ ∧，在哪里wK（w）=wK（w）。w2dK（w）∞, 对于一些大于1的人，wK（w）≤ ∧| | w||-对于| | w | |>L.第（ii）部分与Hansen（2008）中的假设3一致。这个假设意味着| | w- w | |≤ δ ≤ 五十、 | K（w）- K（w）|≤ δK*（w） ，K在哪里*（u） 满足假设3.1。如果案例（a）成立，那么K*（u） =2d∧1（| | u | |≤ 2L）。如果案例（b）成立，那么K*（u） =2d[1（| | u | |≤ 2L）+（| | u | |- L）-ν1（|u||>2L）]。在这两种情况下*有界且可积，因此满足假设3.1。定义：=ln NNhdXN1/2.定理3.2（弱一致收敛）。在假设3.1、3.2、3.3和最大带宽条件下明尼苏达州（aNh2dXN）-s-[N（ln（ln）ln]-s-1N米娜-1N，Nln NhdXNoandNln NhdXN→ ∞, 对于任何q>0，cN=Nq，sup | | w||≤cN^ψN（w）- E^ψN（w）= OP（aN）。该定理证明了在半径以多项式速率增长的扩张集上，^ψN（w）在概率上的一致收敛性。在证明中，我们将^ψN（w）分解为两部分^ψN（w）=^ψN（w）+RN（w），其中^ψN（w）=N（N）-1） P1≤i6=j≤NYij·1（|Yij |<τN）Kij，Nis^ψN（w）的截断版本，带有精心选择的阈值参数τ和RN（w）是残差。这种截断引起的有界性在技术上是方便的，因为它有助于各种浓度不等式的应用。为了确定△ψN的浓度，我们将伯恩斯坦不等式应用于其H’ajek投影（即，应用于Hoe ffing分解中的一阶项），并将Arcones和Gine（1993）关于退化U-统计量的浓度不等式应用于Hoe ffing分解中的二阶项。