Introduction to nonparametric estimation

相似文件 换一批

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

Springer Series in Statistics

Introduction to
Nonparametric Estimation


Alexandre B. Tsybakov

Contents
1 Nonparametric estimators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.1 Examples of nonparametric models and problems . . . . . . . . . . . . 1
1.2 Kernel density estimators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.2.1 Mean squared error of kernel estimators . . . . . . . . . . . . . . 4
1.2.2 Construction of a kernel of order  . . . . . . . . . . . . . . . . . . . 10
1.2.3 Integrated squared risk of kernel estimators . . . . . . . . . . . 12
1.2.4 Lack of asymptotic optimality for fixed density . . . . . . . . 16
1.3 Fourier analysis of kernel density estimators . . . . . . . . . . . . . . . . 19
1.4 Unbiased risk estimation. Cross-validation density estimators . 27
1.5 Nonparametric regression. The Nadaraya–Watson estimator . . . 31
1.6 Local polynomial estimators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
1.6.1 Pointwise and integrated risk of local polynomial
estimators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
1.6.2 Convergence in the sup-norm . . . . . . . . . . . . . . . . . . . . . . . 42
1.7 Projection estimators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
1.7.1 Sobolev classes and ellipsoids . . . . . . . . . . . . . . . . . . . . . . . 49
1.7.2 Integrated squared risk of projection estimators . . . . . . . 51
1.7.3 Generalizations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
1.8 Oracles. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
1.9 Unbiased risk estimation for regression . . . . . . . . . . . . . . . . . . . . . 61
1.10 Three Gaussian models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
1.11 Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
1.12 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
2 Lower bounds on the minimax risk . . . . . . . . . . . . . . . . . . . . . . . . 77
2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
2.2 A general reduction scheme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
2.3 Lower bounds based on two hypotheses . . . . . . . . . . . . . . . . . . . . 81
2.4 Distances between probability measures . . . . . . . . . . . . . . . . . . . . 83
2.4.1 Inequalities for distances . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
2.4.2 Bounds based on distances . . . . . . . . . . . . . . . . . . . . . . . . . 90
xii Contents
2.5 Lower bounds on the risk of regression estimators at a point . . 91
2.6 Lower bounds based on many hypotheses . . . . . . . . . . . . . . . . . . . 95
2.6.1 Lower bounds in L2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
2.6.2 Lower bounds in the sup-norm . . . . . . . . . . . . . . . . . . . . . . 108
2.7 Other tools for minimax lower bounds. . . . . . . . . . . . . . . . . . . . . . 110
2.7.1 Fano’s lemma . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
2.7.2 Assouad’s lemma . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
2.7.3 The van Trees inequality . . . . . . . . . . . . . . . . . . . . . . . . . . . 120
2.7.4 The method of two fuzzy hypotheses . . . . . . . . . . . . . . . . . 125
2.7.5 Lower bounds for estimators of a quadratic functional . . 128
2.8 Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
2.9 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133
3 Asymptotic efficiency and adaptation . . . . . . . . . . . . . . . . . . . . . . 137
3.1 Pinsker’s theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137
3.2 Linear minimax lemma . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140
3.3 Proof of Pinsker’s theorem. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146
3.3.1 Upper bound on the risk . . . . . . . . . . . . . . . . . . . . . . . . . . . 146
3.3.2 Lower bound on the minimax risk . . . . . . . . . . . . . . . . . . . 147
3.4 Stein’s phenomenon. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155
3.4.1 Stein’s shrinkage and the James–Stein estimator . . . . . . . 157
3.4.2 Other shrinkage estimators . . . . . . . . . . . . . . . . . . . . . . . . . 162
3.4.3 Superefficiency . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165
3.5 Unbiased estimation of the risk . . . . . . . . . . . . . . . . . . . . . . . . . . . . 166
3.6 Oracle inequalities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174
3.7 Minimax adaptivity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179
3.8 Inadmissibility of the Pinsker estimator . . . . . . . . . . . . . . . . . . . . 180
3.9 Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185
3.10 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187
Appendix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191
Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203
Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏2 回帖

关键词：introduction Estimation Parametric troduction nonpara problems Series error

先收藏了再说，呵呵

做生存分析用的着

謝謝樓主的分享

多谢楼主低价分享～！

总算找到了，谢谢楼主

谢谢分享

谢谢楼主的分享，赞。。。。