发帖
雷达卡
大家如需免费资源可自行在网络上搜索。
A dissertation submitted to the
SWISS FEDERAL INSTITUTE OF TECHNOLOGY
ZURICH
for the degree of
Doctor of Mathematics
presented by
MICHAEL MARKUS STUDER
Dipl. Math. ETH
born September 1, 1972
citizen of Maschwanden ZH
accepted on the recommendation of
Prof. Dr. H. R. K¨unsch, examiner
Prof. Dr. P. B¨uhlmann, co–examiner
Prof. Dr. T. Gasser, co–examiner
PD. Dr. B. Seifert, co–examiner
1 Introduction 6
1.1 Nonparametric regression estimation . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.2 Contents of the thesis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2 General 11
2.1 Local linear regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.2 Additive modeling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
2.3 MLN estimator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.3.1 On notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.3.2 A versatile function space . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.3.3 Estimation in the additive model . . . . . . . . . . . . . . . . . . . . . . . 15
2.3.4 Backfitting algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.3.5 Asymptotics for local polynomials . . . . . . . . . . . . . . . . . . . . . . 17
3 Non–additivity penalized estimation 19
3.1 Model and notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
3.2 Nadaraya–Watson with penalty . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
3.2.1 Nadaraya–Watson . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
3.2.2 Dimension reduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
3.2.3 Interpretation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
3.2.4 Additional remarks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
3.3 Generalizing to local polynomials . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
3.3.1 Local polynomial regression . . . . . . . . . . . . . . . . . . . . . . . . . . 23
3.3.2 Estimation of the regression function itself . . . . . . . . . . . . . . . . . . 24
3.4 Penalized local linear estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
3.4.1 Regularizing the nuisance parameters . . . . . . . . . . . . . . . . . . . . 26
3.4.2 Comments on convex combination . . . . . . . . . . . . . . . . . . . . . . 28
3.4.3 On different penalties on intercept and slopes . . . . . . . . . . . . . . . . 29
3.5 Pairwise interaction terms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
3.6 Semiparametric modeling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
4 Properties of the penalized estimator 32
4.1 Comparison with MLN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
4.1.1 Function spaces and norms . . . . . . . . . . . . . . . . . . . . . . . . . . 32
4.1.2 Some operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
4.1.3 Projection to Fadd . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
4.2 Finite grid properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
4.2.1 Specification of Z . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
4.2.2 Specification of eZ. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
4.2.3 Illustration of grid dependence . . . . . . . . . . . . . . . . . . . . . . . . 37
4.3 About parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
4.3.1 Influence of the parameters on variance and bias . . . . . . . . . . . . . . 40
4.3.2 Local alternatives to the additive model . . . . . . . . . . . . . . . . . . . 42
4.3.3 On different penalties for intercept and slopes . . . . . . . . . . . . . . . . 42
5 Numerical evaluation 44
5.1 Regression function . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
5.2 Design . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
5.3 Implementation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
5.3.1 Output grid . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
5.3.2 Bandwidths . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
5.3.3 Extreme penalties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
5.4 MISE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
5.4.1 MISE for superposed peaks regression function and 200 design points . . 49
5.4.2 Odd behavior of the bias for small bandwidths . . . . . . . . . . . . . . . 52
5.5 AIC and ISE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
5.5.1 ISE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
5.5.2 AIC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
5.5.3 AIC vs ISE for 200 observations . . . . . . . . . . . . . . . . . . . . . . . 54
5.5.4 AIC vs ISE for 1600 observations . . . . . . . . . . . . . . . . . . . . . . . 58
5.5.5 AIC vs ISE for 100 equidistant observations . . . . . . . . . . . . . . . . . 58
5.5.6 AIC vs ISE for 104 rotated equidistant observations . . . . . . . . . . . . 59
5.5.7 Others . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
5.6 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
A Remarks on MLN 61
A.1 Notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
A.2 Details about normal equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
A.3 Details of theorem MLN:4’ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
A.4 Assumptions in MLN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
B Proofs for section 3 66
B.1 Section 3.2.2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
B.2 Section 3.2.3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
B.3 Section 3.2.4 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
B.4 Section 3.3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
C Proofs for section 4.1 69
C.1 Proof of lemma 4.1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
C.1.1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
C.1.2 Lemma MLN:1’ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
C.1.3 Lemma MLN:2’ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
C.2 Some remarks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
C.2.1 Backfitting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
C.2.2 Convex combination . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
C.2.3 Remark on lower bound and continuous inverse . . . . . . . . . . . . . . . 78
C.3 Proof of lemma 4.2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
C.4 Proof of theorem 4.3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
D Remarks and proofs for section 4.2 80
D.1 Redundancy in Z . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
D.2 Fixed design in a neighborhood of [0, 1]d . . . . . . . . . . . . . . . . . . . . . . . 80
D.3 Lower bound for K2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
D.4 Diagonal elements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
E Proofs for section 4.3 82
E.1 Section 4.3.1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
E.2 Section 4.3.3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
F S–plus and R programs 84
F.1 Get maximal dimension . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
F.2 Output Grid . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
F.3 Local bandwidths . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
F.4 Normalizations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
F.5 Local linear estimator with non–additivity penalty . . . . . . . . . . . . . . . . . 88
F.6 GridISE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
F.7 GridAIC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
F.7.1 GridAIC.ISE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98
F.8 GridMISE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
京公网安备 11010802022788号
