[/Michael Creel Version 0.4, 06 Nov. 2002, copyright (C) 2002 by Michael Creel
1 License, availability and use 10
1.1 License . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.2 Obtaining the notes . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.3 Use . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.4 Sources . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2 Economic and econometric models 12
3 Ordinary Least Squares 14
3.1 The classical linear model . . . . . . . . . . . . . . . . . . . . . . . 14
3.2 Estimation by least squares . . . . . . . . . . . . . . . . . . . . . . . 15
3.3 Estimating the error variance . . . . . . . . . . . . . . . . . . . . . . 16
3.4 Geometric interpretation of least squares estimation . . . . . . . . . . 17
3.4.1 In X Y Space . . . . . . . . . . . . . . . . . . . . . . . . . . 17
Dept. of Economics and Economic History, Universitat Autònoma de Barcelona.
michael.creel@uab.es
1
3.4.2 In Observation Space . . . . . . . . . . . . . . . . . . . . . . 17
3.4.3 Projection Matrices . . . . . . . . . . . . . . . . . . . . . . . 19
3.5 Influential observations and outliers . . . . . . . . . . . . . . . . . . 20
3.6 Goodness of fit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
3.7 Small sample properties of the least squares estimator . . . . . . . . . 25
3.7.1 Unbiasedness . . . . . . . . . . . . . . . . . . . . . . . . . . 25
3.7.2 Normality . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
3.7.3 Efficiency (Gauss-Markov theorem) . . . . . . . . . . . . . . 26
4 Maximum likelihood estimation 28
4.1 The likelihood function . . . . . . . . . . . . . . . . . . . . . . . . . 28
4.2 Consistency of MLE . . . . . . . . . . . . . . . . . . . . . . . . . . 29
4.3 The score function . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
4.4 Asymptotic normality of MLE . . . . . . . . . . . . . . . . . . . . . 33
4.5 The information matrix equality . . . . . . . . . . . . . . . . . . . . 37
4.6 The Cramér-Rao lower bound . . . . . . . . . . . . . . . . . . . . . 39
5 Asymptotic properties of the least squares estimator 43
5.1 Consistency . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
5.2 Asymptotic normality . . . . . . . . . . . . . . . . . . . . . . . . . . 44
5.3 Asymptotic efficiency . . . . . . . . . . . . . . . . . . . . . . . . . . 45
6 Restrictions and hypothesis tests 47
6.1 Exact linear restrictions . . . . . . . . . . . . . . . . . . . . . . . . . 47
6.1.1 Imposition . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
6.1.2 Properties of the restricted estimator . . . . . . . . . . . . . . 52
6.2 Testing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
2
6.2.1 t-test . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
6.2.2 F test . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
6.2.3 Wald-type tests . . . . . . . . . . . . . . . . . . . . . . . . . 58
6.2.4 Score-type tests (Rao tests, Lagrange multiplier tests) . . . . . 59
6.2.5 Likelihood ratio-type tests . . . . . . . . . . . . . . . . . . . 62
6.3 The asymptotic equivalence of the LR, Wald and score tests . . . . . . 63
6.4 Interpretation of test statistics . . . . . . . . . . . . . . . . . . . . . . 68
6.5 Confidence intervals . . . . . . . . . . . . . . . . . . . . . . . . . . 68
6.6 Bootstrapping . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
6.7 Testing nonlinear restrictions . . . . . . . . . . . . . . . . . . . . . . 71
7 Generalized least squares 76
7.1 Effects of nonspherical disturbances on the OLS estimator . . . . . . 77
7.2 The GLS estimator . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
7.3 Feasible GLS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
7.4 Heteroscedasticity . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
7.4.1 OLS with heteroscedastic consistent varcov estimation . . . . 84
7.4.2 Detection . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
7.4.3 Correction . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
7.5 Autocorrelation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
7.5.1 Causes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
7.5.2 AR(1) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
7.5.3 MA(1) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
7.5.4 Asymptotically valid inferences with autocorrelation of unknown
form . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
7.5.5 Testing for autocorrelation . . . . . . . . . . . . . . . . . . . 104
3
7.5.6 Lagged dependent variables and autocorrelation . . . . . . . . 105
8 Stochastic regressors 107
8.1 Case 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
8.2 Case 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
8.3 Case 3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
8.4 When are the assumptions reasonable? . . . . . . . . . . . . . . . . . 112
9 Data problems 114
9.1 Collinearity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
9.1.1 A brief aside on dummy variables . . . . . . . . . . . . . . . 116
9.1.2 Back to collinearity . . . . . . . . . . . . . . . . . . . . . . . 116
9.1.3 Detection of collinearity . . . . . . . . . . . . . . . . . . . . 118
9.1.4 Dealing with collinearity . . . . . . . . . . . . . . . . . . . . 118
9.2 Measurement error . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
9.2.1 Error of measurement of the dependent variable . . . . . . . . 123
9.2.2 Error of measurement of the regressors . . . . . . . . . . . . 124
9.3 Missing observations . . . . . . . . . . . . . . . . . . . . . . . . . . 126
9.3.1 Missing observations on the dependent variable . . . . . . . . 126
9.3.2 The sample selection problem . . . . . . . . . . . . . . . . . 129
9.3.3 Missing observations on the regressors . . . . . . . . . . . . 130
10 Functional form and nonnested tests 132
10.1 Flexible functional forms . . . . . . . . . . . . . . . . . . . . . . . . 133
10.1.1 The translog form . . . . . . . . . . . . . . . . . . . . . . . . 135
10.1.2 FGLS estimation of a translog model . . . . . . . . . . . . . 141
10.2 Testing nonnested hypotheses . . . . . . . . . . . . . . . . . . . . . . 145
4
11 Exogeneity and simultaneity 149
11.1 Simultaneous equations . . . . . . . . . . . . . . . . . . . . . . . . . 149
11.2 Exogeneity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152
11.3 Reduced form . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155
11.4 IV estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158
11.5 Identification by exclusion restrictions . . . . . . . . . . . . . . . . . 163
11.5.1 Necessary conditions . . . . . . . . . . . . . . . . . . . . . . 164
11.5.2 Sufficient conditions . . . . . . . . . . . . . . . . . . . . . . 167
11.6 2SLS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175
11.7 Testing the overidentifying restrictions . . . . . . . . . . . . . . . . . 179
11.8 System methods of estimation . . . . . . . . . . . . . . . . . . . . . 185
11.8.1 3SLS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186
11.8.2 FIML . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192
12 Limited dependent variables 195
12.1 Choice between two objects: the probit model . . . . . . . . . . . . . 195
12.2 Count data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 198
12.3 Duration data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 200
12.4 The Newton method . . . . . . . . . . . . . . . . . . . . . . . . . . . 203
13 Models for time series data 208
13.1 Basic concepts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 208
13.2 ARMA models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 210
13.2.1 MA(q) processes . . . . . . . . . . . . . . . . . . . . . . . . 211
13.2.2 AR(p) processes . . . . . . . . . . . . . . . . . . . . . . . . 211
13.2.3 Invertibility of MA(q) process . . . . . . . . . . . . . . . . . 222
5
14 Introduction to the second half 225
15 Notation and review 233
15.1 Notation for differentiation of vectors and matrices . . . . . . . . . . 233
15.2 Convergenge modes . . . . . . . . . . . . . . . . . . . . . . . . . . 234
15.3 Rates of convergence and asymptotic equality . . . . . . . . . . . . . 238
16 Asymptotic properties of extremum estimators 241
16.1 Extremum estimators . . . . . . . . . . . . . . . . . . . . . . . . . . 241
16.2 Consistency . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 241
16.3 Example: Consistency of Least Squares . . . . . . . . . . . . . . . . 247
16.4 Asymptotic Normality . . . . . . . . . . . . . . . . . . . . . . . . . 248
16.5 Example: Binary response models. . . . . . . . . . . . . . . . . . . . 251
16.6 Example: Linearization of a nonlinear model . . . . . . . . . . . . . 257
17 Numeric optimization methods 261
17.1 Search . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 262
17.2 Derivative-based methods . . . . . . . . . . . . . . . . . . . . . . . . 262
17.2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . 262
17.2.2 Steepest descent . . . . . . . . . . . . . . . . . . . . . . . . 264
17.2.3 Newton-Raphson . . . . . . . . . . . . . . . . . . . . . . . . 264
17.3 Simulated Annealing . . . . . . . . . . . . . . . . . . . . . . . . . . 269
18 Generalized method of moments (GMM) 270
18.1 Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 270
18.2 Consistency . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 273
18.3 Asymptotic normality . . . . . . . . . . . . . . . . . . . . . . . . . . 274
18.4 Choosing the weighting matrix . . . . . . . . . . . . . . . . . . . . . 276
6
18.5 Estimation of the variance-covariance matrix . . . . . . . . . . . . . 279
18.5.1 Newey-West covariance estimator . . . . . . . . . . . . . . . 281
18.6 Estimation using conditional moments . . . . . . . . . . . . . . . . . 282
18.7 Estimation using dynamic moment conditions . . . . . . . . . . . . . 288
18.8 A specification test . . . . . . . . . . . . . . . . . . . . . . . . . . . 288
18.9 Other estimators interpreted as GMM estimators . . . . . . . . . . . . 291
18.9.1 OLS with heteroscedasticity of unknown form . . . . . . . . 291
18.9.2 Weighted Least Squares . . . . . . . . . . . . . . . . . . . . 293
18.9.3 2SLS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 294
18.9.4 Nonlinear simultaneous equations . . . . . . . . . . . . . . . 296
18.9.5 Maximum likelihood . . . . . . . . . . . . . . . . . . . . . . 297
18.10Application: Nonlinear rational expectations . . . . . . . . . . . . . . 300
18.11Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 304
19 Quasi-ML 306
19.0.1 Consistent Estimation of Variance Components . . . . . . . . 309
20 Nonlinear least squares (NLS) 312
20.1 Introduction and definition . . . . . . . . . . . . . . . . . . . . . . . 312
20.2 Identification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 314
20.3 Consistency . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 316
20.4 Asymptotic normality . . . . . . . . . . . . . . . . . . . . . . . . . . 316
20.5 Example: The Poisson model for count data . . . . . . . . . . . . . . 318
20.6 The Gauss-Newton algorithm . . . . . . . . . . . . . . . . . . . . . . 320
20.7 Application: Limited dependent variables and sample selection . . . . 322
20.7.1 Example: Labor Supply . . . . . . . . . . . . . . . . . . . . 322
7
21 Examples: demand for health care 326
21.1 The MEPS data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 326
21.2 Infinite mixture models . . . . . . . . . . . . . . . . . . . . . . . . . 331
21.3 Hurdle models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 336
21.4 Finite mixture models . . . . . . . . . . . . . . . . . . . . . . . . . . 341
21.5 Comparing models using information criteria . . . . . . . . . . . . . 347
22 Nonparametric inference 348
22.1 Possible pitfalls of parametric inference: estimation . . . . . . . . . . 348
22.2 Possible pitfalls of parametric inference: hypothesis testing . . . . . . 352
22.3 The Fourier functional form . . . . . . . . . . . . . . . . . . . . . . 354
22.3.1 Sobolev norm . . . . . . . . . . . . . . . . . . . . . . . . . . 358
22.3.2 Compactness . . . . . . . . . . . . . . . . . . . . . . . . . . 359
22.3.3 The estimation space and the estimation subspace . . . . . . . 359
22.3.4 Denseness . . . . . . . . . . . . . . . . . . . . . . . . . . . . 360
22.3.5 Uniform convergence . . . . . . . . . . . . . . . . . . . . . . 362
22.3.6 Identification . . . . . . . . . . . . . . . . . . . . . . . . . . 363
22.3.7 Review of concepts . . . . . . . . . . . . . . . . . . . . . . . 363
22.3.8 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . 364
22.4 Kernel regression estimators . . . . . . . . . . . . . . . . . . . . . . 365
22.4.1 Estimation of the denominator . . . . . . . . . . . . . . . . . 366
22.4.2 Estimation of the numerator . . . . . . . . . . . . . . . . . . 369
22.4.3 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . 370
22.4.4 Choice of the window width: Cross-validation . . . . . . . . . 371
22.5 Kernel density estimation . . . . . . . . . . . . . . . . . . . . . . . . 371
22.6 Semi-nonparametric maximum likelihood . . . . . . . . . . . . . . . 372
8
23 Simulation-based estimation 378
23.1 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 378
23.1.1 Example: Multinomial and/or dynamic discrete response models378
23.1.2 Example: Marginalization of latent variables . . . . . . . . . 381
23.1.3 Estimation of models specified in terms of stochastic differential
equations . . . . . . . . . . . . . . . . . . . . . . . . . . 383
23.2 Simulated maximum likelihood (SML) . . . . . . . . . . . . . . . . . 385
23.2.1 Example: multinomial probit . . . . . . . . . . . . . . . . . . 386
23.2.2 Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . 388
23.3 Method of simulated moments (MSM) . . . . . . . . . . . . . . . . . 389
23.3.1 Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . 390
23.3.2 Comments . . . . . . . . . . . . . . . . . . . . . . . . . . . 391
23.4 Efficient method of moments (EMM) . . . . . . . . . . . . . . . . . 392
23.4.1 Optimal weighting matrix . . . . . . . . . . . . . . . . . . . 395
23.4.2 Asymptotic distribution . . . . . . . . . . . . . . . . . . . . 397
23.4.3 Diagnotic testing . . . . . . . . . . . . . . . . . . . . . . . . 398
23.5 Application I: estimation of auction models . . . . . . . . . . . . . . 399
23.6 Application II: estimation of stochastic differential equations . . . . . 401
23.7 Application III: estimation of a multinomial probit panel data model . 403
24 Thanks 404
25 The GPL 404
9
[此贴子已经被angelboy于2008-8-19 9:42:02编辑过]