Graduate Econometrics Lecture Notes<br/>Michael Creel<br/>1 License, availability and use 10<br/>1.1 License . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10<br/>1.2 Obtaining the notes . . . . . . . . . . . . . . . . . . . . . . . . . . . 10<br/>1.3 Use . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10<br/>1.4 Sources . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11<br/>2 Economic and econometric models 12<br/>3 Ordinary Least Squares 14<br/>3.1 The classical linear model . . . . . . . . . . . . . . . . . . . . . . . 14<br/>3.2 Estimation by least squares . . . . . . . . . . . . . . . . . . . . . . . 15<br/>3.3 Estimating the error variance . . . . . . . . . . . . . . . . . . . . . . 16<br/>3.4 Geometric interpretation of least squares estimation . . . . . . . . . . 17<br/>3.4.1 In X Y Space . . . . . . . . . . . . . . . . . . . . . . . . . . 17<br/>3.4.2 In Observation Space . . . . . . . . . . . . . . . . . . . . . . 17<br/>3.4.3 Projection Matrices . . . . . . . . . . . . . . . . . . . . . . . 19<br/>3.5 Influential observations and outliers . . . . . . . . . . . . . . . . . . 20<br/>3.6 Goodness of fit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22<br/>3.7 Small sample properties of the least squares estimator . . . . . . . . . 25<br/>3.7.1 Unbiasedness . . . . . . . . . . . . . . . . . . . . . . . . . . 25<br/>3.7.2 Normality . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26<br/>3.7.3 Efficiency (Gauss-Markov theorem) . . . . . . . . . . . . . . 26<br/>4 Maximum likelihood estimation 28<br/>4.1 The likelihood function . . . . . . . . . . . . . . . . . . . . . . . . . 28<br/>4.2 Consistency of MLE . . . . . . . . . . . . . . . . . . . . . . . . . . 29<br/>4.3 The score function . . . . . . . . . . . . . . . . . . . . . . . . . . . 31<br/>4.4 Asymptotic normality of MLE . . . . . . . . . . . . . . . . . . . . . 33<br/>4.5 The information matrix equality . . . . . . . . . . . . . . . . . . . . 37<br/>4.6 The Cramér-Rao lower bound . . . . . . . . . . . . . . . . . . . . . 39<br/>5 Asymptotic properties of the least squares estimator 43<br/>5.1 Consistency . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43<br/>5.2 Asymptotic normality . . . . . . . . . . . . . . . . . . . . . . . . . . 44<br/>5.3 Asymptotic efficiency . . . . . . . . . . . . . . . . . . . . . . . . . . 45<br/>6 Restrictions and hypothesis tests 47<br/>6.1 Exact linear restrictions . . . . . . . . . . . . . . . . . . . . . . . . . 47<br/>6.1.1 Imposition . . . . . . . . . . . . . . . . . . . . . . . . . . . 48<br/>6.1.2 Properties of the restricted estimator . . . . . . . . . . . . . . 52<br/>6.2 Testing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53<br/>6.2.1 t-test . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53<br/>6.2.2 F test . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57<br/>6.2.3 Wald-type tests . . . . . . . . . . . . . . . . . . . . . . . . . 58<br/>6.2.4 Score-type tests (Rao tests, Lagrange multiplier tests) . . . . . 59<br/>6.2.5 Likelihood ratio-type tests . . . . . . . . . . . . . . . . . . . 62<br/>6.3 The asymptotic equivalence of the LR, Wald and score tests . . . . . . 63<br/>6.4 Interpretation of test statistics . . . . . . . . . . . . . . . . . . . . . . 68<br/>6.5 Confidence intervals . . . . . . . . . . . . . . . . . . . . . . . . . . 68<br/>6.6 Bootstrapping . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69<br/>6.7 Testing nonlinear restrictions . . . . . . . . . . . . . . . . . . . . . . 71<br/>7 Generalized least squares 76<br/>7.1 Effects of nonspherical disturbances on the OLS estimator . . . . . . 77<br/>7.2 The GLS estimator . . . . . . . . . . . . . . . . . . . . . . . . . . . 78<br/>7.3 Feasible GLS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81<br/>7.4 Heteroscedasticity . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83<br/>7.4.1 OLS with heteroscedastic consistent varcov estimation . . . . 84<br/>7.4.2 Detection . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85<br/>7.4.3 Correction . . . . . . . . . . . . . . . . . . . . . . . . . . . 88<br/>7.5 Autocorrelation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91<br/>7.5.1 Causes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91<br/>7.5.2 AR(1) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93<br/>7.5.3 MA(1) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97<br/>7.5.4 Asymptotically valid inferences with autocorrelation of un-<br/>known form . . . . . . . . . . . . . . . . . . . . . . . . . . . 100<br/>7.5.5 Testing for autocorrelation . . . . . . . . . . . . . . . . . . . 104<br/>7.5.6 Lagged dependent variables and autocorrelation . . . . . . . . 105<br/>8 Stochastic regressors 107<br/>8.1 Case 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108<br/>8.2 Case 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109<br/>8.3 Case 3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111<br/>8.4 When are the assumptions reasonable? . . . . . . . . . . . . . . . . . 112<br/>9 Data problems 114<br/>9.1 Collinearity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114<br/>9.1.1 A brief aside on dummy variables . . . . . . . . . . . . . . . 116<br/>9.1.2 Back to collinearity . . . . . . . . . . . . . . . . . . . . . . . 116<br/>9.1.3 Detection of collinearity . . . . . . . . . . . . . . . . . . . . 118<br/>9.1.4 Dealing with collinearity . . . . . . . . . . . . . . . . . . . . 118<br/>9.2 Measurement error . . . . . . . . . . . . . . . . . . . . . . . . . . . 122<br/>9.2.1 Error of measurement of the dependent variable . . . . . . . . 123<br/>9.2.2 Error of measurement of the regressors . . . . . . . . . . . . 124<br/>9.3 Missing observations . . . . . . . . . . . . . . . . . . . . . . . . . . 126<br/>9.3.1 Missing observations on the dependent variable . . . . . . . . 126<br/>9.3.2 The sample selection problem . . . . . . . . . . . . . . . . . 129<br/>9.3.3 Missing observations on the regressors . . . . . . . . . . . . 130<br/>0 Functional form and nonnested tests 132<br/>10.1 Flexible functional forms . . . . . . . . . . . . . . . . . . . . . . . . 133<br/>10.1.1 The translog form . . . . . . . . . . . . . . . . . . . . . . . . 135<br/>10.1.2 FGLS estimation of a translog model . . . . . . . . . . . . . 141<br/>10.2 Testing nonnested hypotheses . . . . . . . . . . . . . . . . . . . . . . 145<br/>11 Exogeneity and simultaneity 149<br/>11.1 Simultaneous equations . . . . . . . . . . . . . . . . . . . . . . . . . 149<br/>11.2 Exogeneity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152<br/>11.3 Reduced form . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155<br/>11.4 IV estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158<br/>11.5 Identification by exclusion restrictions . . . . . . . . . . . . . . . . . 163<br/>11.5.1 Necessary conditions . . . . . . . . . . . . . . . . . . . . . . 164<br/>11.5.2 Sufficient conditions . . . . . . . . . . . . . . . . . . . . . . 167<br/>11.6 2SLS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175<br/>11.7 Testing the overidentifying restrictions . . . . . . . . . . . . . . . . . 179<br/>11.8 System methods of estimation . . . . . . . . . . . . . . . . . . . . . 185<br/>11.8.1 3SLS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186<br/>11.8.2 FIML . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192<br/>12 Limited dependent variables 195<br/>12.1 Choice between two objects: the probit model . . . . . . . . . . . . . 195<br/>12.2 Count data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 198<br/>12.3 Duration data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 200<br/>12.4 The Newton method . . . . . . . . . . . . . . . . . . . . . . . . . . . 203<br/>13 Models for time series data 208<br/>13.1 Basic concepts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 208<br/>13.2 ARMA models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 210<br/>13.2.1 MA(q) processes . . . . . . . . . . . . . . . . . . . . . . . . 211<br/>13.2.2 AR(p) processes . . . . . . . . . . . . . . . . . . . . . . . . 211<br/>13.2.3 Invertibility of MA(q) process . . . . . . . . . . . . . . . . . 222<br/>14 Introduction to the second half 225<br/>15 Notation and review 233<br/>15.1 Notation for differentiation of vectors and matrices . . . . . . . . . . 233<br/>15.2 Convergenge modes . . . . . . . . . . . . . . . . . . . . . . . . . . 234<br/>15.3 Rates of convergence and asymptotic equality . . . . . . . . . . . . . 238<br/>16 Asymptotic properties of extremum estimators 241<br/>16.1 Extremum estimators . . . . . . . . . . . . . . . . . . . . . . . . . . 241<br/>16.2 Consistency . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 241<br/>16.3 Example: Consistency of Least Squares . . . . . . . . . . . . . . . . 247<br/>16.4 Asymptotic Normality . . . . . . . . . . . . . . . . . . . . . . . . . 248<br/>16.5 Example: Binary response models. . . . . . . . . . . . . . . . . . . . 251<br/>16.6 Example: Linearization of a nonlinear model . . . . . . . . . . . . . 257<br/>17 Numeric optimization methods 261<br/>17.1 Search . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 262<br/>17.2 Derivative-based methods . . . . . . . . . . . . . . . . . . . . . . . . 262<br/>17.2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . 262<br/>17.2.2 Steepest descent . . . . . . . . . . . . . . . . . . . . . . . . 264<br/>17.2.3 Newton-Raphson . . . . . . . . . . . . . . . . . . . . . . . . 264<br/>17.3 Simulated Annealing . . . . . . . . . . . . . . . . . . . . . . . . . . 269<br/>18 Generalized method of moments (GMM) 270<br/>18.1 Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 270<br/>18.2 Consistency . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 273<br/>18.3 Asymptotic normality . . . . . . . . . . . . . . . . . . . . . . . . . . 274<br/>18.4 Choosing the weighting matrix . . . . . . . . . . . . . . . . . . . . . 276<br/>18.5 Estimation of the variance-covariance matrix . . . . . . . . . . . . . 279<br/>18.5.1 Newey-West covariance estimator . . . . . . . . . . . . . . . 281<br/>18.6 Estimation using conditional moments . . . . . . . . . . . . . . . . . 282<br/>18.7 Estimation using dynamic moment conditions . . . . . . . . . . . . . 288<br/>18.8 A specification test . . . . . . . . . . . . . . . . . . . . . . . . . . . 288<br/>18.9 Other estimators interpreted as GMM estimators . . . . . . . . . . . . 291<br/>18.9.1 OLS with heteroscedasticity of unknown form . . . . . . . . 291<br/>18.9.2 Weighted Least Squares . . . . . . . . . . . . . . . . . . . . 293<br/>18.9.3 2SLS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 294<br/>18.9.4 Nonlinear simultaneous equations . . . . . . . . . . . . . . . 296<br/>18.9.5 Maximum likelihood . . . . . . . . . . . . . . . . . . . . . . 297<br/>18.10Application: Nonlinear rational expectations . . . . . . . . . . . . . . 300<br/>18.11Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 304<br/>19 Quasi-ML 306<br/>19.0.1 Consistent Estimation of Variance Components . . . . . . . . 309<br/>20 Nonlinear least squares (NLS) 312<br/>20.1 Introduction and definition . . . . . . . . . . . . . . . . . . . . . . . 312<br/>20.2 Identification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 314<br/>20.3 Consistency . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 316<br/>20.4 Asymptotic normality . . . . . . . . . . . . . . . . . . . . . . . . . . 316<br/>20.5 Example: The Poisson model for count data . . . . . . . . . . . . . . 318<br/>20.6 The Gauss-Newton algorithm . . . . . . . . . . . . . . . . . . . . . . 320<br/>20.7 Application: Limited dependent variables and sample selection . . . . 322<br/>20.7.1 Example: Labor Supply . . . . . . . . . . . . . . . . . . . . 322<br/>21 Examples: demand for health care 326<br/>21.1 The MEPS data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 326<br/>21.2 Infinite mixture models . . . . . . . . . . . . . . . . . . . . . . . . . 331<br/>21.3 Hurdle models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 336<br/>21.4 Finite mixture models . . . . . . . . . . . . . . . . . . . . . . . . . . 341<br/>21.5 Comparing models using information criteria . . . . . . . . . . . . . 347<br/>22 Nonparametric inference 348<br/>22.1 Possible pitfalls of parametric inference: estimation . . . . . . . . . . 348<br/>22.2 Possible pitfalls of parametric inference: hypothesis testing . . . . . . 352<br/>22.3 The Fourier functional form . . . . . . . . . . . . . . . . . . . . . . 354<br/>22.3.1 Sobolev norm . . . . . . . . . . . . . . . . . . . . . . . . . . 358<br/>22.3.2 Compactness . . . . . . . . . . . . . . . . . . . . . . . . . . 359<br/>22.3.3 The estimation space and the estimation subspace . . . . . . . 359<br/>22.3.4 Denseness . . . . . . . . . . . . . . . . . . . . . . . . . . . . 360<br/>22.3.5 Uniform convergence . . . . . . . . . . . . . . . . . . . . . . 362<br/>22.3.6 Identification . . . . . . . . . . . . . . . . . . . . . . . . . . 363<br/>22.3.7 Review of concepts . . . . . . . . . . . . . . . . . . . . . . . 363<br/>22.3.8 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . 364<br/>22.4 Kernel regression estimators . . . . . . . . . . . . . . . . . . . . . . 365<br/>22.4.1 Estimation of the denominator . . . . . . . . . . . . . . . . . 366<br/>22.4.2 Estimation of the numerator . . . . . . . . . . . . . . . . . . 369<br/>22.4.3 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . 370<br/>22.4.4 Choice of the window width: Cross-validation . . . . . . . . . 371<br/>22.5 Kernel density estimation . . . . . . . . . . . . . . . . . . . . . . . . 371<br/>22.6 Semi-nonparametric maximum likelihood . . . . . . . . . . . . . . . 372<br/>23 Simulation-based estimation 378<br/>23.1 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 378<br/>23.1.1 Example: Multinomial and/or dynamic discrete response models378<br/>23.1.2 Example: Marginalization of latent variables . . . . . . . . . 381<br/>23.1.3 Estimation of models specified in terms of stochastic differen-<br/>tial equations . . . . . . . . . . . . . . . . . . . . . . . . . . 383<br/>23.2 Simulated maximum likelihood (SML) . . . . . . . . . . . . . . . . . 385<br/>23.2.1 Example: multinomial probit . . . . . . . . . . . . . . . . . . 386<br/>23.2.2 Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . 388<br/>23.3 Method of simulated moments (MSM) . . . . . . . . . . . . . . . . . 389<br/>23.3.1 Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . 390<br/>23.3.2 Comments . . . . . . . . . . . . . . . . . . . . . . . . . . . 391<br/>23.4 Efficient method of moments (EMM) . . . . . . . . . . . . . . . . . 392<br/>23.4.1 Optimal weighting matrix . . . . . . . . . . . . . . . . . . . 395<br/>23.4.2 Asymptotic distribution . . . . . . . . . . . . . . . . . . . . 397<br/>23.4.3 Diagnotic testing . . . . . . . . . . . . . . . . . . . . . . . . 398<br/>23.5 Application I: estimation of auction models . . . . . . . . . . . . . . 399<br/>23.6 Application II: estimation of stochastic differential equations . . . . . 401<br/>23.7 Application III: estimation of a multinomial probit panel data model . 403<br/>24 Thanks 404<br/>25 The GPL 40411:47 2008-11-22<br/>