EIILM UNIVERSITY - SIKKIM(UGC- DEC- AICTE APPROVED

ECONOMETRICS
Bruce E.Hansen
1c2000, 2012
University of Wisconsin
www.ssc.wisc.edu/~bhansen
This Revision: January 18, 2012
Comments Welcome
1This manuscript may be printed and reproduced for individual or instructional use, but may not be
printed for commercial purposes.Contents
Preface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . viii
1 Introduction 1
1.1 What is Econometrics? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 The Probability Approach to Econometrics . . . . . . . . . . . . . . . . . . . . . . . 1
1.3 Econometric Terms and Notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.4 Observational Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.5 Standard Data Structures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.6 Sources for Economic Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.7 Econometric Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.8 Reading the Manuscript . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
2 Moment Estimation 8
2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
2.2 Population and Sample Mean . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
2.3 Sample Mean is Unbiased . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2.4 Variance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2.5 Convergence in Probability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.6 Weak Law of Large Numbers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.7 Vector-Valued Moments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.8 Convergence in Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.9 Functions of Moments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.10 Delta Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.11 Stochastic Order Symbols . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.12 Uniform Stochastic Bounds*. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.13 Semiparametric E¢ ciency . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.14 Expectation* . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2.15 Technical Proofs* . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
3 Conditional Expectation and Projection 29
3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3.2 The Distribution of Wages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3.3 Conditional Expectation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
3.4 Exp Function . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
3.5 Continuous Variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
3.6 Law of Iterated Expectations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
3.7 Monotonicity of Conditioning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
3.8 CEF Error. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
3.9 Best Predictor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.10 Conditional Variance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.11 Homoskedasticity and Heteroskedasticity . . . . . . . . . . . . . . . . . . . . . . . . . 43
3.12 Regression Derivative . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
iCONTENTS ii
3.13 Linear CEF . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
3.14 CEF with Nonlinear E⁄ects . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.15 Linear CEF with Dummy Variables. . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
3.16 Best Linear Predictor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
3.17 Linear Predictor Error Variance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
3.18 Regression Coe¢ cients . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
3.19 Sub-Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
3.20 Coe¢ cient Decomposition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
3.21 Omitted Variable Bias . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
3.22 Best Linear Approximation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
3.23 Normal Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
3.24 Regression to the Mean . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
3.25 Reverse Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
3.26 Limitations of the Best Linear Predictor . . . . . . . . . . . . . . . . . . . . . . . . . 61
3.27 Random Coe¢ cient Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
3.28 Causal E⁄ects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
3.29 Existence and Uniqueness of the Conditional Expectation* . . . . . . . . . . . . . . 66
3.30 Technical Proofs* . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
4 The Algebra of Least Squares 72
4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
4.2 Least Squares Estimator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
4.3 Solving for Least Squares . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
4.4 Illustration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
4.5 Least Squares Residuals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
4.6 Model in Matrix Notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
4.7 Projection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
4.8 Orthogonal Projection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
4.9 Analysis of Variance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
4.10 Regression Components . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
4.11 Residual Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
4.12 Prediction Errors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
4.13 In uential Observations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
4.14 Normal Regression Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
4.15 Technical Proofs* . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
5 Least Squares Regression 92
5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
5.2 Mean of Least-Squares Estimator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
5.3 Variance of Least Squares . . . . . . . . . . . . . . . . . . . . . . . . . . . 94
5.4 Gauss-Markov Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
5.5 Residuals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
5.6 Estimation of Error Variance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98
5.7 Mean-Square Forecast Error . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
5.8 Covariance Matrix Estimation Under Homoskedasticity . . . . . . . . . . . . . . . . 101
5.9 Cov Heterosky . . . . . . . . . . . . . . . . 101
5.10 Standard Errors. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
5.11 Measures of Fit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
5.12 Empirical Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
5.13 Multicollinearity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107CONTENTS iii
5.14 Normal Regression Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
6 Asymptotic Theory for Least Squares 113
6.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
6.2 Consistency of Least-Squares Estimation . . . . . . . . . . . . . . . . . . . . . . . . . 113
6.3 Asymptotic Normality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
6.4 Joint Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
6.5 Consistency of Error Variance Estimators . . . . . . . . . . . . . . . . . . . . . . . . 122
6.6 Homoskedastic Covar