Hierarchical Quantile Modeling , livre ebook

This book offers a concise and comprehensive introduction to Hierarchical Quantile Modeling, a modern statistical methodology that extends traditional hierarchical models and quantile regression techniques to analyze complex data structures often found in fields like biology, economics, and education. Unlike classic models, Hierarchical Quantile Modeling accommodates heteroscedasticity and nonparametric relationships, allowing for a detailed study of the entire conditional distribution of a response variable.

The book is structured in four parts: an introduction to hierarchical modeling, a detailed look at quantile regression, an in-depth exploration of Hierarchical Quantile Modeling, and practical applications using real-world hierarchical, repeated, and clustered data. Drawing on the author’s decade-long experience in research and teaching, this guide is ideal for graduate students, researchers, and practitioners. It includes examples and software guidance using R, S-plus, SAS, and SPSS, making it a valuable resource for anyone interested in advanced statistical analysis.

Contents

Preface

Part I QUANTILE REGRESSION MODELLING

Chapter 1 LINEAR QUANTILE REGRESSION. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

1.1 Education: Mathematical Achievements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

1.1.1 Introduction. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .3

1.1.2 Data. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5

1.1.3 Estimation Results. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .7

1.1.4 Confidence Intervals and Related Interpretations . . . . . . . . . . . . . . . . . . . . . 11

1.1.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16

1.2 Large Sample Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16

1.3 Bibliographic Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

Chapter 2 NONPARAMETRIC QUANTILE REGRESSION . . . . . . . . . . . . . . . . . 20

2.1 Robust Local Approximation Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

2.1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

2.1.2 Consistency . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22

2.1.3 Rate of Convergence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26

2.1.4 Asymptotic Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33

2.1.5 Optimization of Estimate. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .37

2.1.6 Bibliographic Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39

2.2 Nonparametric Function Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40

2.2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40

2.2.2 Asymptotic Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42

2.2.3 Applications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52

2.2.4 Bibliographic Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54

2.3 Local Linear Quantile Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55

2.3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55

2.3.2 Local Linear Check Function Minimization . . . . . . . . . . . . . . . . . . . . . . . . . . 58

2.3.3 Local Linear Double-Kernel Smoothing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62

2.3.4 Bibliographic Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68

Chapter 3 ADAPTIVE QUANTILE REGRESSION . . . . . . . . . . . . . . . . . . . . . . . . . . 69

3.1 Locally Constant Adaptive Quantile Regression . . . . . . . . . . . . . . . . . . . . . . . . 69

3.1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69

3.1.2 Adaptive Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72

3.1.3 Implementation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73

3.1.4 Theoretical Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75

3.1.5 Bibliographic Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82

3.2 Locally Linear Adaptive Quantile Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . 82

3.2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82

3.2.2 Local Linear Adaptive Estimation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .84

3.2.3 Algorithm. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .85

3.2.4 Theoretical Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86

3.2.5 Bibliographic Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89

Chapter 4 ADAPTIVE QUANTILES REGRESSION . . . . . . . . . . . . . . . . . . . . . . . . . 91

4.1 Additive Conditional Quantiles with High-Dimensional Covariates. . . . . .91

4.1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91

4.1.2 Methodology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93

4.1.3 Asymptotic Behavior . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98

4.1.4 Concluding Remarks. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .105

4.1.5 Bibliographic Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .105

4.2 Nonparametric Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105

4.2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106

4.2.2 Estimator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .108

4.2.3 Asymptotic Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110

4.2.4 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126

4.2.5 Bibliographic Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .126

Chapter 5 QUANTILE REGRESSION BASED ON VARYINGCOEFFICIENT MODELS. . . 127

5.1 Adaptive Quantile Regression Based on Varying-coefficient Models . . . . 127

5.1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127

5.1.2 Adaptive Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129

5.1.3 Theoretical Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135

5.1.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142

5.1.5 Bibliographic Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .143

5.2 Varying-coefficient Models with Heteroscedasticity . . . . . . . . . . . . . . . . . . . . 143

5.2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144

5.2.2 Local Linear CQR-AQR Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .146

5.2.3 Local Quadratic CQR-AQR Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156

5.2.4 Bandwidth Selection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157

5.2.5 Hypothesis Testing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158

5.2.6 Local m-polynomial CQR-AQR Estimation . . . . . . . . . . . . . . . . . . . . . . . . . 159

5.2.7 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160

5.2.8 Bibliographic Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .161

Chapter 6 SINGLE-INDEX QUANTILE REGRESSION. . . . . . . . . . . . . . . . . . . . .163

6.1 Single Index Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163

6.1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163

6.1.2 The Model and Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165

6.1.3 Large Sample Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168

6.1.4 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178

6.1.5 Bibliographic Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .178

6.2 CQR for Varying Coefficient Single-index Models . . . . . . . . . . . . . . . . . . . . . 179

6.2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179

6.2.2 Quantile Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181

6.2.3 Composite Quantile Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184

6.2.4 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 194

6.2.5 Bibliographic Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .194

Chapter 7 QUANTILE AUTOREGRESSION. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .196

7.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 196

7.2 The Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 197

7.2.1 Description of The Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 197

7.2.2 Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 199

7.3 Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203

7.4 Quantitle Monotonicity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 208

7.5 Inference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 209

7.5.1 Wald Process and Related Tests . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 209

7.5.2 Testing for Asymmetric Dynamics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 210

7.5.3 Bibliographic Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .212

Chapter 8 COMPOSITE QUANTILE REGRESSION. . . . . . . . . . . . . . . . . . . . . . . .213

8.1 Composite Quantile and Model Selection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 213

8.1.1 Introduction and Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 213

8.1.2 Composite Quantile Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 216

8.1.3 Asymptotic Relative Efficiency . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 220

8.1.4 The CQR-oracular Estimator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225

8.1.5 Concluding Remarks. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .228

8.1.6 Bibliographic Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .229

8.2 Local Quantile Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 229

8.2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 229

8.2.2 Estimation of Regression Function . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 231

8.2.3 Estimation of Derivative . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 235

8.2.4 Local p-polynomial CQR Smoothing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 238

8.2.5 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 246

8.2.6 Bibliographic Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .246

Chapter 9 HIGH DIMENSIONAL QUANTILE REGRESSION. . . . . . . . . . . . . . 248

9.1 Diagnostic for Ultra High Heterogeneity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 248

9.1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 248

9.1.2 Nonconvex Penalized Quantile Regression . . . . . . . . . . . . . . . . . . . . . . . . . . 251

9.1.3 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 262

9.1.4 Bibliographic Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .263

9.2 Bayesian Quantile Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 264

9.2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 264

9.2.2 Asymmetric Laplace Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 265

9.2.3 Bayesian Approach . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 266

9.2.4 Improper Priors for Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 267

9.2.5 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 269

9.2.6 Bibliographic Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .270

Part II HIERARCHICAL MODELING

Chapter 10 HIERARCHICAL LINEAR MODELS. . . . . . . . . . . . . . . . . . . . . . . . . . . 273

10.1 Bayes Estimates . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 273

10.1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 273

10.1.2 Exchangeability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 274

10.1.3 General Bayesian Linear Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 277

10.1.4 Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .281

10.1.5 Bibliographic Notes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .283

10.2 Maximum Likelihood from Incomplete Data . . . . . . . . . . . . . . . . . . . . . . . . . 283

10.2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 283

10.2.2 Definitions of the EM Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .286

10.2.3 General Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 290

10.2.4 Bibliographic Notes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .296

10.3 EM-algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 296

10.3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 297

10.3.2 Covariance Components Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 298

10.3.3 Estimation of Variances and Covariances . . . . . . . . . . . . . . . . . . . . . . . . . . 301

10.3.4 Computational Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 303

10.3.5 Bibliographic Notes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .309

10.4 Iterative Generalized Least Squares . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 310

10.4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 310

10.4.2 Basic Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 310

10.4.3 Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .312

10.4.4 Random Coefficients . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 314

10.4.5 Constraints among Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 316

10.4.6 Further Applications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .316

10.4.7 Errors of Measurement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .317

10.4.8 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 318

10.4.9 Appendix 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 319

10.4.10 Appendix 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 320

10.4.11 Appendix 3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 322

10.4.12 Bibliographic Notes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .323

10.5 Scoring Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 324

10.5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 324

10.5.2 The Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 325

10.5.3 The Log Likelihood Function . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 328

10.5.4 Two Levels of Nesting. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .329

10.5.5 An EM Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 333

10.5.6 More Than Two Levels of Nesting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 334

10.5.7 Bibliographic Notes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .336

10.6 Newton-Raphson Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 337

10.6.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 338

10.6.2 Computational Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 340

10.6.3 Derivatives. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .341

10.6.4 Matrix Decompositions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 345

10.6.5 Estimation of σ and D. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 347

10.6.6 Discussion and Extension . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 349

10.6.7 Bibliographic Notes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .353

Chapter 11 HIERARCHICAL GENERALIZED LINEAR MODELS . . . . . . . . . 354

11.1 Hierarchical Likelihood . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 354

11.1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 354

11.1.2 Hierarchical Generalized Linear Models . . . . . . . . . . . . . . . . . . . . . . . . . . . 355

11.1.3 Properties of Maximum h-likelihood Estimates . . . . . . . . . . . . . . . . . . . . . 363

11.1.4 Estimation Procedures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 368

11.1.5 Genaralizations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 372

11.1.6 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 381

11.1.7 Bibliographic Notes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .382

11.2 A Gibbs Sampling Approach. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .383

11.2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 383

11.2.2 Random Effects GLM. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .385

11.2.3 Bayesian Formulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 386

11.2.4 Gibbs Sampler . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 387

11.2.5 Conditional Distributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 388

11.2.6 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 392

11.2.7 Bibliographic Notes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .392

Chapter 12 HIERARCHICAL NONLINEAR MODELS. . . . . . . . . . . . . . . . . . . . . .394

12.1 Conditional Second-Order Generalized Estimating Equations . . . . . . . . 394

12.1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 394

12.1.2 The Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 396

12.1.3 Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .397

12.1.4 Conditional Variance-Covariance Structures . . . . . . . . . . . . . . . . . . . . . . . 399

12.1.5 Conditionals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 401

12.1.6 Asymptotic Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 403

12.1.7 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 404

12.1.8 Bibliographic Notes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .406

12.2 A Hybrid Estimator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 407

12.2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 407

12.2.2 Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .408

12.2.3 A Hybrid Estimator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 411

12.2.4 Asymptotic Theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 414

12.2.5 Extension to Hierarchical GLMs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 424

12.2.6 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 425

12.2.7 Bibliographic Notes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .426

Chapter 13 HIERARCHICAL SEMIPARAMETRIC MODELS . . . . . . . . . . . . . . 429

13.1 Hierarchical Semiparametric Nonlinear Mixed-Effects Models . . . . . . . . 429

13.1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 429

13.1.2 SNMEM. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 432

13.1.3 Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .435

13.1.4 Computational Aspects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 438

13.1.5 Inferences . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .441

13.1.6 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 442

13.1.7 Bibliographic Notes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .443

13.2 Simultaneously Modeling for Mean-Covariance . . . . . . . . . . . . . . . . . . . . . . . 444

13.2.1 Background . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 445

13.2.2 Then Models and Estimation Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . 446

13.2.3 Asymptotic Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 450

13.2.4 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 458

13.2.5 Bibliographic Notes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .459

Part III HIERARCHICAL QUANTILE MODELING

Chapter 14 HIERARCHICAL SPLINE MODELS . . . . . . . . . . . . . . . . . . . . . . . . . . . 463

14.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .464

14.2 Nonparametric Estimation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .465

14.3 WALD Tests for Regression Quantile Models . . . . . . . . . . . . . . . . . . . . . . . . 467

14.4 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 470

14.5 Bibliographic Notes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .470

Chapter 15 HIERARCHIAL LINEAR QUANTILE MODELING . . . . . . . . . . . . 473

15.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .473

15.2 The Hierarchical Quantile Regression Model . . . . . . . . . . . . . . . . . . . . . . . . . 474

15.3 EQ Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 475

15.4 Asymptotic Properties. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .477

15.5 Bibliographic Notes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .483

Chapter 16 HIERARCHICAL SEMIPARAMETRIC QUANTILE MODELING .. . .. . . . . . 485

16.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .485

16.2 The Models and Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 487

16.3 Asymptotic Results. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .492

16.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 499

16.5 Bibliographic Notes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .499

Chapter 17 COMPOSITE HIERARCHICAL LINEAR QUANTILE MODELING . .. . . . . . . . . . . . 501

17.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .501

17.2 The Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 502

17.3 Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 504

17.4 Asymptotic Properties. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .506

17.4.1 The Error Distribution is Normal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 506

17.4.2 The Error Distribution is Non-normal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 509

17.5 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 511

17.6 Bibliographic Notes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .511

Chapter 18 COMPOSITE HIERARCHICAL SEMIPARAMETRIC QUANTILE MODELING. . .. . 513

18.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .513

18.2 The Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 515

18.3 Estimation and Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 516

18.4 Asymptotic Properties. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .517

18.5 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 522

18.6 Bibliographic Notes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .523

Part IV LARGE SCALE APPLICATIONS TO REAL DATA

Chapter 19 APPLICATIONS OF QUANTILE REGRESSION . . . . . . . . . . . . . . . 527

19.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .527

19.1.1 Health and Medicine. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .527

19.1.2 Environment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 535

19.1.3 Economics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 535

19.1.4 Finance. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .540

19.2 Applications to Mathematical Education Based on LQR . . . . . . . . . . . . . 540

19.2.1 Background . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 541

19.2.2 Description of Data. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .542

19.2.3 Methodology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 543

19.2.4 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 544

19.2.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 556

19.3 Application of Local LQR . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 556

19.3.1 Triceps Skinfold . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 557

19.3.2 Immunoglobulin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 558

19.4 The Widening Gap between the Rich and the Poor . . . . . . . . . . . . . . . . . . 560

19.5 Boston Housing Analysis Using AQR . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 561

19.5.1 Boston Housing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 561

19.5.2 Empirical results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 564

19.6 The Analysis of Japanese Firms in the Chemical Industry by Employing AQR. . . . 565

19.7 The Analysis of Norwegian Air Pollution Bying Quantile Varying-coefficient Regression.. 568

19.8 Empirical Application to Air Pollution Based HVCMs . . . . . . . . . . . . . . . 570

19.9 Boston Pricing by Single-index Quantile Regression . . . . . . . . . . . . . . . . . . 571

19.10 Boston Pricing Using VCSIM. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .575

19.11 Two Economic Time Series Basedbon the Quantile Autoregression .. . . . . . . . . . . . . 576

19.11.1 Unemployment Rate . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 577

19.11.2 Retail Gasoline Price Dynamics. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .578

19.12 The UK Family Expenditure Using Local CQR Methodology . . . . . . . 579

19.13 Analysis of Microarray Dataset . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 581

19.14 Analysis of Two Data Sets Through Bayesian Quantile Autoregression . .. . . . 585

19.14.1 Immunoglobulin-G . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 585

19.14.2 Stack Loss . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 586

Chapter 20 APPLICATIONS OF HIERARCHICAL REGRESSION MODELS. . . . . . .. .588

20.1 Two-factor Experimental Designs and Multiple Regression . . . . . . . . . . . 588

20.1.1 Experimental Designs and Exchangeability . . . . . . . . . . . . . . . . . . . . . . . . 588

20.1.2 Examples with Unknown Covariance Structure . . . . . . . . . . . . . . . . . . . . .593

20.2 Examples of EM Algorithms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 599

20.2.1 Missing Data. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .599

20.2.2 Grouping, Censoring and Truncation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 602

20.2.3 Finite Mixtures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 605

20.2.4 Variance Components . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .607

20.2.5 Hyperparameter Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 609

20.2.6 Iteratively Reweighted Least Squares . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 610

20.2.7 Factor Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 612

20.3 Law Schools, Field Mice and Professional Football Teams . . . . . . . . . . . . 613

20.4 A Longitudinal Study of Educational Achievements . . . . . . . . . . . . . . . . . . 624

20.5 Ovarian Follicle and Calcium Supplement . . . . . . . . . . . . . . . . . . . . . . . . . . . .627

20.6 Applications of Hierarchical Generalized Linear Models . . . . . . . . . . . . . . 630

20.6.1 Procedures for Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 630

20.6.2 Poisson-Gamma Model and Pump Failure Data . . . . . . . . . . . . . . . . . . . . 630

20.6.3 Binomial-Beta Model and Seed Germination Data. . . . . . . . . . . . . . . . . .632

20.6.4 Gamma-Inverse Gamma Model and the Cake Baking Data. . . . . . . . . .634

20.6.5 Poisson-Gamma Model and Epileptics Data . . . . . . . . . . . . . . . . . . . . . . . 634

20.6.6 Binomial-Beta Model and Salamander Data . . . . . . . . . . . . . . . . . . . . . . . 638

20.7 Infectious Disease Data of Indonesia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 642

20.8 Epileptic Seizure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 646

20.9 Eight Guinea Pigs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 648

20.10 Canadian Temperature . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 653

20.11 CD4 Cell . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 656

Chapter 21 APPLICATIONS OF HIERARCHICAL QUANTILE REGRESSION MODELING . . .. . 661

21.1 Household Electricity Demands . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 661

21.1.1 The Applications of Hierarchical Models to Household Demand . . . . . 661

21.1.2 Commonwealth Edison Company . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 665

21.1.3 Stage II Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 666

21.2 Mathematics Education in Canada . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 673

21.3 The Mean Pixel Intensity of Lymphnodes in the CT Scan. . . . . . . . . . . .679

21.4 Applications of Composite Hierachical Linear Quantile Regression . . . 685

21.5 Applications of Semi-HCQR Method to Partial HIV Monitoring Data . ... . . 688

Bibliographic Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 692

Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 693

Index . . . . .734