[下载]Springer07新书《矩阵代数：理论、计算与统计应用》（Matrix Algebra）-经管之家官网！

Matrix algebra is one of the most important areas of mathematics for data analysis and for statistical theory. The first part of this book presents the relevant aspects of the theory of matrix algebra for applications in statistics. This part begins with the fundamental concepts of vectors and vector spaces, next covers the basic algebraic properties of matrices, then describes the analytic properties of vectors and matrices in the multivariate calculus, and finally discusses operations on matrices in solutions of linear systems and in eigenanalysis. This part is essentially self-contained.

The second part of the book begins with a consideration of various types of matrices encountered in statistics, such as projection matrices and positive definite matrices, and describes the special properties of those matrices. The second part also describes some of the many applications of matrix theory in statistics, including linear models, multivariate analysis, and stochastic processes. The brief coverage in this part illustrates the matrix theory developed in the first part of the book. The first two parts of the book can be used as the text for a course in matrix algebra for statistics students, or as a supplementary text for various courses in linear models or multivariate statistics.

The third part of this book covers numerical linear algebra. It begins with a discussion of the basics of numerical computations, and then describes accurate and efficient algorithms for factoring matrices, solving linear systems of equations, and extracting eigenvalues and eigenvectors. Although the book is not tied to any particular software system, it describes and gives examples of the use of modern computer software for numerical linear algebra. This part is essentially self-contained, although it assumes some ability to program in Fortran or C and/or the ability to use R/S-Plus or Matlab. This part of the book can be used as the text for a course in statistical computing, or as a supplementary text for various courses that emphasize computations.

The book includes a large number of exercises with some solutions provided in an appendix.

刚注意到有人已经先我上传了此资料，论坛的游戏规则需要大家维护，我还是删去此文件吧！

愿意下载此文件的请到：

http://www.pinggu.org/bbs/thread-229272-1-1.html 下载！

我这里算是对本书的一个较详细地介绍吧！供大家参考。

Contents
Preface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . vii
Part I Linear Algebra
1 Basic Vector/Matrix Structure and Notation . . . . . . . . . . . . . . 3
1.1 Vectors. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.2 Arrays . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.3 Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.4 Representation of Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
2 Vectors and Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2.1 Operations on Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2.1.1 Linear Combinations and Linear Independence . . . . . . . . 10
2.1.2 Vector Spaces and Spaces of Vectors . . . . . . . . . . . . . . . . . 11
2.1.3 Basis Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.1.4 Inner Products . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.1.5 Norms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
2.1.6 Normalized Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.1.7 Metrics and Distances . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.1.8 Orthogonal Vectors and Orthogonal Vector Spaces . . . . . 22
2.1.9 The “One Vector” . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.2 Cartesian Coordinates and Geometrical Properties of Vectors . 24
2.2.1 Cartesian Geometry . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
2.2.2 Projections . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
2.2.3 Angles between Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
2.2.4 Orthogonalization Transformations . . . . . . . . . . . . . . . . . . 27
2.2.5 Orthonormal Basis Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.2.6 Approximation of Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . 30
2.2.7 Flats, Affine Spaces, and Hyperplanes . . . . . . . . . . . . . . . . 31
2.2.8 Cones . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
xvi Contents
2.2.9 Cross Products in IR3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.3 Centered Vectors and Variances and Covariances of Vectors . . . 33
2.3.1 The Mean and Centered Vectors . . . . . . . . . . . . . . . . . . . . 34
2.3.2 The Standard Deviation, the Variance,
and Scaled Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
2.3.3 Covariances and Correlations between Vectors . . . . . . . . 36
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
3 Basic Properties of Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.1 Basic Definitions and Notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.1.1 Matrix Shaping Operators . . . . . . . . . . . . . . . . . . . . . . . . . . 44
3.1.2 Partitioned Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
3.1.3 Matrix Addition. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.1.4 Scalar-Valued Operators on Square Matrices:
The Trace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
3.1.5 Scalar-Valued Operators on Square Matrices:
The Determinant . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
3.2 Multiplication of Matrices and Multiplication
of Vectors and Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
3.2.1 Matrix Multiplication (Cayley) . . . . . . . . . . . . . . . . . . . . . . 59
3.2.2 Multiplication of Partitioned Matrices . . . . . . . . . . . . . . . . 61
3.2.3 Elementary Operations on Matrices . . . . . . . . . . . . . . . . . . 61
3.2.4 Traces and Determinants of Square Cayley Products . . . 67
3.2.5 Multiplication of Matrices and Vectors . . . . . . . . . . . . . . . 68
3.2.6 Outer Products . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
3.2.7 Bilinear and Quadratic Forms; Definiteness . . . . . . . . . . . 69
3.2.8 Anisometric Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
3.2.9 Other Kinds of Matrix Multiplication . . . . . . . . . . . . . . . . 72
3.3 Matrix Rank and the Inverse of a Full Rank Matrix . . . . . . . . . . 76
3.3.1 The Rank of Partitioned Matrices, Products
of Matrices, and Sums of Matrices . . . . . . . . . . . . . . . . . . . 78
3.3.2 Full Rank Partitioning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
3.3.3 Full Rank Matrices and Matrix Inverses . . . . . . . . . . . . . . 81
3.3.4 Full Rank Factorization . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
3.3.5 Equivalent Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
3.3.6 Multiplication by Full Rank Matrices . . . . . . . . . . . . . . . . 88
3.3.7 Products of the Form ATA . . . . . . . . . . . . . . . . . . . . . . . . . 90
3.3.8 A Lower Bound on the Rank of a Matrix Product . . . . . 92
3.3.9 Determinants of Inverses . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
3.3.10 Inverses of Products and Sums of Matrices . . . . . . . . . . . 93
3.3.11 Inverses of Matrices with Special Forms . . . . . . . . . . . . . . 94
3.3.12 Determining the Rank of a Matrix . . . . . . . . . . . . . . . . . . . 94
3.4 More on Partitioned Square Matrices: The Schur Complement 95
3.4.1 Inverses of Partitioned Matrices . . . . . . . . . . . . . . . . . . . . . 95
3.4.2 Determinants of Partitioned Matrices . . . . . . . . . . . . . . . . 96
Contents xvii
3.5 Linear Systems of Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96
3.5.1 Solutions of Linear Systems . . . . . . . . . . . . . . . . . . . . . . . . . 97
3.5.2 Null Space: The Orthogonal Complement . . . . . . . . . . . . . 99
3.6 Generalized Inverses . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
3.6.1 Generalized Inverses of Sums of Matrices . . . . . . . . . . . . . 101
3.6.2 Generalized Inverses of Partitioned Matrices . . . . . . . . . . 101
3.6.3 Pseudoinverse or Moore-Penrose Inverse . . . . . . . . . . . . . . 101
3.7 Orthogonality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
3.8 Eigenanalysis; Canonical Factorizations . . . . . . . . . . . . . . . . . . . . 105
3.8.1 Basic Properties of Eigenvalues and Eigenvectors . . . . . . 107
3.8.2 The Characteristic Polynomial . . . . . . . . . . . . . . . . . . . . . . 108
3.8.3 The Spectrum . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
3.8.4 Similarity Transformations . . . . . . . . . . . . . . . . . . . . . . . . . 114
3.8.5 Similar Canonical Factorization;
Diagonalizable Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
3.8.6 Properties of Diagonalizable Matrices . . . . . . . . . . . . . . . . 118
3.8.7 Eigenanalysis of Symmetric Matrices . . . . . . . . . . . . . . . . . 119
3.8.8 Positive Definite and Nonnegative Definite Matrices . . . 124
3.8.9 The Generalized Eigenvalue Problem . . . . . . . . . . . . . . . . 126
3.8.10 Singular Values and the Singular Value Decomposition . 127
3.9 Matrix Norms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128
3.9.1 Matrix Norms Induced from Vector Norms . . . . . . . . . . . 129
3.9.2 The Frobenius Norm — The “Usual” Norm . . . . . . . . . . . 131
3.9.3 Matrix Norm Inequalities . . . . . . . . . . . . . . . . . . . . . . . . . . . 133
3.9.4 The Spectral Radius . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134
3.9.5 Convergence of a Matrix Power Series . . . . . . . . . . . . . . . . 134
3.10 Approximation of Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140
4 Vector/Matrix Derivatives and Integrals . . . . . . . . . . . . . . . . . . . 145
4.1 Basics of Differentiation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145
4.2 Types of Differentiation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149
4.2.1 Differentiation with Respect to a Scalar . . . . . . . . . . . . . . 149
4.2.2 Differentiation with Respect to a Vector . . . . . . . . . . . . . . 150
4.2.3 Differentiation with Respect to a Matrix . . . . . . . . . . . . . 154
4.3 Optimization of Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
4.3.1 Stationary Points of Functions . . . . . . . . . . . . . . . . . . . . . . 156
4.3.2 Newton’s Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
4.3.3 Optimization of Functions with Restrictions . . . . . . . . . . 159
4.4 Multiparameter Likelihood Functions . . . . . . . . . . . . . . . . . . . . . . 163
4.5 Integration and Expectation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164
4.5.1 Multidimensional Integrals and Integrals Involving
Vectors and Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165
4.5.2 Integration Combined with Other Operations . . . . . . . . . 166
4.5.3 Random Variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167
xviii Contents
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169
5 Matrix Transformations and Factorizations . . . . . . . . . . . . . . . . 173
5.1 Transformations by Orthogonal Matrices . . . . . . . . . . . . . . . . . . . 174
5.2 Geometric Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175
5.2.1 Rotations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176
5.2.2 Reflections . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178
5.2.3 Translations; Homogeneous Coordinates . . . . . . . . . . . . . . 178
5.3 Householder Transformations (Reflections) . . . . . . . . . . . . . . . . . . 180
5.4 Givens Transformations (Rotations) . . . . . . . . . . . . . . . . . . . . . . . 182
5.5 Factorization of Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185
5.6 LU and LDU Factorizations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186
5.7 QR Factorization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188
5.7.1 Householder Reflections to Form the QR Factorization . 190
5.7.2 Givens Rotations to Form the QR Factorization . . . . . . . 192
5.7.3 Gram-Schmidt Transformations to Form the
QR Factorization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192
5.8 Singular Value Factorization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192
5.9 Factorizations of Nonnegative Definite Matrices . . . . . . . . . . . . . 193
5.9.1 Square Roots . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193
5.9.2 Cholesky Factorization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 194
5.9.3 Factorizations of a Gramian Matrix . . . . . . . . . . . . . . . . . . 196
5.10 Incomplete Factorizations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 197
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 198
6 Solution of Linear Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201
6.1 Condition of Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201
6.2 Direct Methods for Consistent Systems . . . . . . . . . . . . . . . . . . . . . 206
6.2.1 Gaussian Elimination and Matrix Factorizations . . . . . . . 207
6.2.2 Choice of Direct Method . . . . . . . . . . . . . . . . . . . . . . . . . . . 211
6.3 Iterative Methods for Consistent Systems . . . . . . . . . . . . . . . . . . . 211
6.3.1 The Gauss-Seidel Method with
Successive Overrelaxation . . . . . . . . . . . . . . . . . . . . . . . . . . 212
6.3.2 Conjugate Gradient Methods for Symmetric
Positive Definite Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . 213
6.3.3 Multigrid Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 217
6.4 Numerical Accuracy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 218
6.5 Iterative Refinement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219
6.6 Updating a Solution to a Consistent System . . . . . . . . . . . . . . . . 220
6.7 Overdetermined Systems; Least Squares . . . . . . . . . . . . . . . . . . . . 222
6.7.1 Least Squares Solution of an Overdetermined System . . 224
6.7.2 Least Squares with a Full Rank Coefficient Matrix . . . . . 226
6.7.3 Least Squares with a Coefficient Matrix
Not of Full Rank . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227
Contents xix
6.7.4 Updating a Least Squares Solution
of an Overdetermined System . . . . . . . . . . . . . . . . . . . . . . . 228
6.8 Other Solutions of Overdetermined Systems. . . . . . . . . . . . . . . . . 229
6.8.1 Solutions that Minimize Other Norms of the Residuals . 230
6.8.2 Regularized Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233
6.8.3 Minimizing Orthogonal Distances . . . . . . . . . . . . . . . . . . . . 234
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 238
7 Evaluation of Eigenvalues and Eigenvectors . . . . . . . . . . . . . . . . 241
7.1 General Computational Methods . . . . . . . . . . . . . . . . . . . . . . . . . . 242
7.1.1 Eigenvalues from Eigenvectors and Vice Versa . . . . . . . . . 242
7.1.2 Deflation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 243
7.1.3 Preconditioning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 244
7.2 Power Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 245
7.3 Jacobi Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 247
7.4 QR Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 250
7.5 Krylov Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 252
7.6 Generalized Eigenvalues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 252
7.7 Singular Value Decomposition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 253
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 256
Part II Applications in Data Analysis
8 Special Matrices and Operations Useful in Modeling
and Data Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 261
8.1 Data Matrices and Association Matrices . . . . . . . . . . . . . . . . . . . . 261
8.1.1 Flat Files . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 262
8.1.2 Graphs and Other Data Structures . . . . . . . . . . . . . . . . . . 262
8.1.3 Probability Distribution Models . . . . . . . . . . . . . . . . . . . . . 269
8.1.4 Association Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 269
8.2 Symmetric Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 270
8.3 Nonnegative Definite Matrices; Cholesky Factorization . . . . . . . 275
8.4 Positive Definite Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 277
8.5 Idempotent and Projection Matrices . . . . . . . . . . . . . . . . . . . . . . . 280
8.5.1 Idempotent Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 281
8.5.2 Projection Matrices: Symmetric Idempotent Matrices . . 286
8.6 Special Matrices Occurring in Data Analysis . . . . . . . . . . . . . . . . 287
8.6.1 Gramian Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 288
8.6.2 Projection and Smoothing Matrices . . . . . . . . . . . . . . . . . . 290
8.6.3 Centered Matrices and Variance-Covariance Matrices . . 293
8.6.4 The Generalized Variance . . . . . . . . . . . . . . . . . . . . . . . . . . 296
8.6.5 Similarity Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 298
8.6.6 Dissimilarity Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 299
8.7 Nonnegative and Positive Matrices . . . . . . . . . . . . . . . . . . . . . . . . . 299
xx Contents
8.7.1 Properties of Square Positive Matrices . . . . . . . . . . . . . . . 301
8.7.2 Irreducible Square Nonnegative Matrices . . . . . . . . . . . . . 302
8.7.3 Stochastic Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 306
8.7.4 Leslie Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 307
8.8 Other Matrices with Special Structures . . . . . . . . . . . . . . . . . . . . . 307
8.8.1 Helmert Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 308
8.8.2 Vandermonde Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 309
8.8.3 Hadamard Matrices and Orthogonal Arrays . . . . . . . . . . . 310
8.8.4 Toeplitz Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 311
8.8.5 Hankel Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 312
8.8.6 Cauchy Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 313
8.8.7 Matrices Useful in Graph Theory . . . . . . . . . . . . . . . . . . . . 313
8.8.8 M-Matrices. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 317
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 317
9 Selected Applications in Statistics . . . . . . . . . . . . . . . . . . . . . . . . . 321
9.1 Multivariate Probability Distributions . . . . . . . . . . . . . . . . . . . . . . 322
9.1.1 Basic Definitions and Properties . . . . . . . . . . . . . . . . . . . . . 322
9.1.2 The Multivariate Normal Distribution . . . . . . . . . . . . . . . . 323
9.1.3 Derived Distributions and Cochran’s Theorem . . . . . . . . 323
9.2 Linear Models. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 325
9.2.1 Fitting the Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 327
9.2.2 Linear Models and Least Squares . . . . . . . . . . . . . . . . . . . . 330
9.2.3 Statistical Inference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 332
9.2.4 The Normal Equations and the Sweep Operator . . . . . . . 335
9.2.5 Linear Least Squares Subject to Linear
Equality Constraints . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 337
9.2.6 Weighted Least Squares . . . . . . . . . . . . . . . . . . . . . . . . . . . . 337
9.2.7 Updating Linear Regression Statistics . . . . . . . . . . . . . . . . 338
9.2.8 Linear Smoothing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 341
9.3 Principal Components . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 341
9.3.1 Principal Components of a Random Vector . . . . . . . . . . . 342
9.3.2 Principal Components of Data . . . . . . . . . . . . . . . . . . . . . . 343
9.4 Condition of Models and Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . 346
9.4.1 Ill-Conditioning in Statistical Applications . . . . . . . . . . . . 346
9.4.2 Variable Selection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 347
9.4.3 Principal Components Regression . . . . . . . . . . . . . . . . . . . 348
9.4.4 Shrinkage Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 348
9.4.5 Testing the Rank of a Matrix . . . . . . . . . . . . . . . . . . . . . . . 350
9.4.6 Incomplete Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 352
9.5 Optimal Design . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 355
9.6 Multivariate Random Number Generation . . . . . . . . . . . . . . . . . . 358
9.7 Stochastic Processes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 360
9.7.1 Markov Chains . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 360
9.7.2 Markovian Population Models . . . . . . . . . . . . . . . . . . . . . . . 362
Contents xxi
9.7.3 Autoregressive Processes . . . . . . . . . . . . . . . . . . . . . . . . . . . 364
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 365
Part III Numerical Methods and Software
10 Numerical Methods. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 375
10.1 Digital Representation of Numeric Data . . . . . . . . . . . . . . . . . . . . 377
10.1.1 The Fixed-Point Number System . . . . . . . . . . . . . . . . . . . . 378
10.1.2 The Floating-Point Model for Real Numbers . . . . . . . . . . 379
10.1.3 Language Constructs for Representing Numeric Data . . 386
10.1.4 Other Variations in the Representation of Data;
Portability of Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 391
10.2 Computer Operations on Numeric Data . . . . . . . . . . . . . . . . . . . . 393
10.2.1 Fixed-Point Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . 394
10.2.2 Floating-Point Operations . . . . . . . . . . . . . . . . . . . . . . . . . . 395
10.2.3 Exact Computations; Rational Fractions . . . . . . . . . . . . . 399
10.2.4 Language Constructs for Operations
on Numeric Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 401
10.3 Numerical Algorithms and Analysis . . . . . . . . . . . . . . . . . . . . . . . . 403
10.3.1 Error in Numerical Computations . . . . . . . . . . . . . . . . . . . 404
10.3.2 Efficiency . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 412
10.3.3 Iterations and Convergence . . . . . . . . . . . . . . . . . . . . . . . . . 417
10.3.4 Other Computational Techniques . . . . . . . . . . . . . . . . . . . . 419
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 422
11 Numerical Linear Algebra . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 429
11.1 Computer Representation of Vectors and Matrices . . . . . . . . . . . 429
11.2 General Computational Considerations
for Vectors and Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 431
11.2.1 Relative Magnitudes of Operands . . . . . . . . . . . . . . . . . . . . 431
11.2.2 Iterative Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 433
11.2.3 Assessing Computational Errors . . . . . . . . . . . . . . . . . . . . . 434
11.3 Multiplication of Vectors and Matrices . . . . . . . . . . . . . . . . . . . . . 435
11.4 Other Matrix Computations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 439
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 441
12 Software for Numerical Linear Algebra . . . . . . . . . . . . . . . . . . . . 445
12.1 Fortran and C . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 447
12.1.1 Programming Considerations . . . . . . . . . . . . . . . . . . . . . . . 448
12.1.2 Fortran 95 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 452
12.1.3 Matrix and Vector Classes in C++ . . . . . . . . . . . . . . . . . . 453
12.1.4 Libraries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 454
12.1.5 The IMSLTM Libraries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 457
12.1.6 Libraries for Parallel Processing . . . . . . . . . . . . . . . . . . . . . 460
xxii Contents
12.2 Interactive Systems for Array Manipulation . . . . . . . . . . . . . . . . . 461
12.2.1 MATLABR and Octave . . . . . . . . . . . . . . . . . . . . . . . . . . . . 463
12.2.2 R and S-PLUS R . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 466
12.3 High-Performance Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 470
12.4 Software for Statistical Applications . . . . . . . . . . . . . . . . . . . . . . . 472
12.5 Test Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 472
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 475
A Notation and Definitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 479
A.1 General Notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 479
A.2 Computer Number Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 481
A.3 General Mathematical Functions and Operators . . . . . . . . . . . . . 482
A.4 Linear Spaces and Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 484
A.5 Models and Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 490
B Solutions and Hints for Selected Exercises . . . . . . . . . . . . . . . . . 493
Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 505
Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 519