<p><br/></p><p>是不是好书，各位达人评价。</p><p>详细目录</p><p>Preface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . vii<br/>Part I Linear Algebra<br/>1 Basic Vector/Matrix Structure and Notation . . . . . . . . . . . . . . 3<br/>1.1 Vectors. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4<br/>1.2 Arrays . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5<br/>1.3 Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5<br/>1.4 Representation of Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7<br/>2 Vectors and Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9<br/>2.1 Operations on Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9<br/>2.1.1 Linear Combinations and Linear Independence . . . . . . . . 10<br/>2.1.2 Vector Spaces and Spaces of Vectors . . . . . . . . . . . . . . . . . 11<br/>2.1.3 Basis Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14<br/>2.1.4 Inner Products . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15<br/>2.1.5 Norms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16<br/>2.1.6 Normalized Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21<br/>2.1.7 Metrics and Distances . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22<br/>2.1.8 Orthogonal Vectors and Orthogonal Vector Spaces . . . . . 22<br/>2.1.9 The “One Vector” . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23<br/>2.2 Cartesian Coordinates and Geometrical Properties of Vectors . 24<br/>2.2.1 Cartesian Geometry . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25<br/>2.2.2 Projections . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25<br/>2.2.3 Angles between Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26<br/>2.2.4 Orthogonalization Transformations . . . . . . . . . . . . . . . . . . 27<br/>2.2.5 Orthonormal Basis Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29<br/>2.2.6 Approximation of Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . 30<br/>2.2.7 Flats, Affine Spaces, and Hyperplanes . . . . . . . . . . . . . . . . 31<br/>2.2.8 Cones . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32<br/>xvi Contents<br/>2.2.9 Cross Products in IR3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33<br/>2.3 Centered Vectors and Variances and Covariances of Vectors . . . 33<br/>2.3.1 The Mean and Centered Vectors . . . . . . . . . . . . . . . . . . . . 34<br/>2.3.2 The Standard Deviation, the Variance,<br/>and Scaled Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35<br/>2.3.3 Covariances and Correlations between Vectors . . . . . . . . 36<br/>Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37<br/>3 Basic Properties of Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41<br/>3.1 Basic Definitions and Notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41<br/>3.1.1 Matrix Shaping Operators . . . . . . . . . . . . . . . . . . . . . . . . . . 44<br/>3.1.2 Partitioned Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46<br/>3.1.3 Matrix Addition. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47<br/>3.1.4 Scalar-Valued Operators on Square Matrices:<br/>The Trace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49<br/>3.1.5 Scalar-Valued Operators on Square Matrices:<br/>The Determinant . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50<br/>3.2 Multiplication of Matrices and Multiplication<br/>of Vectors and Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59<br/>3.2.1 Matrix Multiplication (Cayley) . . . . . . . . . . . . . . . . . . . . . . 59<br/>3.2.2 Multiplication of Partitioned Matrices . . . . . . . . . . . . . . . . 61<br/>3.2.3 Elementary Operations on Matrices . . . . . . . . . . . . . . . . . . 61<br/>3.2.4 Traces and Determinants of Square Cayley Products . . . 67<br/>3.2.5 Multiplication of Matrices and Vectors . . . . . . . . . . . . . . . 68<br/>3.2.6 Outer Products . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69<br/>3.2.7 Bilinear and Quadratic Forms; Definiteness . . . . . . . . . . . 69<br/>3.2.8 Anisometric Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71<br/>3.2.9 Other Kinds of Matrix Multiplication . . . . . . . . . . . . . . . . 72<br/>3.3 Matrix Rank and the Inverse of a Full Rank Matrix . . . . . . . . . . 76<br/>3.3.1 The Rank of Partitioned Matrices, Products<br/>of Matrices, and Sums of Matrices . . . . . . . . . . . . . . . . . . . 78<br/>3.3.2 Full Rank Partitioning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80<br/>3.3.3 Full Rank Matrices and Matrix Inverses . . . . . . . . . . . . . . 81<br/>3.3.4 Full Rank Factorization . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85<br/>3.3.5 Equivalent Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86<br/>3.3.6 Multiplication by Full Rank Matrices . . . . . . . . . . . . . . . . 88<br/>3.3.7 Products of the Form ATA . . . . . . . . . . . . . . . . . . . . . . . . . 90<br/>3.3.8 A Lower Bound on the Rank of a Matrix Product . . . . . 92<br/>3.3.9 Determinants of Inverses . . . . . . . . . . . . . . . . . . . . . . . . . . . 92<br/>3.3.10 Inverses of Products and Sums of Matrices . . . . . . . . . . . 93<br/>3.3.11 Inverses of Matrices with Special Forms . . . . . . . . . . . . . . 94<br/>3.3.12 Determining the Rank of a Matrix . . . . . . . . . . . . . . . . . . . 94<br/>3.4 More on Partitioned Square Matrices: The Schur Complement 95<br/>3.4.1 Inverses of Partitioned Matrices . . . . . . . . . . . . . . . . . . . . . 95<br/>3.4.2 Determinants of Partitioned Matrices . . . . . . . . . . . . . . . . 96<br/>Contents xvii<br/>3.5 Linear Systems of Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96<br/>3.5.1 Solutions of Linear Systems . . . . . . . . . . . . . . . . . . . . . . . . . 97<br/>3.5.2 Null Space: The Orthogonal Complement . . . . . . . . . . . . . 99<br/>3.6 Generalized Inverses . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100<br/>3.6.1 Generalized Inverses of Sums of Matrices . . . . . . . . . . . . . 101<br/>3.6.2 Generalized Inverses of Partitioned Matrices . . . . . . . . . . 101<br/>3.6.3 Pseudoinverse or Moore-Penrose Inverse . . . . . . . . . . . . . . 101<br/>3.7 Orthogonality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103<br/>3.8 Eigenanalysis; Canonical Factorizations . . . . . . . . . . . . . . . . . . . . 105<br/>3.8.1 Basic Properties of Eigenvalues and Eigenvectors . . . . . . 107<br/>3.8.2 The Characteristic Polynomial . . . . . . . . . . . . . . . . . . . . . . 108<br/>3.8.3 The Spectrum . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110<br/>3.8.4 Similarity Transformations . . . . . . . . . . . . . . . . . . . . . . . . . 114<br/>3.8.5 Similar Canonical Factorization;<br/>Diagonalizable Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116<br/>3.8.6 Properties of Diagonalizable Matrices . . . . . . . . . . . . . . . . 118<br/>3.8.7 Eigenanalysis of Symmetric Matrices . . . . . . . . . . . . . . . . . 119<br/>3.8.8 Positive Definite and Nonnegative Definite Matrices . . . 124<br/>3.8.9 The Generalized Eigenvalue Problem . . . . . . . . . . . . . . . . 126<br/>3.8.10 Singular Values and the Singular Value Decomposition . 127<br/>3.9 Matrix Norms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128<br/>3.9.1 Matrix Norms Induced from Vector Norms . . . . . . . . . . . 129<br/>3.9.2 The Frobenius Norm — The “Usual” Norm . . . . . . . . . . . 131<br/>3.9.3 Matrix Norm Inequalities . . . . . . . . . . . . . . . . . . . . . . . . . . . 133<br/>3.9.4 The Spectral Radius . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134<br/>3.9.5 Convergence of a Matrix Power Series . . . . . . . . . . . . . . . . 134<br/>3.10 Approximation of Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137<br/>Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140<br/>4 Vector/Matrix Derivatives and Integrals . . . . . . . . . . . . . . . . . . . 145<br/>4.1 Basics of Differentiation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145<br/>4.2 Types of Differentiation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149<br/>4.2.1 Differentiation with Respect to a Scalar . . . . . . . . . . . . . . 149<br/>4.2.2 Differentiation with Respect to a Vector . . . . . . . . . . . . . . 150<br/>4.2.3 Differentiation with Respect to a Matrix . . . . . . . . . . . . . 154<br/>4.3 Optimization of Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156<br/>4.3.1 Stationary Points of Functions . . . . . . . . . . . . . . . . . . . . . . 156<br/>4.3.2 Newton’s Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156<br/>4.3.3 Optimization of Functions with Restrictions . . . . . . . . . . 159<br/>4.4 Multiparameter Likelihood Functions . . . . . . . . . . . . . . . . . . . . . . 163<br/>4.5 Integration and Expectation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164<br/>4.5.1 Multidimensional Integrals and Integrals Involving<br/>Vectors and Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165<br/>4.5.2 Integration Combined with Other Operations . . . . . . . . . 166<br/>4.5.3 Random Variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167<br/>xviii Contents<br/>Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169<br/>5 Matrix Transformations and Factorizations . . . . . . . . . . . . . . . . 173<br/>5.1 Transformations by Orthogonal Matrices . . . . . . . . . . . . . . . . . . . 174<br/>5.2 Geometric Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175<br/>5.2.1 Rotations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176<br/>5.2.2 Reflections . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178<br/>5.2.3 Translations; Homogeneous Coordinates . . . . . . . . . . . . . . 178<br/>5.3 Householder Transformations (Reflections) . . . . . . . . . . . . . . . . . . 180<br/>5.4 Givens Transformations (Rotations) . . . . . . . . . . . . . . . . . . . . . . . 182<br/>5.5 Factorization of Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185<br/>5.6 LU and LDU Factorizations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186<br/>5.7 QR Factorization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188<br/>5.7.1 Householder Reflections to Form the QR Factorization . 190<br/>5.7.2 Givens Rotations to Form the QR Factorization . . . . . . . 192<br/>5.7.3 Gram-Schmidt Transformations to Form the<br/>QR Factorization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192<br/>5.8 Singular Value Factorization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192<br/>5.9 Factorizations of Nonnegative Definite Matrices . . . . . . . . . . . . . 193<br/>5.9.1 Square Roots . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193<br/>5.9.2 Cholesky Factorization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 194<br/>5.9.3 Factorizations of a Gramian Matrix . . . . . . . . . . . . . . . . . . 196<br/>5.10 Incomplete Factorizations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 197<br/>Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 198<br/>6 Solution of Linear Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201<br/>6.1 Condition of Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201<br/>6.2 Direct Methods for Consistent Systems . . . . . . . . . . . . . . . . . . . . . 206<br/>6.2.1 Gaussian Elimination and Matrix Factorizations . . . . . . . 207<br/>6.2.2 Choice of Direct Method . . . . . . . . . . . . . . . . . . . . . . . . . . . 211<br/>6.3 Iterative Methods for Consistent Systems . . . . . . . . . . . . . . . . . . . 211<br/>6.3.1 The Gauss-Seidel Method with<br/>Successive Overrelaxation . . . . . . . . . . . . . . . . . . . . . . . . . . 212<br/>6.3.2 Conjugate Gradient Methods for Symmetric<br/>Positive Definite Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . 213<br/>6.3.3 Multigrid Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 217<br/>6.4 Numerical Accuracy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 218<br/>6.5 Iterative Refinement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219<br/>6.6 Updating a Solution to a Consistent System . . . . . . . . . . . . . . . . 220<br/>6.7 Overdetermined Systems; Least Squares . . . . . . . . . . . . . . . . . . . . 222<br/>6.7.1 Least Squares Solution of an Overdetermined System . . 224<br/>6.7.2 Least Squares with a Full Rank Coefficient Matrix . . . . . 226<br/>6.7.3 Least Squares with a Coefficient Matrix<br/>Not of Full Rank . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227<br/>Contents xix<br/>6.7.4 Updating a Least Squares Solution<br/>of an Overdetermined System . . . . . . . . . . . . . . . . . . . . . . . 228<br/>6.8 Other Solutions of Overdetermined Systems. . . . . . . . . . . . . . . . . 229<br/>6.8.1 Solutions that Minimize Other Norms of the Residuals . 230<br/>6.8.2 Regularized Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233<br/>6.8.3 Minimizing Orthogonal Distances . . . . . . . . . . . . . . . . . . . . 234<br/>Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 238<br/>7 Evaluation of Eigenvalues and Eigenvectors . . . . . . . . . . . . . . . . 241<br/>7.1 General Computational Methods . . . . . . . . . . . . . . . . . . . . . . . . . . 242<br/>7.1.1 Eigenvalues from Eigenvectors and Vice Versa . . . . . . . . . 242<br/>7.1.2 Deflation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 243<br/>7.1.3 Preconditioning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 244<br/>7.2 Power Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 245<br/>7.3 Jacobi Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 247<br/>7.4 QR Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 250<br/>7.5 Krylov Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 252<br/>7.6 Generalized Eigenvalues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 252<br/>7.7 Singular Value Decomposition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 253<br/>Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 256<br/>Part II Applications in Data Analysis<br/>8 Special Matrices and Operations Useful in Modeling<br/>and Data Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 261<br/>8.1 Data Matrices and Association Matrices . . . . . . . . . . . . . . . . . . . . 261<br/>8.1.1 Flat Files . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 262<br/>8.1.2 Graphs and Other Data Structures . . . . . . . . . . . . . . . . . . 262<br/>8.1.3 Probability Distribution Models . . . . . . . . . . . . . . . . . . . . . 269<br/>8.1.4 Association Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 269<br/>8.2 Symmetric Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 270<br/>8.3 Nonnegative Definite Matrices; Cholesky Factorization . . . . . . . 275<br/>8.4 Positive Definite Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 277<br/>8.5 Idempotent and Projection Matrices . . . . . . . . . . . . . . . . . . . . . . . 280<br/>8.5.1 Idempotent Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 281<br/>8.5.2 Projection Matrices: Symmetric Idempotent Matrices . . 286<br/>8.6 Special Matrices Occurring in Data Analysis . . . . . . . . . . . . . . . . 287<br/>8.6.1 Gramian Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 288<br/>8.6.2 Projection and Smoothing Matrices . . . . . . . . . . . . . . . . . . 290<br/>8.6.3 Centered Matrices and Variance-Covariance Matrices . . 293<br/>8.6.4 The Generalized Variance . . . . . . . . . . . . . . . . . . . . . . . . . . 296<br/>8.6.5 Similarity Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 298<br/>8.6.6 Dissimilarity Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 299<br/>8.7 Nonnegative and Positive Matrices . . . . . . . . . . . . . . . . . . . . . . . . . 299<br/>xx Contents<br/>8.7.1 Properties of Square Positive Matrices . . . . . . . . . . . . . . . 301<br/>8.7.2 Irreducible Square Nonnegative Matrices . . . . . . . . . . . . . 302<br/>8.7.3 Stochastic Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 306<br/>8.7.4 Leslie Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 307<br/>8.8 Other Matrices with Special Structures . . . . . . . . . . . . . . . . . . . . . 307<br/>8.8.1 Helmert Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 308<br/>8.8.2 Vandermonde Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 309<br/>8.8.3 Hadamard Matrices and Orthogonal Arrays . . . . . . . . . . . 310<br/>8.8.4 Toeplitz Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 311<br/>8.8.5 Hankel Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 312<br/>8.8.6 Cauchy Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 313<br/>8.8.7 Matrices Useful in Graph Theory . . . . . . . . . . . . . . . . . . . . 313<br/>8.8.8 M-Matrices. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 317<br/>Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 317<br/>9 Selected Applications in Statistics . . . . . . . . . . . . . . . . . . . . . . . . . 321<br/>9.1 Multivariate Probability Distributions . . . . . . . . . . . . . . . . . . . . . . 322<br/>9.1.1 Basic Definitions and Properties . . . . . . . . . . . . . . . . . . . . . 322<br/>9.1.2 The Multivariate Normal Distribution . . . . . . . . . . . . . . . . 323<br/>9.1.3 Derived Distributions and Cochran’s Theorem . . . . . . . . 323<br/>9.2 Linear Models. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 325<br/>9.2.1 Fitting the Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 327<br/>9.2.2 Linear Models and Least Squares . . . . . . . . . . . . . . . . . . . . 330<br/>9.2.3 Statistical Inference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 332<br/>9.2.4 The Normal Equations and the Sweep Operator . . . . . . . 335<br/>9.2.5 Linear Least Squares Subject to Linear<br/>Equality Constraints . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 337<br/>9.2.6 Weighted Least Squares . . . . . . . . . . . . . . . . . . . . . . . . . . . . 337<br/>9.2.7 Updating Linear Regression Statistics . . . . . . . . . . . . . . . . 338<br/>9.2.8 Linear Smoothing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 341<br/>9.3 Principal Components . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 341<br/>9.3.1 Principal Components of a Random Vector . . . . . . . . . . . 342<br/>9.3.2 Principal Components of Data . . . . . . . . . . . . . . . . . . . . . . 343<br/>9.4 Condition of Models and Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . 346<br/>9.4.1 Ill-Conditioning in Statistical Applications . . . . . . . . . . . . 346<br/>9.4.2 Variable Selection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 347<br/>9.4.3 Principal Components Regression . . . . . . . . . . . . . . . . . . . 348<br/>9.4.4 Shrinkage Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 348<br/>9.4.5 Testing the Rank of a Matrix . . . . . . . . . . . . . . . . . . . . . . . 350<br/>9.4.6 Incomplete Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 352<br/>9.5 Optimal Design . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 355<br/>9.6 Multivariate Random Number Generation . . . . . . . . . . . . . . . . . . 358<br/>9.7 Stochastic Processes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 360<br/>9.7.1 Markov Chains . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 360<br/>9.7.2 Markovian Population Models . . . . . . . . . . . . . . . . . . . . . . . 362<br/>Contents xxi<br/>9.7.3 Autoregressive Processes . . . . . . . . . . . . . . . . . . . . . . . . . . . 364<br/>Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 365<br/>Part III Numerical Methods and Software<br/>10 Numerical Methods. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 375<br/>10.1 Digital Representation of Numeric Data . . . . . . . . . . . . . . . . . . . . 377<br/>10.1.1 The Fixed-Point Number System . . . . . . . . . . . . . . . . . . . . 378<br/>10.1.2 The Floating-Point Model for Real Numbers . . . . . . . . . . 379<br/>10.1.3 Language Constructs for Representing Numeric Data . . 386<br/>10.1.4 Other Variations in the Representation of Data;<br/>Portability of Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 391<br/>10.2 Computer Operations on Numeric Data . . . . . . . . . . . . . . . . . . . . 393<br/>10.2.1 Fixed-Point Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . 394<br/>10.2.2 Floating-Point Operations . . . . . . . . . . . . . . . . . . . . . . . . . . 395<br/>10.2.3 Exact Computations; Rational Fractions . . . . . . . . . . . . . 399<br/>10.2.4 Language Constructs for Operations<br/>on Numeric Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 401<br/>10.3 Numerical Algorithms and Analysis . . . . . . . . . . . . . . . . . . . . . . . . 403<br/>10.3.1 Error in Numerical Computations . . . . . . . . . . . . . . . . . . . 404<br/>10.3.2 Efficiency . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 412<br/>10.3.3 Iterations and Convergence . . . . . . . . . . . . . . . . . . . . . . . . . 417<br/>10.3.4 Other Computational Techniques . . . . . . . . . . . . . . . . . . . . 419<br/>Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 422<br/>11 Numerical Linear Algebra . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 429<br/>11.1 Computer Representation of Vectors and Matrices . . . . . . . . . . . 429<br/>11.2 General Computational Considerations<br/>for Vectors and Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 431<br/>11.2.1 Relative Magnitudes of Operands . . . . . . . . . . . . . . . . . . . . 431<br/>11.2.2 Iterative Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 433<br/>11.2.3 Assessing Computational Errors . . . . . . . . . . . . . . . . . . . . . 434<br/>11.3 Multiplication of Vectors and Matrices . . . . . . . . . . . . . . . . . . . . . 435<br/>11.4 Other Matrix Computations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 439<br/>Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 441<br/>12 Software for Numerical Linear Algebra . . . . . . . . . . . . . . . . . . . . 445<br/>12.1 Fortran and C . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 447<br/>12.1.1 Programming Considerations . . . . . . . . . . . . . . . . . . . . . . . 448<br/>12.1.2 Fortran 95 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 452<br/>12.1.3 Matrix and Vector Classes in C++ . . . . . . . . . . . . . . . . . . 453<br/>12.1.4 Libraries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 454<br/>12.1.5 The IMSLTM Libraries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 457<br/>12.1.6 Libraries for Parallel Processing . . . . . . . . . . . . . . . . . . . . . 460<br/>xxii Contents<br/>12.2 Interactive Systems for Array Manipulation . . . . . . . . . . . . . . . . . 461<br/>12.2.1 MATLABR and Octave . . . . . . . . . . . . . . . . . . . . . . . . . . . . 463<br/>12.2.2 R and S-PLUS R . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 466<br/>12.3 High-Performance Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 470<br/>12.4 Software for Statistical Applications . . . . . . . . . . . . . . . . . . . . . . . 472<br/>12.5 Test Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 472<br/>Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 475<br/>A Notation and Definitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 479<br/>A.1 General Notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 479<br/>A.2 Computer Number Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 481<br/>A.3 General Mathematical Functions and Operators . . . . . . . . . . . . . 482<br/>A.4 Linear Spaces and Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 484<br/>A.5 Models and Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 490<br/>B Solutions and Hints for Selected Exercises . . . . . . . . . . . . . . . . . 493<br/>Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 505<br/>Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 519</p>