TABLE OF CONTENTS
1. Linear Equations . . . . . . . . . . . . . . . . 1
1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 Gaussian Elimination and Matrices . . . . . . . . . . . . . 3
1.3 Gauss–Jordan Method . . . . . . . . . . . . . . . . . . 15
1.4 Two-Point BoundaryV alue Problems . . . . . . . . . . . 18
1.5 Making Gaussian Elimination Work . . . . . . . . . . . . 21
1.6 Ill-Conditioned Systems . . . . . . . . . . . . . . . . . . 33
2. Rectangular Systems and Echelon Forms . . . . . 41
2.1 Row Echelon Form and Rank . . . . . . . . . . . . . . . 41
2.2 Reduced Row Echelon Form . . . . . . . . . . . . . . . . 47
2.3 Consistencyof Linear Systems . . . . . . . . . . . . . . . 53
2.4 Homogeneous Systems . . . . . . . . . . . . . . . . . . 57
2.5 Nonhomogeneous Systems . . . . . . . . . . . . . . . . . 64
2.6 Electrical Circuits . . . . . . . . . . . . . . . . . . . . . 73
3. Matrix Algebra . . . . . . . . . . . . . . . . 79
3.1 From Ancient China To Arthur Cayley . . . . . . . . . . 79
3.2 Addition and Transposition . . . . . . . . . . . . . . . . 81
3.3 Linearity . . . . . . . . . . . . . . . . . . . . . . . . . 89
3.4 WhyDo It This Way . . . . . . . . . . . . . . . . . . . 93
3.5 Matrix Multiplication . . . . . . . . . . . . . . . . . . . 95
3.6 Properties of Matrix Multiplication . . . . . . . . . . . . 105
3.7 Matrix Inversion . . . . . . . . . . . . . . . . . . . . . 115
3.8 Inverses of Sums and Sensitivity . . . . . . . . . . . . . . 124
3.9 ElementaryMatrices and Equivalence . . . . . . . . . . . 131
3.10 The LU Factorization . . . . . . . . . . . . . . . . . . 141
4. Vector Spaces . . . . . . . . . . . . . . . . . 159
4.1 Spaces and Subspaces . . . . . . . . . . . . . . . . . . . 159
4.2 Four Fundamental Subspaces . . . . . . . . . . . . . . . 169
4.3 Linear Independence . . . . . . . . . . . . . . . . . . . 181
4.4 Basis and Dimension . . . . . . . . . . . . . . . . . . . 194
4.5 More about Rank . . . . . . . . . . . . . . . . . . . . . 210
4.6 Classical Least Squares . . . . . . . . . . . . . . . . . . 221
4.7 Linear Transformations . . . . . . . . . . . . . . . . . . 236
4.8 Change of Basis and Similarity . . . . . . . . . . . . . . 249
4.9 Invariant Subspaces . . . . . . . . . . . . . . . . . . . . 257
5. Norms, Inner Products, and Orthogonality . . . . 267
5.1 Vector Norms . . . . . . . . . . . . . . . . . . . . . . . 267
5.2 Matrix Norms . . . . . . . . . . . . . . . . . . . . . . . 277
5.3 Inner-Product Spaces . . . . . . . . . . . . . . . . . . . 284
5.4 Orthogonal Vectors . . . . . . . . . . . . . . . . . . . . 292
5.5 Gram–Schmidt Procedure . . . . . . . . . . . . . . . . . 306
5.6 Unitaryand Orthogonal Matrices . . . . . . . . . . . . . 319
5.7 Orthogonal Reduction . . . . . . . . . . . . . . . . . . . 340
5.8 Discrete Fourier Transform . . . . . . . . . . . . . . . . 355
5.9 ComplementarySubspaces . . . . . . . . . . . . . . . . 382
5.10 Range-Nullspace Decomposition . . . . . . . . . . . . . 393
5.11 Orthogonal Decomposition . . . . . . . . . . . . . . . . 402
5.12 Singular Value Decomposition . . . . . . . . . . . . . . 410
5.13 Orthogonal Projection . . . . . . . . . . . . . . . . . . 428
5.14 WhyLeast Squares? . . . . . . . . . . . . . . . . . . . 445
5.15 Angles between Subspaces . . . . . . . . . . . . . . . . 449
6. Determinants . . . . . . . . . . . . . . . . . 459
6.1 Determinants . . . . . . . . . . . . . . . . . . . . . . . 459
6.2 Additional Properties of Determinants . . . . . . . . . . 475
7. Eigenvalues and Eigenvectors . . . . . . . . . . 489
7.1 ElementaryProperties of Eigensystems . . . . . . . . . . 489
7.2 Diagonalization bySimilarit yT ransformations . . . . . . . 505
7.3 Functions of Diagonalizable Matrices . . . . . . . . . . . 525
7.4 Systems Of Differential Equations . . . . . . . . . . . . . 541
7.5 Normal Matrices . . . . . . . . . . . . . . . . . . . . . 547
7.6 Positive Definite Matrices . . . . . . . . . . . . . . . . . 558
7.7 Nilpotent Matrices and Jordan Structure . . . . . . . . . 573
7.8 Jordan Form . . . . . . . . . . . . . . . . . . . . . . . 586
7.9 Functions of Nondiagonalizable Matrices . . . . . . . . . 598
7.10 Difference Equations, Limits, and Summability . . . . . . 615
7.11 Minimum Polynomials and Krylov Methods . . . . . . . 641
8 Perron–Frobenius Theory of Nonnegative Matrices . 661
8.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . 661
8.2 Positive Matrices . . . . . . . . . . . . . . . . . . . . . 663
8.3 Nonnegative Matrices . . . . . . . . . . . . . . . . . . . 670
8.4 Stochastic Matrices and Markov Chains . . . . . . . . . . 687
|