This is an introduction to linear algebra. The main part of the book features row operations and everything is done in terms of the row reduced echelon form and specific algorithms. At the end, the more abstract notions of vector spaces and linear transformations on vector spaces are presented. However, this is intended to be a first course in linear algebra for students who are sophomores or juniors who have had a course in one variable calculus and a reasonable background in college algebra.
1 Systems of Equations 11
1.1 Systems of Equations, Geometry . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.1.1 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
1.2 Systems Of Equations,Algebraic Procedures . . . . . . . . . . . . . . . . . . 16
1.2.1 Elementary Operations . . . . . . . . . . . . . . . . . . . . . . . . . . 17
1.2.2 Gaussian Elimination . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
1.2.3 Uniqueness of the Reduced Row-Echelon Form . . . . . . . . . . . . 35
1.2.4 Rank and Homogeneous Systems . . . . . . . . . . . . . . . . . . . . 37
1.2.5 Balancing Chemical Reactions . . . . . . . . . . . . . . . . . . . . . . 43
1.2.6 Dimensionless Variables . . . . . . . . . . . . . . . . . . . . . . . . . 45
1.2.7 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
2 Matrices 59
2.1 Matrix Arithmetic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
2.1.1 Addition of Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
2.1.2 Scalar Multiplication of Matrices . . . . . . . . . . . . . . . . . . . . 63
2.1.3 Multiplication of Matrices . . . . . . . . . . . . . . . . . . . . . . . . 64
2.1.4 The ijth Entry of a Product . . . . . . . . . . . . . . . . . . . . . . . 71
2.1.5 Properties of Matrix Multiplication . . . . . . . . . . . . . . . . . . . 74
2.1.6 The Transpose . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
2.1.7 The Identity and Inverses . . . . . . . . . . . . . . . . . . . . . . . . 77
2.1.8 Finding the Inverse of a Matrix . . . . . . . . . . . . . . . . . . . . . 80
2.1.9 Elementary Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
2.1.10 More on Matrix Inverses . . . . . . . . . . . . . . . . . . . . . . . . . 93
2.1.11 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
3 Determinants 107
3.1 Basic Techniques and Properties . . . . . . . . . . . . . . . . . . . . . . . . . 107
3.1.1 Cofactors and 2 × 2 Determinants . . . . . . . . . . . . . . . . . . . . 107
3.1.2 The Determinant of a Triangular Matrix . . . . . . . . . . . . . . . . 112
3.1.3 Properties of Determinants . . . . . . . . . . . . . . . . . . . . . . . . 114
3.1.4 Finding Determinants using Row Operations . . . . . . . . . . . . . . 119
3.1.5 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121
3.2 Applications of the Determinant . . . . . . . . . . . . . . . . . . . . . . . . . 125
3.2.1 A Formula for the Inverse . . . . . . . . . . . . . . . . . . . . . . . . 125
3.2.2 Cramer’s Rule . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130
3.2.3 Polynomial Interpolation . . . . . . . . . . . . . . . . . . . . . . . . . 133
3.2.4 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136
4 R^n 141
4.1 Vectors in R^n. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
4.2 Algebra in R^n. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144
4.2.1 Addition of Vectors in R^n. . . . . . . . . . . . . . . . . . . . . . . . 145
4.2.2 Scalar Multiplication of Vectors in R^n. . . . . . . . . . . . . . . . . . 146
4.2.3 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147
4.3 Geometric Meaning ofVector Addition . . . . . . . . . . . . . . . . . . . . . 148
4.4 Length of a Vector . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150
4.5 Geometric Meaningof Scalar Multiplication . . . . . . . . . . . . . . . . . . . 154
4.6 Parametric Lines . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
4.6.1 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161
4.7 The Dot Product . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162
4.7.1 The Dot Product . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162
4.7.2 The Geometric Significance of the Dot Product . . . . . . . . . . . . 166
4.7.3 Projections . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169
4.7.4 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172
4.8 Planes in R^n. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174
4.9 The Cross Product . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178
4.9.1 The Box Product . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183
4.9.2 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185
4.10 Spanning, Linear Independence and Basis in R^n. . . . . . . . . . . . . . . . 187
4.10.1 Spanning Set of Vectors . . . . . . . . . . . . . . . . . . . . . . . . . 188
4.10.2 Linearly Independent Set of Vectors . . . . . . . . . . . . . . . . . . . 189
4.10.3 A Short Application to Chemistry . . . . . . . . . . . . . . . . . . . . 193
4.10.4 Subspaces and Basis . . . . . . . . . . . . . . . . . . . . . . . . . . . 194
4.10.5 Row Space, Column Space, and Null Space of a Matrix . . . . . . . . 198
4.10.6 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 204
4.11 Orthogonality and the Gram Schmidt Process . . . . . . . . . . . . . . . . . 210
4.11.1 Orthogonal and Orthonormal Sets . . . . . . . . . . . . . . . . . . . . 210
4.11.2 Orthogonal Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . 214
4.11.3 Gram-Schmidt Process . . . . . . . . . . . . . . . . . . . . . . . . . . 217
4.11.4 Orthogonal Projections . . . . . . . . . . . . . . . . . . . . . . . . . . 219
4.11.5 Least Squares Approximation . . . . . . . . . . . . . . . . . . . . . . 225
4.11.6 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 228
4.12 Applications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 230
4.12.1 Vectors and Physics . . . . . . . . . . . . . . . . . . . . . . . . . . . . 231
4.12.2 Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 234
4.12.3 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 236
5 Linear Transformations 239
5.1 Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 239
5.1.1 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 241
5.2 The Matrix of a LinearTransformation . . . . . . . . . . . . . . . . . . . . . 241
5.2.1 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 246
5.3 Properties of Linear Transformations . . . . . . . . . . . . . . . . . . . . . . 250
5.3.1 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 254
5.4 Special Linear Transformations in R^2. . . . . . . . . . . . . . . . . . . . . . 255
5.4.1 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 260
5.5 Linear Transformations which are One To One or Onto . . . . . . . . . . . . 261
5.5.1 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 264
5.6 The General Solution of a Linear System . . . . . . . . . . . . . . . . . . . . 265
5.6.1 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 269
6 Complex Numbers 273
6.1 Complex Numbers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 273
6.1.1 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 279
6.2 Polar Form . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 280
6.2.1 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 282
6.3 Roots of Complex Numbers . . . . . . . . . . . . . . . . . . . . . . . . . . . 283
6.3.1 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 287
6.4 The Quadratic Formula . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 287
6.4.1 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 289
7 Spectral Theory 291
7.1 Eigenvalues and Eigenvectors of a Matrix . . . . . . . . . . . . . . . . . . . . 291
7.1.1 Definition of Eigenvectors and Eigenvalues . . . . . . . . . . . . . . . 291
7.1.2 Finding Eigenvectors and Eigenvalues . . . . . . . . . . . . . . . . . . 294
7.1.3 Eigenvalues and Eigenvectors for Special Types of Matrices . . . . . . 300
7.1.4 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 303
7.2 Diagonalization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 306
7.2.1 Diagonalizing a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . 308
7.2.2 Complex Eigenvalues . . . . . . . . . . . . . . . . . . . . . . . . . . . 312
7.2.3 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 313
7.3 Applications of Spectral Theory . . . . . . . . . . . . . . . . . . . . . . . . . 316
7.3.1 Raising a Matrix to a High Power . . . . . . . . . . . . . . . . . . . . 316
7.3.2 Raising a Symmetric Matrix to a High Power . . . . . . . . . . . . . 318
7.3.3 Markov Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 321
7.3.4 Dynamical Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . 327
7.3.5 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 334
7.4 Orthogonality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 339
7.4.1 Orthogonal Diagonalization . . . . . . . . . . . . . . . . . . . . . . . 339
7.4.2 Positive Definite Matrices . . . . . . . . . . . . . . . . . . . . . . . . 347
7.4.3 QR Factorization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 347
7.4.4 Quadratic Forms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 350
7.4.5 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 356
8 Some Curvilinear Coordinate Systems 361
8.1 Polar Coordinates and Polar Graphs . . . . . . . . . . . . . . . . . . . . . . 361
8.1.1 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 370
8.2 Spherical and Cylindrical Coordinates . . . . . . . . . . . . . . . . . . . . . . 371
8.2.1 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 375
9 Vector Spaces 379
9.1 Algebraic Considerations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 379
9.1.1 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 394
9.2 Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 394
9.2.1 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 400
9.3 Linear Independence and Bases . . . . . . . . . . . . . . . . . . . . . . . . . 401
9.3.1 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 411
A Some Prerequisite Topics 413
A.1 Sets and Set Notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 413
A.2 Well Ordering and Induction . . . . . . . . . . . . . . . . . . . . . . . . . . . 415
Index 421