在线性代数的理论体系中,正定矩阵、合同矩阵以及正交矩阵是三个核心概念,广泛应用于数学分析、优化理论和工程计算等领域。本文将系统梳理这些概念的定义、性质及其内在联系,并重点探讨实对称矩阵所具备的独特特性。
1. 正定矩阵
定义:
设 $ A $ 为一个 $ n \times n $ 的实对称矩阵,若对任意非零向量 $ \mathbf{x} \in \mathbb{R}^n $,均有:
$$ \mathbf{x}^T A \mathbf{x} > 0, $$
则称 $ A $ 为正定矩阵。
在复数域中,若 $ A $ 是厄米特矩阵(即满足 $ A^H = A $),且对任意非零复向量 $ \mathbf{z} \in \mathbb{C}^n $,有:
$$ \mathbf{z}^H A \mathbf{z} > 0, $$
则称 $ A $ 为复正定矩阵。
主要性质与等价条件:
- 所有特征值均为正实数
- 行列式大于零:$ \det(A) > 0 $
- 各阶顺序主子式均大于零(Sylvester准则)
- 矩阵可逆,且其逆矩阵也是正定的
- 存在Cholesky分解:$ A = LL^T $,其中 $ L $ 为下三角矩阵,对角元素均为正数
- 与单位矩阵合同,即存在可逆矩阵 $ P $,使得 $ A = P^T P $
- 主对角线上的元素全部为正
- 两个正定矩阵的和仍为正定矩阵
几何意义:
正定矩阵对应的二次型 $ \mathbf{x}^T A \mathbf{x} $ 在非零向量上恒为正值,其等值面 $ \mathbf{x}^T A \mathbf{x} = 1 $ 构成一个椭球面。在最优化问题中,若目标函数的Hessian矩阵为正定,则该点为严格的局部极小值点。
2. 合同矩阵
定义:
对于两个 $ n \times n $ 的实对称矩阵 $ A $ 和 $ B $,若存在一个可逆矩阵 $ P $,使得:
$$ B = P^T A P, $$
则称 $ A $ 与 $ B $ 合同。
在复数情形下,若 $ A $ 和 $ B $ 为厄米特矩阵,且存在可逆矩阵 $ P $ 满足:
$$ B = P^H A P, $$
则称二者在复意义下合同。
核心定理 —— 西尔维斯特惯性定理:
实对称矩阵在合同变换下,其惯性指数 $ (p, q, r) $ 保持不变,其中:
- $ p $:正特征值的个数
- $ q $:负特征值的个数
- $ r $:零特征值的个数(即 $ r = n - \text{rank}(A) $)
因此,两个实对称矩阵合同的充要条件是它们具有相同的惯性指数。
合同与相似的关系:
- 相似关系定义为:$ B = P^{-1} A P $,要求两矩阵具有完全相同的特征值(含重数)。
- 合同关系定义为:$ B = P^T A P $,仅要求惯性指数一致。
对于实对称矩阵而言,相似一定意味着合同,但合同不一定相似。
例如,矩阵 $ \text{diag}(1,1) $ 与 $ \text{diag}(4,1) $ 具有相同的正惯性指数,故合同;但由于特征值不同,不相似。
3. 实对称矩阵的特征向量正交性
定理内容:
实对称矩阵中,属于不同特征值的特征向量必定相互正交。
证明思路:
设 $ A\mathbf{v}_1 = \lambda_1 \mathbf{v}_1 $,$ A\mathbf{v}_2 = \lambda_2 \mathbf{v}_2 $,且 $ \lambda_1 \neq \lambda_2 $。由于 $ A^T = A $,考虑如下推导:
$$ \mathbf{v}_1^T A \mathbf{v}_2 = \lambda_2 \mathbf{v}_1^T \mathbf{v}_2, \quad \text{同时} \quad (A\mathbf{v}_1)^T \mathbf{v}_2 = \lambda_1 \mathbf{v}_1^T \mathbf{v}_2. $$
结合 $ A = A^T $ 可得:
$$ \lambda_1 \mathbf{v}_1^T \mathbf{v}_2 = \lambda_2 \mathbf{v}_1^T \mathbf{v}_2 \Rightarrow (\lambda_2 - \lambda_1)\mathbf{v}_1^T \mathbf{v}_2 = 0. $$
因 $ \lambda_1 \neq \lambda_2 $,必有 $ \mathbf{v}_1^T \mathbf{v}_2 = 0 $,即两向量正交。
重要意义:
这一性质是谱定理的基础:任意实对称矩阵均可通过正交矩阵实现对角化,即存在正交矩阵 $ Q $,使得:
$$ Q^T A Q = \Lambda, $$
其中 $ \Lambda $ 为由特征值构成的对角矩阵。
4. 正交矩阵
定义:
一个实方阵 $ P $ 称为正交矩阵,当且仅当:
$$ P^T P = P P^T = I, $$
亦即 $ P^T = P^{-1} $。
名称来源:
正交矩阵的列向量(或行向量)构成一组标准正交基——彼此正交且模长为1。设 $ P = [\mathbf{p}_1, \ldots, \mathbf{p}_n] $,则有:
$$ \mathbf{p}_i \cdot \mathbf{p}_j = \delta_{ij}, $$
正是由于这种向量间的“正交”关系,该类矩阵被称为“正交矩阵”。
常见误区澄清:
需注意区分“向量正交”与“正交矩阵”的概念:
两个向量 $ \mathbf{u}, \mathbf{v} $ 正交,指的是它们的内积为零,即 $ \mathbf{u}^T \mathbf{v} = 0 $;而正交矩阵是一类特殊矩阵,其整体结构满足转置等于逆的性质。
正交矩阵是指满足条件 \( P^T P = I \) 的矩阵 \( P \),其中 \( I \) 为单位矩阵,而非 \( P^T P = 0 \)。这类矩阵具有若干重要性质:
首先,正交矩阵保持向量的内积与长度不变,即对任意向量 \( \mathbf{x} \) 和 \( \mathbf{y} \),有:
\[ (P\mathbf{x}) \cdot (P\mathbf{y}) = \mathbf{x} \cdot \mathbf{y} \]其次,正交矩阵的行列式值为 \( \pm 1 \),其对应的线性变换表示空间中的旋转或反射。
正定矩阵则用于刻画二次型的正定特性,在凸优化问题中扮演核心角色。一个实对称矩阵若所有特征值均为正,则该矩阵为正定矩阵,确保了对应二次型在非零输入下恒为正值。
合同矩阵描述的是在可逆线性替换下二次型之间的等价关系。两个矩阵 \( A \) 和 \( B \) 称为合同的,当存在可逆矩阵 \( C \),使得 \( B = C^T A C \)。此类关系由惯性指数(正、负、零特征值的个数)完全决定,体现了二次型在不同坐标系下的分类结构。
上述三类矩阵——正定矩阵、合同矩阵与正交矩阵——构成了线性代数的重要理论支柱。它们之间通过实对称矩阵的性质相互关联:实对称矩阵的不同特征值对应的特征向量彼此正交,从而保证了其可被正交对角化。这一性质是主成分分析(PCA)等降维方法的数学基础。
深入理解这些概念及其内在联系,对于掌握现代科学计算、数值算法设计以及机器学习中的模型原理具有重要意义。


雷达卡


京公网安备 11010802022788号







