Knowledge1：对称正定矩阵

概述#

这一节的核心是：

对称正定矩阵是一类既有良好代数性质，又有清晰几何意义的矩阵。

它在计算方法中非常重要，尤其出现在：

线性方程组 $Ax=b$
二次函数极小化问题
最速下降法
共轭梯度法
Cholesky 分解

如果 $A$ 是对称正定矩阵，那么由它构造的二次函数

\phi(x)=\frac12 x^T A x-b^T x

具有唯一极小点，并且二维情况下等高线是一圈圈椭圆。

目录#

对称正定矩阵的定义
正定性的直观理解
常见判定方法
重要性质
与二次函数的关系
等高线为什么是椭圆
容易混淆的点
小结

对称正定矩阵的定义#

设 $A$ 是一个实矩阵。

如果它满足：

A=A^T

并且对任意非零向量 $x\neq 0$ ，都有：

x^T A x>0

则称 $A$ 为 对称正定矩阵，记作：

A\succ 0

其中：

$A=A^T$ 表示矩阵是对称的；
$x^TAx>0$ 表示矩阵对应的二次型恒为正。

例如：

A= \begin{pmatrix} 2&0\\ 0&3 \end{pmatrix}

对任意

x= \begin{pmatrix} x_1\\ x_2 \end{pmatrix}

都有：

x^TAx=2x_1^2+3x_2^2

只要 $x\neq 0$ ，就有：

2x_1^2+3x_2^2>0

所以 $A$ 是对称正定矩阵。

正定性的直观理解#

正定矩阵控制的是表达式：

x^TAx

这个表达式称为 二次型。

可以把 $x^TAx$ 理解成由矩阵 $A$ 定义的一种“带权平方和”。

例如：

A= \begin{pmatrix} 1&0\\ 0&4 \end{pmatrix}

则：

x^TAx=x_1^2+4x_2^2

它永远大于等于 $0$ ，并且只有当

x_1=x_2=0

时才等于 $0$ 。

所以正定性的核心含义是：

除零向量外，所有方向上的二次型取值都为正。

这说明矩阵 $A$ 在所有方向上都具有“正的弯曲程度”。

常见判定方法#

对于实对称矩阵 $A$ ，下面几种说法等价：

对任意 $x\neq 0$ ，有

x^TAx>0

$A$ 的所有特征值都大于 $0$ ：

\lambda_i>0

$A$ 的所有顺序主子式都大于 $0$ 。
$A$ 可以作 Cholesky 分解：

A=LL^T

其中 $L$ 是下三角矩阵，且对角线元素全为正。

二阶矩阵的判定#

若

A= \begin{pmatrix} a&b\\ b&d \end{pmatrix}

则 $A$ 是对称正定矩阵的充要条件是：

a>0,\qquad ad-b^2>0

例如：

A= \begin{pmatrix} 2&1\\ 1&3 \end{pmatrix}

有：

a=2>0

并且：

ad-b^2=2\cdot 3-1^2=5>0

所以 $A$ 是对称正定矩阵。

重要性质#

1. 特征值全为正#

若 $A$ 是对称正定矩阵，则它的所有特征值都满足：

\lambda_i>0

这是判断正定性最常用的方法之一。

因为对称矩阵可以正交对角化：

A=Q\Lambda Q^T

其中：

\Lambda=\operatorname{diag}(\lambda_1,\lambda_2,\cdots,\lambda_n)

正定性等价于所有特征值都为正。

2. 一定可逆#

由于对称正定矩阵的所有特征值都大于 $0$ ，所以没有零特征值。

因此：

\det(A)\neq 0

所以 $A$ 一定可逆。

并且：

A^{-1}

仍然是对称正定矩阵。

3. 可以作 Cholesky 分解#

对称正定矩阵可以分解为：

A=LL^T

其中 $L$ 是下三角矩阵。

这个分解称为 Cholesky 分解。

它常用于求解线性方程组：

Ax=b

相比一般的 LU 分解，Cholesky 分解通常计算量更少，也更适合对称正定矩阵。

4. 可以定义 $A$ -范数#

如果 $A$ 对称正定，可以定义：

\|x\|_A=\sqrt{x^TAx}

这称为 $A$ -范数。

因为 $A$ 正定，所以：

x\neq 0 \Rightarrow x^TAx>0

因此这个范数不会出现“非零向量长度为零”的问题。

5. 对应的二次函数严格凸#

若

\phi(x)=\frac12x^TAx-b^Tx

且 $A$ 是对称正定矩阵，则 $\phi(x)$ 是严格凸函数。

它有唯一极小点。

对 $\phi(x)$ 求梯度：

\nabla \phi(x)=Ax-b

令梯度为零：

Ax-b=0

得到：

Ax=b

所以求解线性方程组 $Ax=b$ ，可以转化为求二次函数

\phi(x)=\frac12x^TAx-b^Tx

的极小点。

TIP
这就是最速下降法、共轭梯度法等方法的理论基础。
当 $A$ 对称正定时，解方程 $Ax=b$ 和最小化二次函数 $\phi(x)$ 是同一个问题的两种表达。

与二次函数的关系#

对称正定矩阵常常和下面的二次函数联系在一起：

\phi(x)=\frac12x^TAx-b^Tx

其中 $A$ 对称正定。

由于 $A$ 正定，函数 $\phi(x)$ 是一个开口向上的“碗形曲面”。

它的最低点满足：

\nabla \phi(x)=0

也就是：

Ax=b

所以极小点为：

x^*=A^{-1}b

进一步可以配方：

\phi(x) = \frac12(x-x^*)^TA(x-x^*)+\phi(x^*)

这说明 $\phi(x)$ 的形状由矩阵 $A$ 决定，中心位置由 $x^*=A^{-1}b$ 决定。

等高线为什么是椭圆#

二维情况下，若忽略一次项，考虑：

\phi(x)=x^TAx

令等高线为：

x^TAx=c

其中 $c>0$ 。

因为 $A$ 是实对称矩阵，所以可以正交对角化：

A=Q\Lambda Q^T

其中：

\Lambda= \begin{pmatrix} \lambda_1&0\\ 0&\lambda_2 \end{pmatrix}

正定性保证：

\lambda_1>0,\qquad \lambda_2>0

令：

z=Q^Tx

这相当于对坐标轴做旋转。

于是：

x^TAx=z^T\Lambda z

即：

x^TAx=\lambda_1z_1^2+\lambda_2z_2^2

令其等于常数 $c$ ：

\lambda_1z_1^2+\lambda_2z_2^2=c

整理得：

\frac{z_1^2}{c/\lambda_1} + \frac{z_2^2}{c/\lambda_2} =1

这正是椭圆方程。

所以：

A\succ 0 \quad \Rightarrow \quad x^TAx=c \text{ 是椭圆}

如果二次函数中含有一次项 $-b^Tx$ ，等高线仍然是椭圆，只是椭圆中心从原点平移到：

x^*=A^{-1}b

几何直观#

如果

A=I

则：

x^TAx=x_1^2+x_2^2

等高线是圆。

如果

A= \begin{pmatrix} 1&0\\ 0&100 \end{pmatrix}

则：

x^TAx=x_1^2+100x_2^2

等高线为：

x_1^2+100x_2^2=c

这是一个很扁的椭圆。

原因是 $x_2$ 方向上的系数很大，说明函数在 $x_2$ 方向变化很快。为了保持同一个函数值， $x_2$ 的变化范围就必须很小。

TIP
椭圆越扁，说明不同方向上的变化尺度差异越大。
在迭代法中，这通常意味着收敛会更慢，迭代路径可能会来回折返。

容易混淆的点#

1. 对称不一定正定#

例如：

A= \begin{pmatrix} 1&0\\ 0&-1 \end{pmatrix}

它满足：

A=A^T

所以它是对称矩阵。

但：

x^TAx=x_1^2-x_2^2

取：

x= \begin{pmatrix} 0\\ 1 \end{pmatrix}

则：

x^TAx=-1<0

所以它不正定。

2. 半正定和正定不同#

正定要求：

x^TAx>0,\qquad x\neq 0

半正定要求：

x^TAx\geq 0,\qquad \forall x

例如：

A= \begin{pmatrix} 1&0\\ 0&0 \end{pmatrix}

有：

x^TAx=x_1^2\geq 0

所以它是半正定矩阵。

但取：

x= \begin{pmatrix} 0\\ 1 \end{pmatrix}

有：

x^TAx=0

因此它不正定。

小结#

对称正定矩阵的核心判断是：

A=A^T,\qquad x^TAx>0\quad (x\neq 0)

它的主要性质可以概括为：

所有特征值都大于 $0$
一定可逆
可以作 Cholesky 分解
可以定义 $A$ -范数
对应二次函数严格凸
二维情况下，二次函数的等高线是椭圆

在计算方法中，对称正定矩阵的意义在于：

它把线性方程组问题、二次函数极小化问题和几何上的椭圆等高线联系在了一起。

概述#

目录#

对称正定矩阵的定义#

正定性的直观理解#

常见判定方法#

二阶矩阵的判定#

重要性质#

1. 特征值全为正#

2. 一定可逆#

3. 可以作 Cholesky 分解#

4. 可以定义 AAA-范数#

5. 对应的二次函数严格凸#

与二次函数的关系#

等高线为什么是椭圆#

几何直观#

容易混淆的点#

1. 对称不一定正定#

2. 半正定和正定不同#

小结#

4. 可以定义 $A$ -范数#