正定矩阵和半正定矩阵

日期：2021-10-16 栏目：程序人生浏览：次

在众多的机器学习模型中，线性代数的身影无处不在，当然，我们也会时常碰到线性代数中的正定矩阵和半正定矩阵。例如，多元正态分布的协方差矩阵要求是半正定的。

--------------×--------------×--------------

1. 基本的定义

正定和半正定这两个词的英文分别是positive definite和positive semi-definite，其中，definite是一个形容词，表示“明确的、确定的”等意思。

初学线性代数的读者可能会被这两个词“唬住”，但正定矩阵和半正定矩阵的定义实际上是很简单的 (不考虑复数构成的矩阵)：

【定义1】给定一个大小为

$n\times n$

的实对称矩阵

$A$

，若对于任意长度为

$n$

的非零向量

$\boldsymbol{x}$

，有

$\boldsymbol{x}^TA\boldsymbol{x}/p0$ 恒成立，则矩阵

$A$

是一个正定矩阵。

【例1】单位矩阵

$I\in\mathbb{R}^{2\times 2}$

是否是正定矩阵？

解：设向量

$\boldsymbol{x}=\left[ \begin{array}{c} x_1 \\ x_2 \\ \end{array} \right] \in\mathbb{R}^{2}$

为非零向量，则

$\boldsymbol{x}^TI\boldsymbol{x}=\boldsymbol{x}^T\boldsymbol{x}=x_1^2+x_2^2$

由于

$\boldsymbol{x}\neq \boldsymbol{0}$

，故

$\boldsymbol{x}^TI\boldsymbol{x}/p0$ 恒成立，即单位矩阵

$I\in\mathbb{R}^{2\times 2}$

是正定矩阵。

单位矩阵是正定矩阵 (positive definite)。

【简单证明】对于任意单位矩阵

$I\in\mathbb{R}^{n\times n}$

而言，给定任意非零向量

$\boldsymbol{x}\in\mathbb{R}^{n}$

，恒有

$\boldsymbol{x}^TI\boldsymbol{x}=\boldsymbol{x}^T\boldsymbol{x}$

$=x_1^2+x_2^2+\cdots+x_n^2/p0$

【例2】实对称矩阵

$A=\left[ \begin{array}{ccc} 2 & -1 & 0 \\ -1 & 2 & -1 \\ 0 & -1 & 2 \\ \end{array} \right] \in\mathbb{R}^{3\times 3}$

是否是正定矩阵？