3.1 欧几里德空间与酉空间#

定义 3.1.1（欧氏空间）#

设 $n$ 维实线性空间 $V_n(\mathbb R)$ ，对 $\forall\alpha,\beta\in V$ ，按某种法则对应一个实数，记为 $\langle\alpha,\beta\rangle$ 。若满足：

对称性：$\langle\alpha,\beta\rangle=\langle\beta,\alpha\rangle;$
双线性：$\langle\alpha,\beta k\rangle=\langle\alpha,\beta\rangle k,\qquad \forall k\in\mathbb R;$
分配律：$\langle\alpha,\beta+\gamma\rangle =\langle\alpha,\beta\rangle+\langle\alpha,\gamma\rangle,\qquad \forall\gamma\in V;$
正定性：$\langle\alpha,\alpha\rangle\ge 0,\qquad \langle\alpha,\alpha\rangle=0\iff\alpha=0,$

则称实数 $\langle\alpha,\beta\rangle$ 为定义在 $V$ 上的一个内积；定义了内积的 $V_n(\mathbb R)$ 称为 $n$ 维欧几里德空间（欧氏空间），记为 $V_n(\mathbb R,E)$ 。

定义 3.1.2（酉空间）#

设 $n$ 维复线性空间 $V_n(\mathbb C)$ ，对 $\forall\alpha,\beta\in V$ ，按某种法则对应一个复数 $\langle\alpha,\beta\rangle$ 。若满足：

共轭对称性： $ \langle\alpha,\beta\rangle =\overline{\langle\beta,\alpha\rangle}; $
第二变量线性： $ \langle\alpha,\beta k\rangle =\langle\alpha,\beta\rangle k, \qquad \forall k\in\mathbb C; $
分配律： $ \langle\alpha,\beta+\gamma\rangle =\langle\alpha,\beta\rangle+\langle\alpha,\gamma\rangle; $
正定性： $ \langle\alpha,\alpha\rangle\ge0, \qquad \langle\alpha,\alpha\rangle=0\iff\alpha=0, $

则称 $\langle\alpha,\beta\rangle$ 为定义在 $V$ 上的一个内积；定义了内积的 $V_n(\mathbb C)$ 称为 $n$ 维酉空间，记为 $V_n(\mathbb C,U)$ 。

注：

共轭对称性说明 $\langle\alpha,\alpha\rangle$ 一定是实数，因而正定性中的大小比较有意义。
共轭对称性与第二变量线性暗含第一变量共轭线性。
内积也可定义在无限维线性空间中，本课仅讨论有限维情形。

线性规则补注#

欧氏空间中：

$$ \begin{aligned} \langle \alpha k,\beta\rangle &=k\langle\alpha,\beta\rangle,\\ \langle \alpha,\beta+\gamma\rangle &=\langle\alpha,\beta\rangle+\langle\alpha,\gamma\rangle,\\ \left\langle\sum_{i=1}^t\alpha_i k_i,\beta\right\rangle &=\sum_{i=1}^t k_i\langle\alpha_i,\beta\rangle,\\ \left\langle\alpha,\sum_{i=1}^t\beta_i k_i\right\rangle &=\sum_{i=1}^t k_i\langle\alpha,\beta_i\rangle. \end{aligned} $$

酉空间中：

$$ \begin{aligned} \langle \alpha k,\beta\rangle &=\overline{k}\langle\alpha,\beta\rangle,\\ \langle \alpha,\beta+\gamma\rangle &=\langle\alpha,\beta\rangle+\langle\alpha,\gamma\rangle,\\ \left\langle\sum_{i=1}^t\alpha_i k_i,\beta\right\rangle &=\sum_{i=1}^t\overline{k_i}\langle\alpha_i,\beta\rangle,\\ \left\langle\alpha,\sum_{i=1}^t\beta_i k_i\right\rangle &=\sum_{i=1}^t k_i\langle\alpha,\beta_i\rangle. \end{aligned} $$

用矩阵语言表达，令 $B=[\beta_1\ \beta_2\ \cdots\ \beta_n]$ ，$x=[k_1,\ldots,k_n]^T$ ，则

$$ \left\langle \alpha,\ (\beta_1,\beta_2,\ldots,\beta_n) \begin{pmatrix} k_1 \ k_2 \ \vdots \ k_n \end{pmatrix} \right\rangle#

(\langle \alpha,\beta_1\rangle,\langle \alpha,\beta_2\rangle,\ldots,\langle \alpha,\beta_n\rangle) \begin{pmatrix} k_1 \ k_2 \ \vdots \ k_n \end{pmatrix} $$

$$ \langle\alpha,Bx\rangle#

[\langle\alpha,\beta_1\rangle\ \cdots\ \langle\alpha,\beta_n\rangle]x, $$

$$ \left\langle (\beta_1,\beta_2,\ldots,\beta_n) \begin{pmatrix} k_1 \ k_2 \ \vdots \ k_n \end{pmatrix},\ \alpha \right\rangle#

(\bar{k}_1,\bar{k}_2,\ldots,\bar{k}_n) \begin{pmatrix} \langle \beta_1,\alpha\rangle \ \langle \beta_2,\alpha\rangle \ \vdots \ \langle \beta_n,\alpha\rangle \end{pmatrix} $$

$$ \langle Bx,\alpha\rangle#

\overline{x}^{T} \begin{bmatrix} \langle\beta_1,\alpha\rangle\ \vdots\ \langle\beta_n,\alpha\rangle \end{bmatrix}. $$

记

$$ A^H=\overline{A}^{T},\qquad \forall A\in\mathbb C^{m\times n}. $$

性质 3.1.1（共轭转置）#

$$ \begin{aligned} (A+B)^H &= A^H+B^H,\\ (kA)^H &= \overline{k}A^H,\\ (AB)^H &= B^H A^H,\\ (A^H)^H &= A,\\ (A^H)^{-1} &= (A^{-1})^H, \qquad \forall A\in\mathbb C^{n\times n},\ |A|\ne0. \end{aligned} $$

例 3.1.1（随机变量空间）#

令

$$ X=\{\text{定义在样本空间 }\Omega\text{ 上的实随机变量的全体}\}. $$

$X$ 依随机变量加法和数乘构成 $\mathbb R$ 上的无穷维线性空间。对任意 $x,y\in X$ ，定义

$$ \langle x,y\rangle=E\{xy\} \tag{1} $$

这是一个内积（满足正定性）。于是 $X$ 成为实内积空间，但不是有限维空间。

另一方面，

$$ \langle x,y\rangle=D(x,y) =E\{(x-E(X))(y-E(y))\} \tag{2} $$

在 $X$ 上不是内积（仅为正半定）。但在

$$ Y=\{\text{定义在 }\Omega\text{ 上的零均值实随机变量的全体}\} $$

上，式 (2) 与式 (1) 相等，是一个内积。

例 3.1.2（多项式空间）#

在线性空间 $\mathbb R[x]_n$ 中定义

$$ \langle f(x),g(x)\rangle =\int_0^1 f(x)g(x)\,dx, \qquad f(x),g(x)\in\mathbb R[x]_n, $$

则该定义是一个内积。

例 3.1.3（标准内积空间）#

空间基向量是标准正交基

$$ \mathbb R^n:\quad \langle x,y\rangle =\sum_{i=1}^n x_i y_i=x^T y, $$ $$ \mathbb C^n:\quad \langle x,y\rangle =\sum_{i=1}^n \overline{x}_iy_i =\overline{x}^{T}y=x^H y. $$

$\mathbb R^n$ 中还可以定义其他内积。例如在 $\mathbb R^2$ 中：

$$ \langle x,y\rangle=x_1y_1+2x_2y_2=x^T \begin{bmatrix}1&0\\0&2\end{bmatrix}y. $$

矩阵空间上的内积#

矩阵空间上的内积，可以理解为：把矩阵的所有元素排列成一个长向量，再计算向量内积。

$$ A=\begin{bmatrix}1&2\\3&4\end{bmatrix}, \qquad B=\begin{bmatrix}5&6\\7&8\end{bmatrix} $$

对应向量 $(1,2,3,4)$ 和 $(5,6,7,8)$ ，因此

$$ \langle A,B\rangle =1\cdot5+2\cdot6+3\cdot7+4\cdot8 =70. $$ $$ \boxed{ \langle A,B\rangle =\sum_{i=1}^{m}\sum_{j=1}^{n}{a_{ij}}\,b_{ij} =\operatorname{Tr}(A^TB) } $$

一般地，对同样大小的复矩阵 $A,B\in\mathbb C^{m\times n}$ ，定义

$$ \boxed{ \langle A,B\rangle =\sum_{i=1}^{m}\sum_{j=1}^{n}\overline{a_{ij}}\,b_{ij} =\operatorname{Tr}(A^HB) } $$

其中，$A^H=\overline{A}^{\,T}$ 仅代表共轭转置（不代表H矩阵），$\operatorname{Tr}$ 表示对角线元素之和。对于实矩阵，$A^H=A^T$ 。

且满足正定性：

$$ \langle A,A\rangle =\sum_{i,j}|a_{ij}|^2\ge0, \qquad \langle A,A\rangle=0\iff A=0. $$

容易验证，这是 $\mathbb C^{m\times n}$ 上的一个内积，从而 $\mathbb C^{m\times n}$ 连同该内积成为酉空间。

定理 3.1.1（线性组合的内积）#

设 $V$ 是 $\mathbb C^n$ 上的内积空间，$\{\alpha_1,\alpha_2,\ldots,\alpha_s\}$ 是 $V$ 中的一组向量，并令

$$ \alpha=[\alpha_1\ \alpha_2\ \cdots\ \alpha_s]x, \quad x\in\mathbb C^s, $$ $$ \beta=[\alpha_1\ \alpha_2\ \cdots\ \alpha_s]y, \quad y\in\mathbb C^s. $$

则

$$ \langle\alpha,\beta\rangle =x^H[\langle\alpha_i,\alpha_j\rangle]_{s\times s}y, $$

其中

$$ [\langle\alpha_i,\alpha_j\rangle]_{s\times s}#

\begin{bmatrix} \langle\alpha_1,\alpha_1\rangle&\cdots&\langle\alpha_1,\alpha_s\rangle\ \vdots&\ddots&\vdots\ \langle\alpha_s,\alpha_1\rangle&\cdots&\langle\alpha_s,\alpha_s\rangle \end{bmatrix}. $$ 意义：用于简化计算

3.2 Gramian 矩阵与内积度量矩阵#

定义 3.2.1（向量组的 Gramian 矩阵）#

设 $V$ 是 $\mathbb C^n$ 上的内积空间，$\{\alpha_1,\alpha_2,\ldots,\alpha_s\}$ 是 $V$ 中的一组向量。称

$$ G(\alpha_1,\ldots,\alpha_s) =[\langle\alpha_i,\alpha_j\rangle]_{s\times s}#

\begin{bmatrix} \langle\alpha_1,\alpha_1\rangle&\cdots&\langle\alpha_1,\alpha_s\rangle\ \vdots&\ddots&\vdots\ \langle\alpha_s,\alpha_1\rangle&\cdots&\langle\alpha_s,\alpha_s\rangle \end{bmatrix}. $$

为向量组 $\{\alpha_1,\ldots,\alpha_s\}$ 的 Gramian 矩阵（Gram 矩阵）。

性质与意义：

$G^H=G$
$\operatorname{span}\{\alpha_1,\ldots,\alpha_s\}$ 中任意向量的内积计算可以转化为表示系数的计算。

例 3.2.1 （标准内积下的Gramian矩阵）#

在 $\mathbb C^m$ 的标准内积下，矩阵 $A\in\mathbb C^{m\times n}$ 的列向量组的 Gramian 矩阵为

$$ G(A)=A^H A. $$

例 3.2.2（连续函数空间）#

$C[a,b]$ 是 $[a,b]$ 上所有实值连续函数构成的线性空间，定义

$$ \langle f(x),g(x)\rangle =\int_a^b f(x)g(x)\,dx, \qquad f(x),g(x)\in C[a,b]. $$

向量组 $\{f_1(x),f_2(x),\ldots,f_n(x)\}$ 的 Gramian 矩阵为

$$ \begin{aligned} G(f_1,\ldots,f_n) &=[\langle f_i(x),f_j(x)\rangle]_{n\times n}\\ &=\int_a^b \left( \begin{bmatrix}f_1(x)\\f_2(x)\\\vdots\\f_n(x)\end{bmatrix} [f_1(x)\ f_2(x)\ \cdots\ f_n(x)]\, \right)dx \end{aligned} $$

例 3.2.3（控制中常用的 Gramian 矩阵）#

记住公式即可（列向量乘行向量）

能观性 Gramian 矩阵：

$$ W_o(t_1,t_0)= \int_{t_0}^{t_1} \Phi^T(\tau,t_0)C^T(\tau)C(\tau)\Phi(\tau,t_0)\,d\tau, $$

其中 $\Phi(\tau,t_0)$ 为状态转移矩阵。

能控性 Gramian 矩阵：

$$ W_c(t_1,t_0)= \int_{t_0}^{t_1} \Phi(\tau,t_0)B(\tau)B^T(\tau)\Phi^T(\tau,t_0)\,d\tau. $$

它是 $\Phi(\tau,t_0)B(\tau)$ 的行向量的 Gramian 矩阵。

定义 3.2.2（Hermite 矩阵）#

设 $A\in\mathbb C^{n\times n}$ ：

若 $A^H=A$ ，称 $A$ 为 Hermite 矩阵（H-矩阵、H-对称矩阵）。
若 $A^H=-A$ ，称 $A$ 为反 Hermite 矩阵。

注：

H-矩阵的对角线元素虚部为零；反 H-矩阵的对角线元素实部为零。
实空间中的对称矩阵是 H-矩阵的特例，反对称矩阵是反 H-矩阵的特例。
任意 $A\in\mathbb C^{n\times n}$ 都可分解为 $ A=\frac12(A+A^H)+\frac12(A-A^H) =\text{Hermite 部分}+\text{反 Hermite 部分}. $

定义 3.2.3（正定矩阵）#

设 $A\in\mathbb C^{n\times n}$ 且 $A^H=A$ 。

若对任意 $x\in\mathbb C^n$ ，$x^H A x\ge0$ ，称 $A$ 为正半定矩阵，记为 $A\ge0$ 。
若进一步 $x^H A x=0\iff x=0$ ，称 $A$ 为正定矩阵，记为 $A>0$ 。

只讨论 H矩阵是因为，H 矩阵保证二次型的值是实数（二次型中的虚部会成对抵消）

定理 3.2.1#

向量组 $\{\alpha_1,\ldots,\alpha_s\}$ 的 Gramian 矩阵 $G(\alpha_1,\ldots,\alpha_s)\in\mathbb C^{s\times s}$ 是正半定的。

证明：对任意 $x\in\mathbb C^s$ ，令

$$ \alpha=[\alpha_1\ \cdots\ \alpha_s]x, $$

则

$$ x^H G x = \left\langle \sum_i \alpha_i x_i, \sum_i \alpha_i x_i \right\rangle = \left\| \sum_i \alpha_i x_i \right\|^2 \ge 0 $$

定理 3.2.2#

向量组 $\{\alpha_1,\ldots,\alpha_s\}$ 的 Gramian 矩阵 $G(\alpha_1,\ldots,\alpha_s)\in\mathbb C^{s\times s}$ 是正定的，当且仅当该向量组线性无关。

例（用 Gramian 矩阵判断行向量的线性相关性）#

给定矩阵函数

$$ \begin{bmatrix} x&2x\ x+1&2x+2 \end{bmatrix}#

\begin{bmatrix} \beta_1^T\ \beta_2^T \end{bmatrix}, \qquad x\in[0,1]. $$

对

$$ \alpha_1=\begin{bmatrix}f_1(x)\\f_2(x)\end{bmatrix}, \qquad \alpha_2=\begin{bmatrix}g_1(x)\\g_2(x)\end{bmatrix}, $$

定义内积

$$ \langle\alpha_1,\alpha_2\rangle =\int_0^1\bigl(f_1(x)g_1(x)+f_2(x)g_2(x)\bigr)\,dx. $$

计算得

$$ \langle\beta_1,\beta_1\rangle=\frac53, \quad \langle\beta_1,\beta_2\rangle=\frac{25}{6}, \quad \langle\beta_2,\beta_2\rangle=\frac{35}{3}, $$

所以

$$ G= \begin{bmatrix} \frac53&\frac{25}{6}\\[2pt] \frac{25}{6}&\frac{35}{3} \end{bmatrix}, \qquad \operatorname{rank}(G)=2. $$

$G$ 正定，故两个行向量线性无关。

思考：

为什么这里的行秩不等于列秩？

答：两者不矛盾，因为 Gram 矩阵考察的是两个“行向量函数”在以实常数为标量的函数空间中是否线性无关；原矩阵的秩则允许按照多项式或有理函数关系判断

此处的线性相关性定义在哪个底空间上？

答：此处的线性相关性定义在实数域 $\mathbb R$ 上的向量值多项式空间

定义 3.2.4（内积度量矩阵）#

设 $V$ 是 $n$ 维酉空间，$\{\alpha_1,\ldots,\alpha_n\}$ 为其一个基。称

$$ G=(g_{ij})_{n\times n}, \qquad g_{ij}=\langle\alpha_i,\alpha_j\rangle, $$

为内积在这个基下的度量矩阵。

注：

度量矩阵就是某空间的基的 Gramian 矩阵。
若 $\alpha=[\alpha_1\ \cdots\ \alpha_n]x$ ，$\beta=[\alpha_1\ \cdots\ \alpha_n]y$ ，则 $ \langle\alpha,\beta\rangle=x^H Gy. $ 任意空间中的内积运算由此转化为 $\mathbb C^n$ 中的坐标运算。
$G^H=G$ 且 $G>0$

定理 3.2.3（基本思想：同构）#

任意 $n$ 维酉空间中，选定一个基 $\{\alpha_1,\ldots,\alpha_n\}$ ，则在此基下，每一种内积都有一个正定矩阵作为其度量矩阵，且二者一一对应。

注：

一一意味着正反、对称、对等。
通过度量矩阵建立了内积集合与正定矩阵集合的对应，但它们对加法和正数乘法封闭，但对零数、负数或一般复数的数乘不满足正定性，不封闭，所以并非严格意义上的线性空间同构。
任意 $n$ 维欧氏空间（酉空间）与定义了内积的 $\mathbb R^n$ （$\mathbb C^n$ ）同构。

例 3.2.5#

在 $[-1,1]$ 上的欧氏空间 $\mathbb R[x]_3$ 中定义

$$ \langle f(x),g(x)\rangle =\int_{-1}^{1}f(x)g(x)\,dx. $$

$1,x,x^2$ 是该空间的一个基。内积在该基下的度量矩阵为

$$ G= \begin{bmatrix} 2&0&\frac23\\ 0&\frac23&0\\ \frac23&0&\frac25 \end{bmatrix}. $$

因此任意两个二次多项式的内积满足

$$ \int_{-1}^{1} (a_0+a_1x+a_2x^2)(b_0+b_1x+b_2x^2),dx#

[a_0\ a_1\ a_2]G \begin{bmatrix}b_0\b_1\b_2\end{bmatrix}. $$

定理 3.2.4（不同基下度量矩阵的关系）#

设 $\{\alpha_1,\ldots,\alpha_n\}$ 与 $\{\beta_1,\ldots,\beta_n\}$ 分别是同一内积空间的两个基，由前一个基到后一个基的过渡矩阵为 $P$ 。记

$$ G_\alpha=[\langle\alpha_i,\alpha_j\rangle]_{n\times n}, \qquad G_\beta=[\langle\beta_i,\beta_j\rangle]_{n\times n}. $$

则

$$ G_\beta=P^H A^H A P=P^H G_\alpha P. $$

定义3.2.4（合同）#

若 $A=P^H BP$ 且 $P$ 可逆，则称 $A$ 与 $B$ （共轭）合同。

3.3 内积空间的度量#

动机：把长度、夹角、垂直等几何概念推广到酉空间中。

定义 3.3.1（长度）#

设 $V$ 为酉空间（或欧氏空间），向量 $\alpha$ 的长度定义为非负实数

$$ \|\alpha\|=\sqrt{\langle\alpha,\alpha\rangle}. $$

在 $\mathbb C^n$ 中，基向量下，若向量坐标 $x=[x_1,\ldots,x_n]^T$ ，内积度量矩阵为 $G$ ，则

$$ \|x\|=\sqrt{x^H Gx}. $$

标准内积下，$G=I$

$$ \|x\|=\sqrt{\sum_{i=1}^n|x_i|^2}. $$

定理 3.3.1（向量长度的性质）#

对任意 $\alpha,\beta\in V_n(\mathbb C)$ ：

正定性：$\|\alpha\|\ge0$ ，且 $\|\alpha\|=0\iff\alpha=0$ ；
绝对齐性： $ \|\alpha k\|=|k|\,\|\alpha\|, \qquad k\in\mathbb C; $
三角不等式： $ \|\alpha+\beta\|\le\|\alpha\|+\|\beta\|; $
Cauchy-Schwarz 不等式： $ |\langle\alpha,\beta\rangle| \le\|\alpha\|\,\|\beta\|, $ 等号成立当且仅当 $\alpha=k\beta$ ；
平行四边形公式： $ \|\alpha+\beta\|^2+\|\alpha-\beta\|^2 =2(\|\alpha\|^2+\|\beta\|^2). $

由三角不等式还可得反三角不等式：

$$ \|\alpha-\beta\|\ge\bigl|\|\alpha\|-\|\beta\|\bigr|. $$

例 3.3.2（Cauchy-Schwarz不等式）#

在 $\mathbb R^n$ 中，Cauchy-Schwarz 不等式表现为

$$ \left(\sum_{i=1}^n a_i b_i\right)^2 \le \left(\sum_{i=1}^n a_i^2\right) \left(\sum_{i=1}^n b_i^2\right). $$

在 $\mathbb C^{m\times n}$ 中，

$$ |\operatorname{Tr}(B^H A)| \le \sqrt{\operatorname{Tr}(A^H A)} \sqrt{\operatorname{Tr}(B^H B)}. $$

若 $4x^2+9y^2=100$ ，求 $6x+12y$ 的最大值。由

$$ 6x+12y =\langle[2x,3y]^T,[3,4]^T\rangle \le \sqrt{(2x)^2+(3y)^2}\sqrt{3^2+4^2}=50, $$

可知最大值为 $50$ 。

另一个问题：若 $\tau\in\mathbb R$ ，$f(\tau)$ 为各态历经过程，且

$$ R(\tau)= \lim_{T\to\infty}\frac1{2T} \int_{-T}^{T}f(t)f(t-\tau)\,dt $$

存在，则证明其最大值为 $R(0)$ 。可把

$$ \langle f(t),g(t)\rangle =\lim_{T\to\infty}\frac1{2T} \int_{-T}^{T}f(t)g(t),dt\

R(\tau)=\langle f(t),f(t-\tau)\rangle =\lim_{T\to\infty}\frac1{2T} \int_{-T}^{T}f(t)f(t-\tau),dt $$

看作 $L_2$ 上的内积，再应用 Cauchy-Schwarz 不等式。

例 3.3.3（矩阵不等式）#

对任意 $A,B\in\mathbb C^{m\times n}$ ，$\mu\in\mathbb R_+$ ，$G>0$ ，有

$$ \mu^2A^HGA+\frac1{\mu^2}B^HGB-(A^HGB+B^HGA)\ge0. $$

证明思路：

令

$$ C=\mu A-\frac1{\mu}B\\ $$

由于$G>0$ ，对任意矩阵C都有

$$ C^HGC\geqslant0 $$

展开即为所证

定义 3.3.2（夹角）#

设 $V$ 为酉空间（或欧氏空间），两个非零向量 $\alpha,\beta$ 的夹角定义为

$$ \angle(\alpha,\beta) =\arccos\frac{|\langle\alpha,\beta\rangle|} {\|\alpha\|\,\|\beta\|} \in\left[0,\frac\pi2\right]. $$

定义 3.3.3（正交）#

在酉空间 $V$ 中，如果

$$ \langle\alpha,\beta\rangle=0, $$

则称 $\alpha$ 与 $\beta$ 正交，记为 $\alpha\perp\beta$ 。

注：0向量与任何向量正交。

“正交”与“长度”都依赖于所选的“内积”。

定义 3.3.4（单位向量与单位化）#

长度为 $1$ 的向量称为单位向量。对任何非零向量 $\alpha$ ，$\frac{\alpha}{\|\alpha\|}$ 总是单位向量；这一过程称为单位化。

例（不同内积下的长度和夹角）#

在 $\mathbb R^2$ 中取

$$ a=[1,2]^T,\quad b=[3,1]^T, $$

内积度量矩阵为

$$ G= \begin{bmatrix} \frac15&-\frac15\\[2pt] -\frac15&\frac25 \end{bmatrix}. $$

则

$$ \langle a,a\rangle=\langle b,b\rangle=1, \qquad \langle a,b\rangle=0. $$

因此 $a,b$ 都是单位向量，且相互正交，夹角为 $\pi/2$ 。

3.4 标准正交基与酉矩阵#

定义 3.4.1（标准正交基）#

设 $\{\alpha_i\},i=1,2,\cdots,t$ 是一组不含零向量的向量组：

如果其中任意两个向量彼此正交，则称其为正交向量组。
如果正交向量组中的每个向量都是单位向量，则称其为标准正交向量组，即 $ \langle\alpha_i,\alpha_j\rangle =\delta_{ij} =\begin{cases}1,&i=j,\\0,&i\ne j.\end{cases} $
在 $n$ 维内积空间中，由 $n$ 个正交向量组成的基称为正交基；由 $n$ 个标准正交向量组成的基称为标准正交基。

注：

正交向量组不允许含零向量；
标准正交基不唯一。

定理 3.4.1#

$n$ 维酉空间中的 $n$ 个向量构成标准正交基的充分必要条件是：它们的 Gramian 矩阵为单位矩阵 $I_n$ 。

注：这里“$n$ 维、$n$ 个向量”必须对应。

定理 3.4.2 ———————-#

正交向量组一定是线性无关组。

求系数时要注意内积顺序，这与“第二变量线性”的定义有关。
两两线性无关并不推出整组线性无关；两两正交且不含零向量则推出整组线性无关。

定义 3.4.2（酉矩阵）#

设 $A$ 为 $n$ 阶复矩阵。若

$$ A^H A=AA^H=I, $$

则称 $A$ 为酉矩阵，记为 $A\in U_{n\times n}$ 。

定义 3.4.3（正交矩阵）#

设 $A$ 为 $n$ 阶实矩阵。若

$$ A^T A=AA^T=I, $$

则称 $A$ 为正交矩阵，记为 $A\in E_{n\times n}$ 。

“方矩阵”“$A^H A=I$ ”“$AA^H=I$ ”三个条件中只有两个是独立的。

例 3.4.1#

下列矩阵是酉矩阵：

$$ \begin{bmatrix} -\cos\theta&0&i\sin\theta\\ 0&1&0\\ i\sin\theta&0&-\cos\theta \end{bmatrix}. $$

例 3.4.2（Householder 矩阵）#

设 $\alpha\in\mathbb C^{n\times1}$ 且 $\alpha^H\alpha=1$ 。若

$$ A=I-2\alpha\alpha^H, $$

则 $A$ 是酉矩阵。通常称其为 Householder 矩阵，又称镜像变换。

性质 3.4.1（酉矩阵）#

设 $A,B\in U_{n\times n}$ ，则：

$A^{-1}=A^H\in U_{n\times n}$ ；
$|\det(A)|=1$ ；
$AB,BA\in U_{n\times n}$ 。

正交矩阵具有相应的实数版本性质。

定理 3.4.3#

设 $A\in\mathbb C^{n\times n}$ 。$A$ 是酉矩阵，当且仅当 $A$ 的 $n$ 个列向量（或行向量）构成标准内积意义下的标准正交向量组。

酉矩阵与正交矩阵的几何意义：

从坐标角度看，酉矩阵的列（行）向量构成该内积空间在标准内积意义下的一个标准正交基。酉矩阵定义 $A^H A=I$ ，正是其列向量 Gramian 矩阵等于 $I$ 。
从变换角度看，酉矩阵代表坐标的旋转或镜像；变换前后不改变标准内积，因而不改变向量长度与夹角关系。

具体地，对任意 $U\in U_{n\times n}$ 、$x,y\in\mathbb C^n$ ，

$$ \langle Ux,Uy\rangle =x^H U^H Uy=x^H y=\langle x,y\rangle. $$

思考：如何选取基，使内积度量矩阵为 $I$ ，即把一般内积空间同构到采用标准内积的 $\mathbb C^n$ ？

3.5 正交子空间#

定义 3.5.1（正交子空间）#

设 $V_1,V_2$ 是 $V_n$ 的子空间。若对任意 $\alpha\in V_1$ 和 $\beta\in V_2$ 都有 $\alpha\perp\beta$ ，则称子空间 $V_1,V_2$ 正交，记为

$$ V_1\perp V_2. $$

定理 3.5.1#

设 $V_1,V_2$ 是 $V_n$ 的子空间且 $V_1\perp V_2$ ，则：

$$ V_1\cap V_2=\{0\}, $$ $$ \dim(V_1+V_2)=\dim V_1+\dim V_2. $$

正交子空间之和是直和。两个子空间各自的正交基合起来，是它们和空间的一个基，并且仍是正交基。

定理 3.5.2#

设 $\alpha_1,\ldots,\alpha_s,\beta_1,\ldots,\beta_t$ 都是酉空间 $V_n(\mathbb C,U)$ 中的向量，则

$$ \operatorname{span}\{\alpha_1,\ldots,\alpha_s\}\perp\alpha \iff \alpha_i\perp\alpha,quad i=1,ldots,s, $$

并且

$$ \operatorname{span}\{\alpha_1,\ldots,\alpha_s\} \perp \operatorname{span}\{\beta_1,\ldots,\beta_t\} $$

当且仅当

$$ \alpha_i\perp\beta_j, \qquad i=1,ldots,s,quad j=1,ldots,t. $$

定义 3.5.2（正交补空间）#

设 $V_1,V_2$ 是 $V_n$ 的子空间，且 $V_1\perp V_2$ 。若

$$ V_n=V_1\oplus V_2, $$

则称 $V_1,V_2$ 互为正交补空间，记为

$$ V_1=V_2^\perp, \qquad V_2=V_1^\perp, \qquad V_n=V_1\oplus V_1^\perp. $$

定理 3.5.3#

设 $V$ 是 $V_n$ 的子空间，则 $V^\perp$ 是唯一的。

证明：假设 $W_1,W_2$ 都是 $V$ 的正交补。对任意 $\alpha\in W_1$ ，由 $V_n=V\oplus W_2$ ，存在唯一分解

$$ \alpha=\beta+\gamma, \qquad \beta\in V, \gamma\in W_2. $$

于是

$$ 0=\langle\beta,\alpha\rangle =\langle\beta,\beta\rangle+\langle\beta,\gamma\rangle =\langle\beta,\beta\rangle, $$

故 $\beta=0$ ，从而 $\alpha=\gamma\in W_2$ ，即 $W_1\subseteq W_2$ 。同理 $W_2\subseteq W_1$ ，所以 $W_1=W_2$ 。

全体与 $V$ 正交的向量所成集合，就是 $V$ 的正交补。

从内积角度看线性变换与矩阵乘法#

对

$$ y=Ax,\quad C=AB, $$

可以分别从坐标变换、线性组合与内积三个角度解释。内积角度可理解为：从不同的“角度/尺度”观察 $B$ ；这也是神经网络线性部分的数学本质。

在标准内积意义下：

$Ax=0$ 的解空间 $N(A)$ 是 $A^H$ 的列向量张成空间的正交补： $ N(A)=R(A^H)^\perp. $
$A^H x=0$ 的解空间 $N(A^H)$ 是 $A$ 的列空间 $R(A)$ 的正交补： $ N(A^H)=R(A)^\perp. $

课件随后用一幅三层神经网络线性部分示意图说明矩阵乘法：输入 $x_1,\ldots,x_n$ 经权重 $w_{ij}$ 与偏置 $b_i$ 映射到下一层，并以 Face++ 人脸识别云服务作为应用示意。

3.6 酉变换#

定义 3.6.1#

设 $V$ 是 $n$ 维酉空间，$\sigma$ 是 $V$ 上的线性变换。若对任意 $\alpha,\beta\in V$ 都有

$$ \langle\sigma(\alpha),\sigma(\beta)\rangle =\langle\alpha,\beta\rangle, $$

则称 $\sigma$ 是 $V$ 的一个酉变换。

定理 3.6.1#

设 $V$ 是 $n$ 维酉空间，$\sigma$ 是 $V$ 的一个酉变换，则 $\sigma$ 在任意标准正交基下的矩阵表示都是酉矩阵。

定理 3.6.2（酉变换的等价刻画）#

设 $V$ 是 $n$ 维酉空间，$\sigma$ 是 $V$ 上的线性变换，则下列陈述等价：

$\sigma$ 是酉变换，即保内积变换；
$\|\sigma(\alpha)\|=\|\alpha\|$ ，$\forall\alpha\in V$ ，即保长度变换；
$\sigma$ 把 $V$ 的任意标准正交向量组变成标准正交向量组；
$\sigma$ 在任意标准正交基下的矩阵表示为酉矩阵。

注：

正交变换有类似刻画。
酉空间的概念暗含已经定义了内积、长度、夹角与正交。
保内积与保长度等价，是因为内积与长度可以相互表示。
内积与长度不必采用标准形式，只需彼此对应。

对应到数域上的情形：若 $U$ 是 $n$ 阶酉矩阵，则在标准内积

$$ \langle x,y\rangle=x^H y $$

下，

$$ \langle Ux,Uy\rangle=\langle x,y\rangle, \qquad \forall x,y\in\mathbb C^n. $$

3.7 幂等矩阵、正交投影与勾股定理#

定义 3.7.1（投影与投影映射）#

设 $S,T$ 是 $n$ 维酉（欧氏）空间 $V$ 的子空间，且

$$ V=S\oplus T. $$

则任意 $\alpha\in V$ 可唯一表示为

$$ \alpha=x+y, \qquad x\in S, y\in T. $$

称 $x$ 是 $\alpha$ 沿 $T$ 到 $S$ 的投影，$y$ 是 $\alpha$ 沿 $S$ 到 $T$ 的投影。映射

$$ T_{S,T}:V\to S,qquad \alpha\mapsto x $$

称为沿 $T$ 到 $S$ 的投影映射。

注：

分解唯一性由直和决定。
投影映射是线性映射。
因 $S\subseteq V$ ，也可把 $T_{S,T}$ 看成 $V\to V$ 的投影变换。

定理 3.7.1#

设 $\tau$ 是 $n$ 维酉（欧氏）空间 $V$ 的线性变换，则下列命题等价：

$\tau$ 是 $V$ 上的投影变换；
$\tau^2=\tau$ ；
$\tau$ 的矩阵表示 $A$ 满足 $A^2=A$ 。

其中 $\tau^2(\alpha):=\tau(\tau(\alpha))$ 。

定义 3.7.2（幂等矩阵）#

设 $A\in\mathbb C^{n\times n}$ 。若

$$ A^2=A, $$

则称 $A$ 为幂等矩阵。

问题：

$A$ 的零化多项式是什么？
$A$ 的 Jordan 块结构与 Jordan 标准形是什么？
$\lambda I-A$ 的 Smith 标准形是什么？（作业）

定理 3.7.2#

设 $A\in\mathbb C^{n\times n}$ 且 $\operatorname{rank}(A)=r$ 。则 $A^2=A$ 的充要条件是：存在可逆矩阵 $P\in\mathbb C^{n\times n}$ ，使

$$ P^{-1}AP= \begin{bmatrix} I_r&0\\ 0&0_{n-r} \end{bmatrix}. $$

定理 3.7.3（幂等矩阵的性质）#

若 $A^2=A$ ，则：

$A^T,A^H,I-A,I-A^T,I-A^H$ 都是幂等矩阵。若 $A$ 表示沿 $T$ 向 $S$ 的投影，则 $I-A$ 表示沿 $S$ 向 $T$ 的投影；
$A(I-A)=(I-A)A=0$ ；
$N(A)=R(I-A)$ ，$N(I-A)=R(A)$ ；
$Ax=0\iff x\in R(I-A)$ ，$(I-A)x=0\iff x\in R(A)$ ；
$\mathbb C^n=R(A)\oplus N(A)$ 。

定义 3.7.3（正交投影与正交投影变换）#

设 $S,T$ 是 $n$ 维酉（欧氏）空间 $V$ 的子空间，且

$$ S\perp T,qquad V=S\oplus T. $$

则任意 $\alpha\in V$ 可唯一表示为

$$ \alpha=x+y, \qquad x\in S, y\in T. $$

称 $x$ 是 $\alpha$ 在 $S$ 上的正交投影，$y$ 是 $\alpha$ 在 $S^\perp$ 上的正交投影。映射

$$ P_S:V\to V,qquad \alpha\mapsto x $$

称为 $V$ 到 $S$ 的正交投影变换。由于正交补唯一，不必另外指明 $T$ 。

$T$ 是 $S$ 在 $V$ 中正交补的等价判定#

设 $S,T$ 是 $V$ 的子空间，则 $T=S^\perp$ 等价于：

$V=S\oplus T$ 且 $S\perp T$ ；
$T=\{\alpha\mid\langle\beta,\alpha\rangle=0,\ \forall\beta\in S\}$ ；
若 $\{\beta_1,\ldots,\beta_t\}$ 是 $S$ 的一个基，则 $ T=\{\alpha\mid\langle\beta_i,\alpha\rangle=0, i=1,ldots,t\}. $

定理 3.7.4（正交投影的等价刻画）#

设 $S$ 是酉空间 $V$ 的子空间，$\alpha_1,\ldots,\alpha_m$ 是 $S$ 的一个基。对任意 $\alpha\in V$ ，下列命题等价：

$\beta$ 是 $\alpha$ 在 $S$ 上的正交投影；
$\beta\in S$ 且 $\alpha-\beta\perp S$ ；
存在 $x\in\mathbb C^m$ ，使 $ \beta=[\alpha_1\ \alpha_2\ \cdots\ \alpha_m]x, $ 并且 $ \alpha-\beta\perp\alpha_i,qquad i=1,ldots,m. $

定理 3.7.5（内积空间中的正交投影）#

设 $\{\beta_1,\ldots,\beta_r\}$ 是 $\mathbb C^n$ 中的线性无关组，

$$ W=\operatorname{span}\{\beta_1,\ldots,\beta_r\}, \qquad \Phi=[\beta_1\ \beta_2\ \cdots\ \beta_r]. $$

在标准内积下，$V$ 中任意向量 $\alpha$ 在 $W$ 中的正交投影 $\beta$ 为

$$ \beta=\Phi(\Phi^H\Phi)^{-1}\Phi^H\alpha. $$

记

$$ P_W=\Phi(\Phi^H\Phi)^{-1}\Phi^H, $$

则

$$ P_W^2=P_W, \qquad P_W^H=P_W. $$

若内积在自然基下的度量矩阵为 $G$ ，其中 $G^H=G$ 、$G>0$ ，即

$$ \langle\alpha,\beta\rangle=\alpha^H G\beta, $$

则

$$ \beta=\Phi(\Phi^H G\Phi)^{-1}\Phi^H G\alpha. $$

$\mathbb C^n$ 中的正交投影矩阵#

设 $P\in\mathbb C^{n\times n}$ 。映射

$$ P:\mathbb C^n\to\mathbb C^n,qquad x\mapsto Px $$

是标准内积意义下的正交投影变换，当且仅当

$$ P^2=P,qquad P^H=P. $$

此时称 $P$ 为 $\mathbb C^n$ 中的正交投影矩阵。

证明：

必要性：若 $P$ 为正交投影变换，则 $P^2=P$ ；又因 $Px\perp(I-P)x$ ，可得 $P^H=P^H P$ ，从而 $P^H=P$ 。
充分性：由 $P^2=P$ ，$P$ 是沿 $N(P)$ 到 $R(P)$ 的投影；由 $ P(I-P)=0,qquad P^H=P, $ 得 $ P^H(I-P)=0, $ 因而 $N(P)\perp R(P)$ ，所以 $P$ 是到 $R(P)$ 的正交投影。

定理 3.7.6（欧氏空间中的勾股定理）#

在欧氏空间中，

$$ \|\alpha+\beta\|^2 =\|\alpha\|^2+\|\beta\|^2 \iff \langle\alpha,\beta\rangle=0. $$

欧氏空间中的余弦定理为

$$ \|\alpha-\beta\|^2 =\|\alpha\|^2+\|\beta\|^2 -2\|\alpha\|\,\|\beta\|\cos\angle(\alpha,\beta). $$

在酉空间中，若 $\langle\alpha,\beta\rangle=0$ ，则同样有

$$ \|\alpha+\beta\|^2 =\|\alpha\|^2+\|\beta\|^2. $$

课件提出思考：反命题是否仍成立？（在复内积空间中，范数等式只推出 $\operatorname{Re}\langle\alpha,\beta\rangle=0$ ，不必推出内积本身为零。）

定理 3.7.7（直角边小于斜边／最佳逼近）#

设 $S$ 是欧氏空间 $V$ 的子空间，$\beta\in S$ 。使 $\|\alpha-\beta\|$ 最小的 $\beta$ 满足

$$ \alpha-\beta\perp S. $$

勾股定理的应用：数据拟合#

在给定函数类中寻找 $y=f(x)$ 的最佳拟合。设

$$ f(x)=k_1\varphi_1(x)+k_2\varphi_2(x)+\cdots+k_m\varphi_m(x), $$

测得 $n$ 个点 $(x_1,y_1),\ldots,(x_n,y_n)$ ，求组合系数使

$$ J=\min\sum_{i=1}^n|f(x_i)-y_i|^2. $$

基函数可取

$$ \varphi_k(x)=x^{k-1}, $$

或三角函数基

$$ \varphi_{2k-1}(x)=\sin(kx), \qquad \varphi_{2k}(x)=\cos(kx), \quad k=1,2,\ldots,m. $$

特例：标准正交基下的投影#

若 $\{\beta_1,\ldots,\beta_r\}$ 是标准内积意义下的标准正交向量组，令

$$ U_r=[\beta_1\ \beta_2\ \cdots\ \beta_r], $$

则

$$ U_r^H U_r=I_r. $$

定义 3.7.4（次酉矩阵）#

若 $U_r^H U_r=I_r$ ，则称 $U_r$ 为次酉矩阵。

此时正交投影矩阵简化为

$$ P_W=U_rU_r^H. $$

思考：

$I_n-2U_rU_r^H$ 是什么矩阵／变换？
对任意 $\alpha\in\mathbb C^n$ ，它在该子空间中的投影在这组基下的各分量是什么？如何用内积语言描述？

一般内积空间中的投影公式#

若

$$ W=\operatorname{span}\{\beta_1,\ldots,\beta_s\}, \qquad \alpha,\beta_i\in V, $$

则 $\alpha$ 在 $W$ 上的正交投影 $\gamma$ 为

$$ \gamma= [\beta_1\ \beta_2\ \cdots\ \beta_s] G^{-1}(\beta_1,\ldots,\beta_s) \begin{bmatrix} \langle\beta_1,\alpha\rangle\\ \langle\beta_2,\alpha\rangle\\ \vdots\\ \langle\beta_s,\alpha\rangle \end{bmatrix}. $$

若 $\{\beta_1,\ldots,\beta_s\}$ 是正交向量组，则计算解耦：

$$ \gamma= \sum_{i=1}^s \frac{\langle\beta_i,\alpha\rangle} {\langle\beta_i,\beta_i\rangle}\beta_i. $$

特别地，若 $\alpha,\beta\in V$ 且 $\beta\ne0$ ，则 $\alpha$ 在 $\operatorname{span}\{\beta\}$ 上的正交投影为

$$ \operatorname{proj}_{\beta}\alpha =\frac{\langle\beta,\alpha\rangle} {\langle\beta,\beta\rangle}\beta. $$

3.8 Schmidt 正交化方法与 QR 分解#

定理 3.8.1#

正交向量组一定线性无关。反之，从一个线性无关向量组出发，可以构造一个正交向量组，甚至构造一个标准正交向量组。

问题：如何获得一组标准正交基？

Schmidt 正交化与单位化过程#

设

$$ \{\alpha_1,\alpha_2,\ldots,\alpha_r\} $$

为 $n$ 维内积空间 $V$ 中的 $r$ 个线性无关向量，利用这些向量构造一个标准正交向量组。

第一步：正交化

$$ \beta_1=\alpha_1, $$ $$ \beta_2 =\alpha_2- \frac{\langle\beta_1,\alpha_2\rangle} {\langle\beta_1,\beta_1\rangle}\beta_1, $$

一般地，

$$ \beta_r =\alpha_r- \sum_{j=1}^{r-1} \frac{\langle\beta_j,\alpha_r\rangle} {\langle\beta_j,\beta_j\rangle}\beta_j. $$

注：在某个基向量上的投影系数由“基向量与待投影向量的内积”给出。

第二步：单位化

$$ \eta_1=\frac{\beta_1}{\|\beta_1\|}, \quad \eta_2=\frac{\beta_2}{\|\beta_2\|}, \quad\ldots\quad, \eta_r=\frac{\beta_r}{\|\beta_r\|}. $$

于是 $\{\eta_1,\eta_2,\ldots,\eta_r\}$ 是标准正交向量组。

正交-上三角分解（QR 分解、UR 分解）#

换一个角度看 Schmidt 正交化：

$$ \alpha_1=\frac{\beta_1}{\|\beta_1\|}\,\|\beta_1\|, $$ $$ \alpha_2= \frac{\beta_1}{\|\beta_1\|} \left(\|\beta_1\| \frac{\langle\beta_1,\alpha_2\rangle} {\langle\beta_1,\beta_1\rangle}\right) + \frac{\beta_2}{\|\beta_2\|}\,\|\beta_2\|, $$

直至

$$ \alpha_n =\sum_{j=1}^{n-1} \frac{\beta_j}{\|\beta_j\|} \left(\|\beta_j\| \frac{\langle\beta_j,\alpha_n\rangle} {\langle\beta_j,\beta_j\rangle}\right) +\frac{\beta_n}{\|\beta_n\|}\,\|\beta_n\|. $$

用矩阵语言表示为

$$ [\alpha_1\ \alpha_2\ \cdots\ \alpha_n]#

\left[ \frac{\beta_1}{|\beta_1|}\ \frac{\beta_2}{|\beta_2|}\ \cdots\ \frac{\beta_n}{|\beta_n|} \right] \begin{bmatrix} |\beta_1|&&\cdots&\ 0&|\beta_2|&\cdots&*\ \vdots&\ddots&\ddots&\vdots\ 0&\cdots&0&|\beta_n| \end{bmatrix}. $$

几何意义：由 $A$ 的各列递推构造一个标准正交基，并把 $A$ 的各列重新表示为该基的线性组合。

定理 3.8.2（QR 分解的存在唯一性）#

任意非奇异方阵 $A\in\mathbb C^{n\times n}$ 都可唯一分解为

$$ A=QR, $$

其中 $Q$ 为酉矩阵，$R$ 为对角线元素全为正数的上三角矩阵。

注：

“正线”表示对角线元素为正数。
MATLAB 的 qr 命令通常只保证得到“酉矩阵 $\times$ 上三角矩阵”，不自动保证对角元全为正。

推论#

任意非奇异方阵 $A\in\mathbb C^{n\times n}$ 都可唯一分解为

$$ A=DU, $$

其中 $U$ 为酉矩阵，$D$ 为对角线元素全为正数的下三角矩阵。

引理 3.8.1#

若 $A\in\mathbb C^{n\times n}$ 既是酉矩阵，又是对角线元素全为正数的上三角矩阵，则

$$ A=I. $$

证明：正线上三角矩阵的逆仍为正线上三角矩阵；酉矩阵的逆是其共轭转置，因此也是正线下三角矩阵。故 $A^{-1}$ 同时是正线上三角与正线下三角矩阵，只能是正线对角矩阵。再结合酉性可知所有对角元均为 $1$ ，所以 $A=I$ 。

思考：任意矩阵 $A\in\mathbb C^{m\times n}$ 是否也能分解成类似形式？