Notes 笔记

线性代数II 第七章笔记

2026年4月29日数学作者 qqqzj-crane 约 27 分钟

第 7 章内积空间上的算子#

本章默认 $V,W,U$ 都是有限维内积空间，标量域 $F$ 为 $\mathbb R$ 或 $\mathbb C$。内积按本书约定对第一个变量线性、对第二个变量共轭线性：

\langle \lambda u+v,w\rangle=\lambda\langle u,w\rangle+\langle v,w\rangle,\qquad \langle u,\lambda v+w\rangle=\overline\lambda\langle u,v\rangle+\langle u,w\rangle.

第 7 章的主线是：

用伴随 $T^*$ 把内积空间中的线性映射“移到内积另一侧”。
用自伴、正规、正、幺正等条件刻画一批可以被规范正交基很好描述的算子。
用谱定理和奇异值分解把算子的几何作用分解为正交方向上的伸缩与旋转。
用奇异值解释范数、最佳低秩逼近、极分解、椭球、平行体和体积变化。

7A 自伴算子和正规算子#

7.1 定义：伴随 $T^*$#

设 $T\in\mathcal L(V,W)$。$T$ 的伴随是函数

T^*:W\to V

使得对任意 $v\in V$ 和 $w\in W$，

\langle Tv,w\rangle=\langle v,T^*w\rangle.

这个定义有意义，是因为固定 $w\in W$ 后，

v\mapsto \langle Tv,w\rangle

是 $V$ 上的线性泛函。由里斯表示定理，存在唯一向量 $T^*w\in V$ 使得上式成立。也就是说，伴随不是随便定义出来的，而是由内积的表示性质唯一决定的。

常用理解。
伴随的作用是把 $T$ 从内积的左边“搬到”右边：

\langle Tv,w\rangle=\langle v,T^*w\rangle.

如果 $V=W$ 且 $T=T^*$，那么 $T$ 在内积意义下左右对称，这就是后面的自伴算子。

7.2 例：从 $\mathbb R^3$ 到 $\mathbb R^2$ 的伴随#

定义

$$ T(x_1,x_2,x_3)=(x_2+3x_3,2x_1). $$

对 $(y_1,y_2)\in\mathbb R^2$，

\begin{aligned} \langle T(x_1,x_2,x_3),(y_1,y_2)\rangle &=(x_2+3x_3)y_1+2x_1y_2\\ &=\langle (x_1,x_2,x_3),(2y_2,y_1,3y_1)\rangle. \end{aligned}

因此

$$ T^*(y_1,y_2)=(2y_2,y_1,3y_1). $$

计算伴随的方法是：先写 $\langle Tv,w\rangle$，再把表达式整理成 $\langle v,\text{某个关于 }w\text{ 的向量}\rangle$，后面的向量就是 $T^*w$。

7.3 例：秩至多为 $1$ 的映射的伴随#

取定 $u\in V$ 和 $x\in W$，定义

Tv=\langle v,u\rangle x.

则对任意 $v\in V,w\in W$，

\langle Tv,w\rangle=\langle v,u\rangle\langle x,w\rangle =\langle v,\langle w,x\rangle u\rangle.

所以

T^*w=\langle w,x\rangle u.

这说明形如 $v\mapsto \langle v,u\rangle x$ 的“外积型”映射，伴随就是交换 $u,x$ 的角色：

v\mapsto \langle v,u\rangle x \quad\Longleftrightarrow\quad w\mapsto \langle w,x\rangle u.

7.4 定理：线性映射的伴随是线性映射#

若 $T\in\mathcal L(V,W)$，则

T^*\in\mathcal L(W,V).

证明。
任取 $w_1,w_2\in W$。对所有 $v\in V$，

\begin{aligned} \langle v,T^*(w_1+w_2)\rangle &=\langle Tv,w_1+w_2\rangle\\ &=\langle Tv,w_1\rangle+\langle Tv,w_2\rangle\\ &=\langle v,T^*w_1\rangle+\langle v,T^*w_2\rangle\\ &=\langle v,T^*w_1+T^*w_2\rangle. \end{aligned}

由于内积非退化，得到

$$ T^*(w_1+w_2)=T^*w_1+T^*w_2. $$

再任取 $\lambda\in F$。对所有 $v\in V$，

\begin{aligned} \langle v,T^*(\lambda w)\rangle &=\langle Tv,\lambda w\rangle\\ &=\overline{\lambda}\langle Tv,w\rangle\\ &=\overline{\lambda}\langle v,T^*w\rangle\\ &=\langle v,\lambda T^*w\rangle. \end{aligned}

故 $T^*(\lambda w)=\lambda T^*w$。所以 $T^*$ 是线性映射。$\square$

7.5 定理：伴随的性质#

设 $T\in\mathcal L(V,W)$。伴随满足：

(S+T)^*=S^*+T^*,\qquad S\in\mathcal L(V,W).

(\lambda T)^*=\overline{\lambda}\,T^*,\qquad \lambda\in F.

$$ (T^*)^*=T. $$

若 $S\in\mathcal L(W,U)$，则

$$ (ST)^*=T^*S^*. $$

恒等算子的伴随仍是恒等算子：

$$ I^*=I. $$

若 $T$ 可逆，则 $T^*$ 可逆，且

(T^*)^{-1}=(T^{-1})^*.

证明。

加法：对任意 $v\in V,w\in W$，

\langle (S+T)v,w\rangle =\langle Sv,w\rangle+\langle Tv,w\rangle =\langle v,S^*w+T^*w\rangle.

由伴随唯一性得 $(S+T)^*=S^*+T^*$。

数乘：对任意 $v,w$，

\langle (\lambda T)v,w\rangle =\lambda\langle Tv,w\rangle =\lambda\langle v,T^*w\rangle =\langle v,\overline\lambda T^*w\rangle.

故 $(\lambda T)^*=\overline\lambda T^*$。

二次伴随：由伴随定义，

\langle T^*w,v\rangle=\overline{\langle v,T^*w\rangle} =\overline{\langle Tv,w\rangle} =\langle w,Tv\rangle.

所以 $(T^*)^*v=Tv$，即 $(T^*)^*=T$。

乘积：对任意 $v\in V,u\in U$，

\langle STv,u\rangle=\langle Tv,S^*u\rangle =\langle v,T^*S^*u\rangle,

因此 $(ST)^*=T^*S^*$。

恒等算子：$\langle Iv,w\rangle=\langle v,w\rangle=\langle v,Iw\rangle$，故 $I^*=I$。

可逆情形：由 $T^{-1}T=I$ 取伴随得

T^*(T^{-1})^*=I.

由 $TT^{-1}=I$ 取伴随得

(T^{-1})^*T^*=I.

所以 $(T^{-1})^*$ 是 $T^*$ 的逆。$\square$

性质提醒。
在复内积空间中，$T\mapsto T^*$ 是共轭线性的：

(\lambda T)^*=\overline\lambda T^*.

这点很容易在计算中漏掉。

7.6 定理：$T^*$ 的零空间和值域#

设 $T\in\mathcal L(V,W)$。则

\operatorname{null}T^*=(\operatorname{range}T)^\perp,

\operatorname{range}T^*=(\operatorname{null}T)^\perp,

\operatorname{null}T=(\operatorname{range}T^*)^\perp,

\operatorname{range}T=(\operatorname{null}T^*)^\perp.

证明。
先证明第一式。对 $w\in W$，

\begin{aligned} w\in\operatorname{null}T^* &\Longleftrightarrow T^*w=0\\ &\Longleftrightarrow \langle v,T^*w\rangle=0\quad \forall v\in V\\ &\Longleftrightarrow \langle Tv,w\rangle=0\quad \forall v\in V\\ &\Longleftrightarrow w\perp \operatorname{range}T. \end{aligned}

故 $\operatorname{null}T^*=(\operatorname{range}T)^\perp$。

对第一式两边取正交补并用有限维结论 $(M^\perp)^\perp=M$，得

\operatorname{range}T=(\operatorname{null}T^*)^\perp.

把第一式中的 $T$ 换成 $T^*$，再用 $(T^*)^*=T$，得

\operatorname{null}T=(\operatorname{range}T^*)^\perp.

再取正交补，得到

\operatorname{range}T^*=(\operatorname{null}T)^\perp.

四式全部成立。$\square$

重要用法。
$\operatorname{range}T^*=(\operatorname{null}T)^\perp$ 常用来把“正交于零空间”改写成“属于伴随的值域”。后面伪逆、SVD、最小二乘都会反复用到这种转换。

7.7 定义：共轭转置#

若 $A$ 是 $m\times n$ 矩阵，则 $A^*$ 是 $n\times m$ 矩阵，定义为

(A^*)_{j,k}=\overline{A_{k,j}}.

也就是先转置，再对每个元素取复共轭。若矩阵元素全为实数，则 $A^*$ 就是通常的转置 $A^t$。

7.8 例：共轭转置#

若

A=\begin{pmatrix} 2&3+4i&7\\ 6&5&8i \end{pmatrix},

则

A^*= \begin{pmatrix} 2&6\\ 3-4i&5\\ 7&-8i \end{pmatrix}.

7.9 定理：伴随的矩阵是矩阵的共轭转置#

设 $T\in\mathcal L(V,W)$。若 $e_1,\dots,e_n$ 是 $V$ 的规范正交基，$f_1,\dots,f_m$ 是 $W$ 的规范正交基，则

\mathcal M(T^*)=\mathcal M(T)^*,

其中左边的矩阵是关于基 $f_1,\dots,f_m$ 到 $e_1,\dots,e_n$ 的矩阵。

证明。
$\mathcal M(T)$ 的第 $j$ 行第 $k$ 列元素是

\langle Te_k,f_j\rangle.

$\mathcal M(T^*)$ 的第 $j$ 行第 $k$ 列元素是

\langle T^*f_k,e_j\rangle.

由伴随定义，

\langle T^*f_k,e_j\rangle =\overline{\langle e_j,T^*f_k\rangle} =\overline{\langle Te_j,f_k\rangle}.

这正是 $\mathcal M(T)$ 的第 $k$ 行第 $j$ 列元素的复共轭。因此

\mathcal M(T^*)=\mathcal M(T)^*.

$\square$

注意。
这个结论要求使用规范正交基。若基不是规范正交基，伴随的矩阵通常不等于原矩阵的共轭转置。

7.10 定义：自伴算子#

算子 $T\in\mathcal L(V)$ 称为自伴的，如果

$$ T=T^*. $$

等价地，

\langle Tv,w\rangle=\langle v,Tw\rangle\qquad \forall v,w\in V.

在规范正交基下，$T$ 自伴当且仅当 $\mathcal M(T)$ 等于自己的共轭转置。实内积空间中，这就是实对称矩阵；复内积空间中，这就是 Hermitian 矩阵。

7.11 例：由矩阵判断自伴#

设 $T\in\mathcal L(F^2)$ 关于标准基的矩阵是

\begin{pmatrix} 2&c\\ 3&7 \end{pmatrix}.

其伴随关于标准基的矩阵是

\begin{pmatrix} 2&3\\ \overline c&7 \end{pmatrix}.

因此 $T$ 自伴当且仅当 $c=3$。

7.12 定理：自伴算子的特征值为实数#

自伴算子的每个特征值都是实数。

证明。
设 $Tv=\lambda v$，其中 $v\ne 0$。因为 $T=T^*$，

\lambda\|v\|^2 =\langle \lambda v,v\rangle =\langle Tv,v\rangle =\langle v,Tv\rangle =\langle v,\lambda v\rangle =\overline\lambda\|v\|^2.

由于 $\|v\|^2>0$，得 $\lambda=\overline\lambda$，所以 $\lambda\in\mathbb R$。$\square$

7.13 定理：复空间中二次型恒零推出算子为零#

设 $F=\mathbb C$，$T\in\mathcal L(V)$。则

\langle Tv,v\rangle=0\quad \forall v\in V \Longleftrightarrow T=0.

证明。
$T=0$ 时结论显然。反过来，假设 $\langle Tv,v\rangle=0$ 对所有 $v$ 成立。

对任意 $u,w\in V$，复极化恒等式给出

\begin{aligned} \langle Tu,w\rangle &=\frac{\langle T(u+w),u+w\rangle-\langle T(u-w),u-w\rangle}{4}\\ &\quad+\frac{\langle T(u+iw),u+iw\rangle-\langle T(u-iw),u-iw\rangle}{4}i. \end{aligned}

右侧每一项都形如 $\langle Tx,x\rangle$，故全为 $0$。于是

\langle Tu,w\rangle=0\qquad \forall u,w\in V.

取 $w=Tu$，得 $\|Tu\|^2=0$，所以 $Tu=0$。任意 $u$ 都成立，故 $T=0$。$\square$

性质提醒。
这个结论在实内积空间中不成立。例如 $\mathbb R^2$ 上旋转 $90^\circ$ 的算子满足 $\langle Tv,v\rangle=0$，但 $T\ne 0$。

7.14 定理：复空间中二次型实值等价于自伴#

设 $F=\mathbb C$，$T\in\mathcal L(V)$。则

T\text{ 自伴} \Longleftrightarrow \langle Tv,v\rangle\in\mathbb R\quad \forall v\in V.

证明。
若 $T$ 自伴，则

\overline{\langle Tv,v\rangle} =\langle v,Tv\rangle =\langle T^*v,v\rangle =\langle Tv,v\rangle,

所以 $\langle Tv,v\rangle$ 为实数。

反过来，假设 $\langle Tv,v\rangle$ 总为实数。对每个 $v$，

\langle (T-T^*)v,v\rangle =\langle Tv,v\rangle-\langle T^*v,v\rangle =\langle Tv,v\rangle-\overline{\langle Tv,v\rangle} =0.

由 7.13 得 $T-T^*=0$，故 $T$ 自伴。$\square$

7.16 定理：自伴算子的二次型恒零等价于零算子#

设 $T\in\mathcal L(V)$ 是自伴算子。则

\langle Tv,v\rangle=0\quad \forall v\in V \Longleftrightarrow T=0.

证明。
复情形由 7.13 直接得到。现在设 $F=\mathbb R$。若 $\langle Tv,v\rangle=0$ 对所有 $v$ 成立，则对任意 $u,w\in V$，实极化恒等式给出

\langle Tu,w\rangle =\frac{\langle T(u+w),u+w\rangle-\langle T(u-w),u-w\rangle}{4}.

这里用到了 $T$ 自伴，从而 $\langle Tw,u\rangle=\langle Tu,w\rangle$。右侧为 $0$，故 $\langle Tu,w\rangle=0$。取 $w=Tu$，得 $Tu=0$，故 $T=0$。反向显然。$\square$

7.18 定义：正规算子#

算子 $T\in\mathcal L(V)$ 称为正规的，如果

$$ TT^*=T^*T. $$

每个自伴算子都是正规的，因为 $T=T^*$ 时 $TT^*=T^2=T^*T$。正规性比自伴性弱，但仍足够强，可以保证复内积空间上有规范正交特征向量基。

7.19 例：正规但不自伴#

设 $T\in\mathcal L(F^2)$ 关于标准基的矩阵为

A=\begin{pmatrix} 2&-3\\ 3&2 \end{pmatrix}.

则 $A^*\ne A$，所以 $T$ 不自伴。但

AA^*= \begin{pmatrix} 13&0\\ 0&13 \end{pmatrix} =A^*A,

所以 $T$ 是正规的。

7.20 定理：正规性的范数判别#

设 $T\in\mathcal L(V)$。则

T\text{ 正规} \Longleftrightarrow \|Tv\|=\|T^*v\|\quad \forall v\in V.

证明。
令

$$ A=T^*T-TT^*. $$

则 $A$ 自伴。并且

\langle Av,v\rangle =\langle T^*Tv,v\rangle-\langle TT^*v,v\rangle =\|Tv\|^2-\|T^*v\|^2.

若 $T$ 正规，则 $A=0$，故两范数相等。

反过来，若 $\|Tv\|=\|T^*v\|$ 对所有 $v$ 成立，则 $\langle Av,v\rangle=0$ 对所有 $v$ 成立。由 7.16，$A=0$，即 $T^*T=TT^*$，所以 $T$ 正规。$\square$

7.21 定理：正规算子的值域、零空间和特征向量#

设 $T\in\mathcal L(V)$ 正规。则：

\operatorname{null}T=\operatorname{null}T^*.

\operatorname{range}T=\operatorname{range}T^*.

V=\operatorname{null}T\oplus\operatorname{range}T.

对任意 $\lambda\in F$，$T-\lambda I$ 也是正规算子。

对任意 $v\in V$ 和 $\lambda\in F$，

Tv=\lambda v \Longleftrightarrow T^*v=\overline\lambda v.

证明。

由 7.20，

v\in\operatorname{null}T \Longleftrightarrow \|Tv\|=0 \Longleftrightarrow \|T^*v\|=0 \Longleftrightarrow v\in\operatorname{null}T^*.

所以 $\operatorname{null}T=\operatorname{null}T^*$。

再用 7.6，

\operatorname{range}T=(\operatorname{null}T^*)^\perp =(\operatorname{null}T)^\perp =\operatorname{range}T^*.

由正交分解，

V=\operatorname{null}T\oplus(\operatorname{null}T)^\perp =\operatorname{null}T\oplus\operatorname{range}T.

若 $\lambda\in F$，则

(T-\lambda I)^*=T^*-\overline\lambda I.

直接展开可得

(T-\lambda I)(T-\lambda I)^* =(T-\lambda I)^*(T-\lambda I),

因为 $TT^*=T^*T$，且标量倍的恒等算子与所有算子可交换。因此 $T-\lambda I$ 正规。

最后，对正规算子 $T-\lambda I$ 使用第一部分的零空间结论：

\operatorname{null}(T-\lambda I) =\operatorname{null}\bigl((T-\lambda I)^*\bigr) =\operatorname{null}(T^*-\overline\lambda I).

这正是

Tv=\lambda v \Longleftrightarrow T^*v=\overline\lambda v.

$\square$

7.22 定理：正规算子的不同特征值对应特征向量正交#

设 $T\in\mathcal L(V)$ 正规。若 $Tu=\alpha u$，$Tv=\beta v$，且 $\alpha\ne\beta$，则

\langle u,v\rangle=0.

证明。
由 7.21，

T^*v=\overline\beta v.

因此

\alpha\langle u,v\rangle =\langle \alpha u,v\rangle =\langle Tu,v\rangle =\langle u,T^*v\rangle =\langle u,\overline\beta v\rangle =\beta\langle u,v\rangle.

所以

(\alpha-\beta)\langle u,v\rangle=0.

由于 $\alpha\ne\beta$，得 $\langle u,v\rangle=0$。$\square$

7.23 定理：复正规算子等价于实部与虚部可交换#

设 $F=\mathbb C$，$T\in\mathcal L(V)$。则 $T$ 正规当且仅当存在自伴算子 $A,B\in\mathcal L(V)$，满足

AB=BA,\qquad T=A+iB.

其中 $A$ 与 $B$ 分别是 $T$ 的“实部”和“虚部”：

A=\frac{T+T^*}{2},\qquad B=\frac{T-T^*}{2i}.

证明。
先设 $T$ 正规，定义上面的 $A,B$。容易验证 $A^*=A$、$B^*=B$，且 $T=A+iB$。计算得

AB-BA=\frac{T^*T-TT^*}{2i}.

正规性给出右侧为 $0$，故 $AB=BA$。

反过来，若 $T=A+iB$，其中 $A,B$ 自伴且 $AB=BA$，则

$$ T^*=A-iB. $$

于是

$$ TT^*=(A+iB)(A-iB)=A^2+B^2+i(BA-AB), $$

$$ T^*T=(A-iB)(A+iB)=A^2+B^2+i(AB-BA). $$

因为 $AB=BA$，两式相等，所以 $T$ 正规。$\square$

7B 谱定理#

谱定理回答的是：什么时候可以找到由特征向量组成的规范正交基？它比普通“可对角化”更强，因为它要求对角化基不仅由特征向量组成，而且是规范正交基。

7.26 定理：可逆二次表达式#

设 $T\in\mathcal L(V)$ 自伴，$b,c\in\mathbb R$，且

$$ b^2<4c. $$

则

$$ T^2+bT+cI $$

可逆。

证明。
任取非零 $v\in V$。因为 $T$ 自伴，

\langle T^2v,v\rangle=\langle Tv,Tv\rangle=\|Tv\|^2.

于是

\begin{aligned} \langle (T^2+bT+cI)v,v\rangle &=\|Tv\|^2+b\langle Tv,v\rangle+c\|v\|^2\\ &\ge \|Tv\|^2-|b|\,\|Tv\|\,\|v\|+c\|v\|^2\\ &=\left(\|Tv\|-\frac{|b|}{2}\|v\|\right)^2 \,+\left(c-\frac{b^2}{4}\right)\|v\|^2\\ &>0. \end{aligned}

所以 $(T^2+bT+cI)v\ne 0$ 对所有非零 $v$ 成立，即该算子单射。有限维空间上单射等价于可逆。$\square$

性质嵌入。
这条定理是“无实根二次多项式作用在自伴算子上不会产生零”的算子版本。它后面用于排除实自伴算子最小多项式中的不可约二次因子。

7.27 定理：自伴算子的最小多项式在实数上分裂#

设 $T\in\mathcal L(V)$ 自伴。则 $T$ 的最小多项式可写成

(z-\lambda_1)\cdots(z-\lambda_m),

其中 $\lambda_1,\dots,\lambda_m\in\mathbb R$。

证明。

若 $F=\mathbb C$，最小多项式的零点正是 $T$ 的特征值，而自伴算子的特征值全为实数。因此最小多项式只含实一次因子。

若 $F=\mathbb R$，实多项式可分解为一次因子与不可约二次因子之积：

p(z)=(z-\lambda_1)\cdots(z-\lambda_m) (z^2+b_1z+c_1)\cdots(z^2+b_Nz+c_N),

其中每个不可约二次因子满足 $b_k^2<4c_k$。若 $N>0$，则由 7.26，

$$ T^2+b_NT+c_NI $$

可逆。由于 $p(T)=0$，右乘该可逆算子的逆，可得到一个次数更低的多项式 $q$ 满足 $q(T)=0$，这与 $p$ 是最小多项式矛盾。因此 $N=0$，最小多项式只能由实一次因子构成。$\square$

补充性质。
谱定理证明后可进一步看出，自伴算子的最小多项式没有重根：在规范正交特征向量基下，$T$ 是实对角矩阵，最小多项式只需包含每个不同特征值一次。

7.29 定理：实谱定理#

设 $F=\mathbb R$，$T\in\mathcal L(V)$。下列命题等价：

$T$ 自伴。
$T$ 关于 $V$ 的某个规范正交基有对角矩阵。
$V$ 有由 $T$ 的特征向量构成的规范正交基。

证明。

先证 $1\Rightarrow 2$。由 7.27，$T$ 的最小多项式在 $\mathbb R$ 上分裂，因此存在规范正交基使得 $T$ 的矩阵为上三角矩阵。又因为 $T$ 自伴，在规范正交基下其矩阵等于自己的转置。一个既上三角又等于自身转置的矩阵只能是对角矩阵。因此 $T$ 关于某个规范正交基有对角矩阵。

再证 $2\Rightarrow 1$。若 $T$ 关于某规范正交基的矩阵为实对角矩阵，则该矩阵等于自己的转置。由 7.9，$T^*$ 在同一基下的矩阵也等于这个矩阵，故 $T=T^*$。

$2$ 与 $3$ 等价：关于某个基的矩阵为对角矩阵，当且仅当该基中的每个向量都是 $T$ 的特征向量。若这个基还规范正交，就得到 $3$。$\square$

7.30 例：实自伴矩阵的规范正交特征向量基#

考虑 $\mathbb R^3$ 上矩阵

A= \begin{pmatrix} 14&-13&8\\ -13&14&8\\ 8&8&-7 \end{pmatrix}.

$A=A^t$，故对应算子自伴。可以验证

\frac{(1,-1,0)}{\sqrt2},\qquad \frac{(1,1,1)}{\sqrt3},\qquad \frac{(1,1,-2)}{\sqrt6}

构成规范正交特征向量基，关于此基的矩阵为

\begin{pmatrix} 27&0&0\\ 0&9&0\\ 0&0&-15 \end{pmatrix}.

7.31 定理：复谱定理#

设 $F=\mathbb C$，$T\in\mathcal L(V)$。下列命题等价：

$T$ 正规。
$T$ 关于 $V$ 的某个规范正交基有对角矩阵。
$V$ 有由 $T$ 的特征向量构成的规范正交基。

证明。

先证 $1\Rightarrow 2$。由舒尔定理，存在 $V$ 的规范正交基 $e_1,\dots,e_n$，使得 $T$ 的矩阵为上三角矩阵：

\begin{pmatrix} a_{1,1}&a_{1,2}&\cdots&a_{1,n}\\ 0&a_{2,2}&\cdots&a_{2,n}\\ \vdots&\vdots&\ddots&\vdots\\ 0&0&\cdots&a_{n,n} \end{pmatrix}.

因为 $T$ 正规，7.20 给出

\|Te_k\|=\|T^*e_k\|

对每个 $k$ 成立。

看 $e_1$。上三角矩阵给出

\|Te_1\|^2=|a_{1,1}|^2,

而 $T^*$ 的矩阵是共轭转置，所以

\|T^*e_1\|^2=|a_{1,1}|^2+|a_{1,2}|^2+\cdots+|a_{1,n}|^2.

两者相等，故

a_{1,2}=\cdots=a_{1,n}=0.

再看 $e_2$，同理得到

a_{2,3}=\cdots=a_{2,n}=0.

继续下去，所有非对角元素都为 $0$。因此矩阵实际上是对角矩阵。

再证 $2\Rightarrow 1$。若 $T$ 在某规范正交基下有对角矩阵，则 $T^*$ 在同一基下的矩阵为该对角矩阵的共轭转置，仍是对角矩阵。任意两个对角矩阵可交换，所以 $TT^*=T^*T$，即 $T$ 正规。

$2$ 与 $3$ 的等价与实谱定理中相同。$\square$

7.33 例：复正规算子的规范正交特征向量基#

设 $T\in\mathcal L(\mathbb C^2)$，

$$ T(w,z)=(2w-3z,3w+2z). $$

其标准矩阵为

\begin{pmatrix} 2&-3\\ 3&2 \end{pmatrix}.

这是 7.19 中的正规但不自伴算子。两个规范化特征向量可取

\frac{(i,1)}{\sqrt2},\qquad \frac{(-i,1)}{\sqrt2},

对应特征值分别为

2+3i,\qquad 2-3i.

因此 $T$ 可由规范正交特征向量基对角化。

7C 正算子#

7.34 定义：正算子#

算子 $T\in\mathcal L(V)$ 称为正的，如果：

$T$ 自伴；
对所有 $v\in V$，

\langle Tv,v\rangle\ge 0.

若 $V$ 是复内积空间，第二个条件已经迫使 $\langle Tv,v\rangle$ 为实且非负；由 7.14，自伴性可由这个二次型条件推出。但在实空间中，自伴条件必须单独写出。

7.35 例：正算子#

在 $F^2$ 上，矩阵

\begin{pmatrix} 2&-1\\ -1&1 \end{pmatrix}

对应的算子是正的，因为

\left\langle \begin{pmatrix} 2&-1\\ -1&1 \end{pmatrix} \binom{w}{z}, \binom{w}{z} \right\rangle =|w-z|^2+|w|^2\ge 0.

若 $U$ 是 $V$ 的子空间，则正交投影 $P_U$ 是正算子，因为 $P_U=P_U^*$ 且

\langle P_Uv,v\rangle=\langle P_Uv,P_Uv\rangle=\|P_Uv\|^2\ge 0.

若 $T$ 自伴，$b,c\in\mathbb R$ 且 $b^2<4c$，则由 7.26 的证明可知

$$ T^2+bT+cI $$

是正算子，而且事实上是可逆正算子。

7.36 定义：平方根#

算子 $R$ 称为算子 $T$ 的平方根，如果

$$ R^2=T. $$

如果 $R$ 还是正算子，就称 $R$ 为 $T$ 的正平方根。

7.37 例：平方根#

在 $F^3$ 上定义

$$ T(z_1,z_2,z_3)=(z_3,0,0), $$

以及

$$ R(z_1,z_2,z_3)=(z_2,z_3,0). $$

则

$$ R^2(z_1,z_2,z_3)=R(z_2,z_3,0)=(z_3,0,0)=T(z_1,z_2,z_3). $$

所以 $R$ 是 $T$ 的一个平方根。

7.38 定理：正算子的等价刻画#

对 $T\in\mathcal L(V)$，下列命题等价：

$T$ 是正算子。
$T$ 自伴且所有特征值非负。
关于 $V$ 的某个规范正交基，$T$ 的矩阵是对角矩阵，且对角线元素全非负。
$T$ 有正平方根。
$T$ 有自伴平方根。
存在 $R\in\mathcal L(V)$ 使得

$$ T=R^*R. $$

证明。

$1\Rightarrow 2$：若 $Tv=\lambda v$，$v\ne0$，则

0\le \langle Tv,v\rangle=\lambda\|v\|^2.

又 $T$ 自伴，所以 $\lambda$ 为实数，因此 $\lambda\ge0$。

$2\Rightarrow 3$：由谱定理，$T$ 有规范正交特征向量基。关于该基，$T$ 的矩阵为对角矩阵，对角线就是特征值，故全非负。

$3\Rightarrow 4$：若关于规范正交基 $e_1,\dots,e_n$，

Te_k=\lambda_ke_k,\qquad \lambda_k\ge0,

定义

Re_k=\sqrt{\lambda_k}\,e_k.

则 $R$ 自伴、特征值非负，所以 $R$ 是正算子；且

R^2e_k=\lambda_ke_k=Te_k,

故 $R^2=T$。

$4\Rightarrow 5$：正算子必自伴，因此正平方根当然是自伴平方根。

$5\Rightarrow 6$：若 $R=R^*$ 且 $R^2=T$，则

$$ T=R^2=R^*R. $$

$6\Rightarrow 1$：若 $T=R^*R$，则

$$ T^*=(R^*R)^*=R^*R=T. $$

且

\langle Tv,v\rangle=\langle R^*Rv,v\rangle=\langle Rv,Rv\rangle=\|Rv\|^2\ge0.

故 $T$ 是正算子。$\square$

常用性质。
判断 $T$ 正，常用三种方式：

T\ge0 \Longleftrightarrow T=T^*,\ \langle Tv,v\rangle\ge0 \Longleftrightarrow T=T^*,\ \sigma(T)\subset[0,\infty) \Longleftrightarrow T=R^*R.

7.39 定理：每个正算子有唯一正平方根#

每个正算子 $T$ 都存在唯一正平方根。

证明。

存在性已经在 7.38 的证明中给出：取 $T$ 的规范正交特征向量基 $e_1,\dots,e_n$，设

Te_k=\lambda_ke_k,\qquad \lambda_k\ge0.

定义

\sqrt T\,e_k=\sqrt{\lambda_k}\,e_k.

这个算子正，且平方等于 $T$。

下面证唯一性。设 $R$ 是 $T$ 的任意正平方根。若 $v$ 是 $T$ 对应特征值 $\lambda$ 的特征向量，则 $R^2v=\lambda v$。由于 $R$ 正，存在 $R$ 的规范正交特征向量基 $e_j$，且 $Re_j=\mu_je_j$，其中 $\mu_j\ge0$。将

v=\sum_j a_je_j

代入 $R^2v=\lambda v$，得

\sum_j a_j\mu_j^2e_j=\sum_j a_j\lambda e_j.

因此只要 $a_j\ne0$，就有 $\mu_j^2=\lambda$，从而 $\mu_j=\sqrt\lambda$。于是

Rv=\sqrt\lambda\,v.

所以 $R$ 在 $T$ 的每个特征向量上的作用都被唯一确定。由于 $T$ 的特征向量可组成 $V$ 的基，$R$ 唯一。$\square$

7.40 记号：$\sqrt T$#

若 $T$ 是正算子，$\sqrt T$ 表示 $T$ 的唯一正平方根。

注意：一个正算子可能有很多平方根，但正平方根只有一个。

7.41 例：正算子的平方根#

在 $\mathbb R^2$ 上令

S(x,y)=(x,2y),\qquad T(x,y)=(x+y,x+y).

标准矩阵分别为

\mathcal M(S)= \begin{pmatrix} 1&0\\ 0&2 \end{pmatrix}, \qquad \mathcal M(T)= \begin{pmatrix} 1&1\\ 1&1 \end{pmatrix}.

二者都是正算子。

$S$ 的正平方根显然为

\sqrt S= \begin{pmatrix} 1&0\\ 0&\sqrt2 \end{pmatrix}.

$T$ 的特征向量

\frac{(1,1)}{\sqrt2},\qquad \frac{(1,-1)}{\sqrt2}

对应特征值 $2,0$。因此 $\sqrt T$ 在这些方向上的特征值为 $\sqrt2,0$，换回标准基得到

\mathcal M(\sqrt T)= \begin{pmatrix} \frac1{\sqrt2}&\frac1{\sqrt2}\\ \frac1{\sqrt2}&\frac1{\sqrt2} \end{pmatrix}.

7.43 定理：正算子二次型为零则向量被送到零#

若 $T$ 是正算子，$v\in V$，且

\langle Tv,v\rangle=0,

则

$$ Tv=0. $$

证明。
因为 $T$ 正，所以 $\sqrt T$ 存在。于是

0=\langle Tv,v\rangle =\langle \sqrt T\,\sqrt T\,v,v\rangle =\langle \sqrt T\,v,\sqrt T\,v\rangle =\|\sqrt T\,v\|^2.

故 $\sqrt T\,v=0$，从而

Tv=\sqrt T(\sqrt T\,v)=0.

$\square$

重要区别。
一般自伴算子满足 $\langle Tv,v\rangle=0$ 未必推出 $Tv=0$；正性在这里不可缺少。

7D 等距映射、幺正算子和矩阵分解#

7.44 定义：等距映射#

线性映射 $S\in\mathcal L(V,W)$ 称为等距映射，如果

\|Sv\|=\|v\|\qquad \forall v\in V.

直接性质。
每个等距映射都是单射：若 $Sv=0$，则 $\|v\|=\|Sv\|=0$，故 $v=0$。

7.45 例：把规范正交基送到规范正交组的映射是等距映射#

设 $e_1,\dots,e_n$ 是 $V$ 的规范正交基，$g_1,\dots,g_n$ 是 $W$ 中的规范正交组。令 $S$ 满足

$$ Se_k=g_k. $$

若

v=\sum_{k=1}^n \langle v,e_k\rangle e_k,

则

Sv=\sum_{k=1}^n \langle v,e_k\rangle g_k.

由帕塞瓦尔恒等式，

\|v\|^2=\sum_{k=1}^n|\langle v,e_k\rangle|^2 =\|Sv\|^2.

所以 $S$ 是等距映射。

7.49 定理：等距映射的等价刻画#

设 $S\in\mathcal L(V,W)$。令 $e_1,\dots,e_n$ 是 $V$ 的规范正交基，$f_1,\dots,f_m$ 是 $W$ 的规范正交基。下列命题等价：

$S$ 是等距映射。
$S^*S=I$。
对所有 $u,v\in V$，

\langle Su,Sv\rangle=\langle u,v\rangle.

$Se_1,\dots,Se_n$ 是 $W$ 中的规范正交组。
$\mathcal M(S)$ 的列在 $F^m$ 中形成规范正交组。

证明。

$1\Rightarrow 2$：若 $S$ 等距，则

\langle (I-S^*S)v,v\rangle =\|v\|^2-\|Sv\|^2=0.

$I-S^*S$ 自伴，由 7.16 得 $I-S^*S=0$，即 $S^*S=I$。

$2\Rightarrow 3$：

\langle Su,Sv\rangle=\langle S^*Su,v\rangle=\langle u,v\rangle.

$3\Rightarrow 4$：取 $u=e_j,v=e_k$，得

\langle Se_j,Se_k\rangle=\langle e_j,e_k\rangle.

所以 $Se_1,\dots,Se_n$ 是规范正交组。

$4\Rightarrow 5$：$\mathcal M(S)$ 的第 $k$ 列就是 $Se_k$ 在规范正交基 $f_1,\dots,f_m$ 下的坐标。向量组 $Se_1,\dots,Se_n$ 规范正交，等价于这些坐标列在 $F^m$ 中规范正交。

$5\Rightarrow 1$：若矩阵列规范正交，则 $Se_1,\dots,Se_n$ 规范正交；由 7.45，$S$ 是等距映射。$\square$

7.51 定义：幺正算子#

算子 $S\in\mathcal L(V)$ 称为幺正算子，如果 $S$ 是可逆等距映射。

有限维中，算子 $S:V\to V$ 若是等距映射，则自动单射，从而可逆。因此在本章有限维背景下，“幺正算子”和“$V$ 到自身的等距映射”等价。

实内积空间中的幺正算子常称为正交算子。

7.52 例：平面旋转是幺正算子#

矩阵

\begin{pmatrix} \cos\theta&-\sin\theta\\ \sin\theta&\cos\theta \end{pmatrix}

的列构成规范正交组，因此对应算子是幺正算子。在 $\mathbb R^2$ 中它就是绕原点旋转 $\theta$。

7.53 定理：幺正算子的等价刻画#

设 $S\in\mathcal L(V)$，$e_1,\dots,e_n$ 是 $V$ 的规范正交基。下列命题等价：

$S$ 是幺正算子。
$S^*S=SS^*=I$。
$S$ 可逆且 $S^{-1}=S^*$。
$Se_1,\dots,Se_n$ 是 $V$ 的规范正交基。
$\mathcal M(S)$ 的行在 $F^n$ 中形成规范正交基。
$S^*$ 是幺正算子。

证明。

$1\Rightarrow 2$：幺正算子是等距映射，由 7.49 得 $S^*S=I$。又 $S$ 可逆，右乘 $S^{-1}$ 得 $S^*=S^{-1}$，故 $SS^*=I$。

$2\Rightarrow 3$：$S^*S=SS^*=I$ 正是 $S^*$ 是 $S$ 的双侧逆，因此 $S^{-1}=S^*$。

$3\Rightarrow 4$：由 $S^{-1}=S^*$ 得 $S^*S=I$，由 7.49，$Se_1,\dots,Se_n$ 是规范正交组；长度为 $\dim V$，所以是规范正交基。

$4\Rightarrow 1$：若 $S$ 把一个规范正交基送到规范正交基，则由 7.49 保持范数，故是等距；有限维中又可逆，所以幺正。

$1\Leftrightarrow 6$：由 $S^*S=SS^*=I$ 可知 $S^*$ 也满足 $(S^*)^*S^*=SS^*=I$ 与 $S^*(S^*)^*=S^*S=I$，故 $S^*$ 幺正。反向同理。

$4\Leftrightarrow 5$：$\mathcal M(S^*)=\mathcal M(S)^*$，$S^*$ 的列规范正交等价于 $S$ 的行规范正交。结合 $S^*$ 幺正与 7.49 即得。$\square$

7.54 定理：幺正算子的特征值绝对值为 $1$#

若 $S$ 幺正，$\lambda$ 是 $S$ 的特征值，则

|\lambda|=1.

证明。
设 $Sv=\lambda v$，$v\ne0$。因为 $S$ 等距，

\|v\|=\|Sv\|=\|\lambda v\|=|\lambda|\|v\|.

所以 $|\lambda|=1$。$\square$

7.55 定理：复内积空间上幺正算子的描述#

设 $F=\mathbb C$，$S\in\mathcal L(V)$。下列命题等价：

$S$ 是幺正算子。
存在 $V$ 的规范正交基由 $S$ 的特征向量组成，且所有对应特征值绝对值都为 $1$。

证明。

$1\Rightarrow 2$：若 $S$ 幺正，则 $S^*S=SS^*=I$，所以 $S$ 正规。由复谱定理，$S$ 有规范正交特征向量基。由 7.54，所有特征值绝对值为 $1$。

$2\Rightarrow 1$：设 $Se_k=\lambda_ke_k$，其中 $e_1,\dots,e_n$ 是规范正交基且 $|\lambda_k|=1$。则

\langle Se_j,Se_k\rangle =\langle \lambda_je_j,\lambda_ke_k\rangle =\lambda_j\overline{\lambda_k}\langle e_j,e_k\rangle.

当 $j\ne k$ 时为 $0$，当 $j=k$ 时为 $1$。所以 $Se_1,\dots,Se_n$ 是规范正交基，由 7.53 得 $S$ 幺正。$\square$

7.56 定义：幺正矩阵#

$n\times n$ 矩阵 $Q$ 称为幺正矩阵，如果它的列形成 $F^n$ 中的规范正交组。

等价地，它的列形成 $F^n$ 的规范正交基。若 $F=\mathbb R$，幺正矩阵通常称为正交矩阵。

7.57 定理：幺正矩阵的特性#

对 $n\times n$ 矩阵 $Q$，下列命题等价：

$Q$ 是幺正矩阵。
$Q$ 的列形成 $F^n$ 中的规范正交组。
对任意 $v\in F^n$，

\|Qv\|=\|v\|.

$$ Q^*Q=QQ^*=I. $$

证明。
$1$ 与 $2$ 是定义。

列规范正交等价于列之间的 Gram 矩阵为 $I$，也就是

$$ Q^*Q=I. $$

方阵满足 $Q^*Q=I$ 时 $Q$ 可逆，且逆为 $Q^*$，于是 $QQ^*=I$。所以 $2\Rightarrow4$。

若 $4$ 成立，则

\|Qv\|^2=\langle Qv,Qv\rangle=\langle Q^*Qv,v\rangle=\langle v,v\rangle=\|v\|^2,

故 $3$ 成立。

若 $3$ 成立，则 $Q$ 对应的线性算子是等距映射，由 7.49，$Q^*Q=I$，故其列规范正交。$\square$

7.58 定理：QR 分解#

设 $A$ 是列线性无关的方阵。则存在唯一一对矩阵 $Q,R$，使得

$$ A=QR, $$

其中 $Q$ 幺正，$R$ 上三角且对角线元素全为正数。

证明。

设 $v_1,\dots,v_n$ 是 $A$ 的列向量。由于它们线性无关，对它们做 Gram-Schmidt，得到规范正交基 $e_1,\dots,e_n$，并且

\operatorname{span}(v_1,\dots,v_k)=\operatorname{span}(e_1,\dots,e_k).

令 $Q$ 为以 $e_1,\dots,e_n$ 为列的矩阵，则 $Q$ 幺正。定义

R_{j,k}=\langle v_k,e_j\rangle.

若 $j>k$，则 $e_j\perp \operatorname{span}(e_1,\dots,e_k)=\operatorname{span}(v_1,\dots,v_k)$，特别地 $e_j\perp v_k$，故 $R_{j,k}=0$。所以 $R$ 上三角。

又由规范正交展开，

v_k=\sum_{j=1}^k \langle v_k,e_j\rangle e_j,

这正说明 $QR$ 的第 $k$ 列等于 $A$ 的第 $k$ 列。因此 $A=QR$。

Gram-Schmidt 的构造保证 $\langle v_k,e_k\rangle>0$，所以 $R$ 的对角线元素为正。

唯一性：若还有 $A=\widetilde Q\widetilde R$，其中 $\widetilde Q$ 幺正、$\widetilde R$ 上三角且对角线正。设 $\widetilde Q$ 的列为 $q_1,\dots,q_n$。由上三角性，第 $k$ 列 $v_k$ 属于 $\operatorname{span}(q_1,\dots,q_k)$，且其在 $q_k$ 方向上的系数为正。Gram-Schmidt 在“对角系数为正”的约定下唯一，因此 $q_k=e_k$ 对所有 $k$ 成立。故 $\widetilde Q=Q$，进而 $\widetilde R=R$。$\square$

性质与用法。
若 $Ax=b$，且 $A=QR$，则

$$ QRx=b. $$

左乘 $Q^*$ 得

$$ Rx=Q^*b. $$

$R$ 是上三角矩阵，所以可以用回代法快速求解。

7.60 例：$3\times3$ 矩阵的 QR 分解#

设

A= \begin{pmatrix} 1&2&1\\ 0&1&-4\\ 0&3&2 \end{pmatrix}.

对列向量

v_1=(1,0,0),\quad v_2=(2,1,3),\quad v_3=(1,-4,2)

做 Gram-Schmidt，可得

e_1=(1,0,0),\quad e_2=\left(0,\frac1{\sqrt{10}},\frac3{\sqrt{10}}\right),\quad e_3=\left(0,-\frac3{\sqrt{10}},\frac1{\sqrt{10}}\right).

因此

Q= \begin{pmatrix} 1&0&0\\ 0&\frac1{\sqrt{10}}&-\frac3{\sqrt{10}}\\ 0&\frac3{\sqrt{10}}&\frac1{\sqrt{10}} \end{pmatrix}.

令 $R_{j,k}=\langle v_k,e_j\rangle$，得

R= \begin{pmatrix} 1&2&1\\ 0&\sqrt{10}&\frac{\sqrt{10}}5\\ 0&0&\frac{7\sqrt{10}}5 \end{pmatrix}.

于是 $A=QR$。

7.61 定理：可逆正算子#

设 $T\in\mathcal L(V)$ 自伴。则 $T$ 是可逆正算子，当且仅当

\langle Tv,v\rangle>0\qquad \forall v\ne0.

证明。

若 $T$ 可逆且正。取 $v\ne0$，则 $Tv\ne0$。若 $\langle Tv,v\rangle=0$，由 7.43 得 $Tv=0$，矛盾。所以 $\langle Tv,v\rangle>0$。

反过来，若 $\langle Tv,v\rangle>0$ 对所有非零 $v$ 成立，则首先有 $\langle Tv,v\rangle\ge0$，且 $T$ 自伴，所以 $T$ 正。又若 $Tv=0$ 且 $v\ne0$，则 $\langle Tv,v\rangle=0$，矛盾。因此 $T$ 单射，有限维中单射等价于可逆。$\square$

7.62 定义：正定矩阵#

矩阵 $B\in F^{n,n}$ 称为正定的，如果

$$ B^*=B $$

且对所有非零 $x\in F^n$，

\langle Bx,x\rangle>0.

这就是可逆正算子的矩阵版本。

7.63 定理：科列斯基分解#

若 $B$ 是正定矩阵，则存在唯一一个对角线元素全为正数的上三角矩阵 $R$，使得

$$ B=R^*R. $$

证明。

由正定性与 7.38，存在可逆矩阵 $A$ 使

$$ B=A^*A. $$

对 $A$ 做 QR 分解：

$$ A=QR, $$

其中 $Q$ 幺正，$R$ 上三角且对角线正。于是

$$ B=A^*A=(QR)^*(QR)=R^*Q^*QR=R^*R. $$

唯一性：若

$$ B=S^*S $$

也是这样的分解，$S$ 上三角且对角线正。因为 $B$ 可逆，$S$ 可逆。由 $A^*A=S^*S$ 可推出

(AS^{-1})^*(AS^{-1})=I.

故 $AS^{-1}$ 幺正。于是

A=(AS^{-1})S

是 $A$ 的 QR 分解。QR 分解唯一，所以 $S=R$。$\square$

7E 奇异值分解#

7.64 定理：$T^*T$ 的性质#

设 $T\in\mathcal L(V,W)$。则：

$T^*T$ 是 $V$ 上的正算子。
2.

\operatorname{null}(T^*T)=\operatorname{null}T.

\operatorname{range}(T^*T)=\operatorname{range}T^*.

\dim\operatorname{range}T =\dim\operatorname{range}T^* =\dim\operatorname{range}(T^*T).

证明。

首先，

$$ (T^*T)^*=T^*(T^*)^*=T^*T, $$

所以 $T^*T$ 自伴。并且

\langle T^*Tv,v\rangle=\langle Tv,Tv\rangle=\|Tv\|^2\ge0,

所以 $T^*T$ 正。

其次，

v\in\operatorname{null}(T^*T) \Longrightarrow 0=\langle T^*Tv,v\rangle=\|Tv\|^2 \Longrightarrow Tv=0.

反向显然：$Tv=0$ 则 $T^*Tv=0$。故零空间相等。

再由 7.6 和上一部分，

\operatorname{range}(T^*T) =\operatorname{null}(T^*T)^\perp =\operatorname{null}T^\perp =\operatorname{range}T^*.

最后，

\dim\operatorname{range}T =\dim(\operatorname{null}T^*)^\perp =\dim W-\dim\operatorname{null}T^* =\dim\operatorname{range}T^*.

又由第三部分，$\dim\operatorname{range}T^*=\dim\operatorname{range}(T^*T)$。$\square$

7.65 定义：奇异值#

设 $T\in\mathcal L(V,W)$。$T$ 的奇异值是 $T^*T$ 的特征值的非负平方根，按降序排列；每个奇异值的重复次数等于 $T^*T$ 对应特征空间的维数。

也就是说，若 $T^*T$ 的特征值为

\lambda_1\ge\lambda_2\ge\cdots\ge\lambda_n\ge0,

则 $T$ 的奇异值为

s_j=\sqrt{\lambda_j}.

7.66 例：$F^4$ 上算子的奇异值#

定义

$$ T(z_1,z_2,z_3,z_4)=(0,3z_1,2z_2,-3z_4). $$

可算得

$$ T^*T(z_1,z_2,z_3,z_4)=(9z_1,4z_2,0,9z_4). $$

因此 $T^*T$ 的特征值为 $9,9,4,0$，奇异值为

$$ 3,3,2,0. $$

这个例子说明：奇异值不等同于特征值的绝对值。$T$ 的特征值可能没有直接显示所有伸缩信息，而奇异值总是描述 $T$ 对长度的主方向伸缩。

7.67 例：从 $F^4$ 到 $F^3$ 的线性映射的奇异值#

设 $T\in\mathcal L(F^4,F^3)$ 关于标准基的矩阵为

\begin{pmatrix} 0&0&0&-5\\ 0&0&0&0\\ 1&1&0&0 \end{pmatrix}.

则

T^*T= \begin{pmatrix} 1&1&0&0\\ 1&1&0&0\\ 0&0&0&0\\ 0&0&0&25 \end{pmatrix}.

其特征值为 $25,2,0,0$，所以 $T$ 的奇异值为

5,\sqrt2,0,0.

7.68 定理：正奇异值的作用#

设 $T\in\mathcal L(V,W)$。则：

$T$ 单射，当且仅当 $0$ 不是 $T$ 的奇异值。
$T$ 的正奇异值个数等于 $\dim\operatorname{range}T$。
$T$ 满射，当且仅当 $T$ 的正奇异值个数等于 $\dim W$。

证明。

$T$ 单射当且仅当 $\operatorname{null}T=\{0\}$。由 7.64，

\operatorname{null}T=\operatorname{null}(T^*T).

这等价于 $0$ 不是 $T^*T$ 的特征值，也等价于 $0$ 不是 $T$ 的奇异值。

由谱定理，$T^*T$ 的正特征值个数等于 $\dim\operatorname{range}(T^*T)$。由 7.64，

\dim\operatorname{range}(T^*T)=\dim\operatorname{range}T.

故正奇异值个数等于 $\dim\operatorname{range}T$。

$T$ 满射当且仅当 $\dim\operatorname{range}T=\dim W$，结合第二部分即可。$\square$

性质对比。

项目	特征值	奇异值
背景	线性算子 $V\to V$	线性映射 $V\to W$
是否需要内积	不需要	需要
数值范围	实数或复数	非负实数
个数	实空间中可能没有	总是等于 $\dim V$，计重数
零的意义	算子不可逆	映射非单射
顺序	通常无标准顺序	默认降序

7.69 定理：所有奇异值为 $1$ 等价于等距映射#

设 $S\in\mathcal L(V,W)$。则

S\text{ 是等距映射} \Longleftrightarrow S\text{ 的所有奇异值都等于 }1.

证明。
由 7.49，

S\text{ 等距} \Longleftrightarrow S^*S=I.

而 $S^*S=I$ 当且仅当 $S^*S$ 的所有特征值都为 $1$。奇异值是这些特征值的非负平方根，所以等价于所有奇异值都为 $1$。$\square$

7.70 定理：奇异值分解#

设 $T\in\mathcal L(V,W)$，$T$ 的正奇异值为

s_1,\dots,s_m.

则存在 $V$ 中的规范正交组 $e_1,\dots,e_m$ 和 $W$ 中的规范正交组 $f_1,\dots,f_m$，使得对任意 $v\in V$，

Tv=s_1\langle v,e_1\rangle f_1+\cdots+s_m\langle v,e_m\rangle f_m.

证明。

设 $s_1,\dots,s_n$ 是 $T$ 的全部奇异值，其中 $n=\dim V$。因为 $T^*T$ 是正算子，谱定理给出 $V$ 的规范正交基 $e_1,\dots,e_n$，满足

$$ T^*Te_k=s_k^2e_k. $$

对 $k=1,\dots,m$，定义

f_k=\frac{Te_k}{s_k}.

若 $j,k\le m$，则

\begin{aligned} \langle f_j,f_k\rangle &=\frac1{s_js_k}\langle Te_j,Te_k\rangle\\ &=\frac1{s_js_k}\langle e_j,T^*Te_k\rangle\\ &=\frac{s_k^2}{s_js_k}\langle e_j,e_k\rangle. \end{aligned}

当 $j=k$ 时为 $1$，当 $j\ne k$ 时为 $0$。所以 $f_1,\dots,f_m$ 是规范正交组。

若 $k>m$，则 $s_k=0$，从 $T^*Te_k=0$ 以及 7.64 得 $Te_k=0$。因此任意

v=\sum_{k=1}^n \langle v,e_k\rangle e_k

满足

\begin{aligned} Tv &=\sum_{k=1}^n \langle v,e_k\rangle Te_k\\ &=\sum_{k=1}^m \langle v,e_k\rangle s_kf_k. \end{aligned}

这就是所需分解。$\square$

7.74 定义：对角矩阵#

$M\times N$ 矩阵 $A$ 称为对角矩阵，如果除了

A_{k,k}\qquad (k=1,\dots,\min\{M,N\})

可能非零外，其余元素全为 $0$。

这个定义允许“矩形对角矩阵”。因此从 $V$ 到 $W$ 的线性映射也可以在恰当的规范正交基下写成对角形式。

7.75 定理：伴随和伪逆的奇异值分解#

设 $T\in\mathcal L(V,W)$ 的正奇异值为 $s_1,\dots,s_m$，且

Tv=s_1\langle v,e_1\rangle f_1+\cdots+s_m\langle v,e_m\rangle f_m.

则对任意 $w\in W$，

T^*w=s_1\langle w,f_1\rangle e_1+\cdots+s_m\langle w,f_m\rangle e_m,

且伪逆满足

T^\dagger w= \frac{\langle w,f_1\rangle}{s_1}e_1+\cdots+ \frac{\langle w,f_m\rangle}{s_m}e_m.

证明。

对任意 $v\in V,w\in W$，

\begin{aligned} \langle Tv,w\rangle &=\left\langle \sum_{k=1}^m s_k\langle v,e_k\rangle f_k,w\right\rangle\\ &=\sum_{k=1}^m s_k\langle v,e_k\rangle\langle f_k,w\rangle\\ &=\left\langle v,\sum_{k=1}^m s_k\langle w,f_k\rangle e_k\right\rangle. \end{aligned}

由伴随定义，得到 $T^*$ 的公式。

再令

u=\sum_{k=1}^m \frac{\langle w,f_k\rangle}{s_k}e_k.

则

Tu=\sum_{k=1}^m \langle w,f_k\rangle f_k=P_{\operatorname{range}T}w.

并且 $u\in(\operatorname{null}T)^\perp$。按伪逆定义，这个 $u$ 正是 $T^\dagger w$。$\square$

7.79 例：求奇异值分解#

定义 $T\in\mathcal L(F^4,F^3)$：

$$ T(x_1,x_2,x_3,x_4)=(-5x_4,0,x_1+x_2). $$

由 7.67，其正奇异值为

5,\sqrt2.

可取

e_1=(0,0,0,1),\qquad e_2=\left(\frac1{\sqrt2},\frac1{\sqrt2},0,0\right).

于是

f_1=\frac{Te_1}{5}=(-1,0,0), \qquad f_2=\frac{Te_2}{\sqrt2}=(0,0,1).

故

Tv=5\langle v,e_1\rangle f_1+\sqrt2\langle v,e_2\rangle f_2.

7.80 定理：SVD 的矩阵版本#

设 $A$ 是 $p\times n$ 矩阵，秩为 $m\ge1$。则存在：

列规范正交的 $p\times m$ 矩阵 $B$；
对角线为正数的 $m\times m$ 对角矩阵 $D$；
列规范正交的 $n\times m$ 矩阵 $C$；

使得

$$ A=BDC^*. $$

证明。

令 $T:F^n\to F^p$ 是以 $A$ 为标准矩阵的线性映射。对 $T$ 做奇异值分解：

Tv=s_1\langle v,e_1\rangle f_1+\cdots+s_m\langle v,e_m\rangle f_m.

令 $B$ 的列为 $f_1,\dots,f_m$，$D=\operatorname{diag}(s_1,\dots,s_m)$，$C$ 的列为 $e_1,\dots,e_m$。

对 $F^m$ 的标准基向量 $u_k$，

$$ ACu_k=Ae_k=Te_k=s_kf_k=BDu_k. $$

所以

$$ AC=BD. $$

右乘 $C^*$ 得

$$ ACC^*=BDC^*. $$

$CC^*$ 是到 $\operatorname{span}(e_1,\dots,e_m)$ 的正交投影，而 $T$ 在该子空间的正交补上为零。因此

$$ ACC^*=A. $$

于是

$$ A=BDC^*. $$

$\square$

7F 奇异值分解的推论#

7.82 定理：$\|Tv\|$ 的上界#

设 $T\in\mathcal L(V,W)$，$s_1$ 是 $T$ 的最大奇异值。则

\|Tv\|\le s_1\|v\|\qquad \forall v\in V.

证明。

设 $T$ 的正奇异值为 $s_1,\dots,s_m$，并取奇异值分解

Tv=s_1\langle v,e_1\rangle f_1+\cdots+s_m\langle v,e_m\rangle f_m.

由于 $f_1,\dots,f_m$ 规范正交，

\|Tv\|^2 =\sum_{k=1}^m s_k^2|\langle v,e_k\rangle|^2 \le s_1^2\sum_{k=1}^m|\langle v,e_k\rangle|^2.

由贝塞尔不等式，

\sum_{k=1}^m|\langle v,e_k\rangle|^2\le\|v\|^2.

所以

\|Tv\|^2\le s_1^2\|v\|^2,

取平方根得结论。$\square$

若取 $v=e_1$，则 $\|Te_1\|=s_1$。所以最大奇异值不仅是上界，而且能被单位向量达到。

7.86 定义：线性映射的范数#

设 $T\in\mathcal L(V,W)$。定义

\|T\|=\max\{\|Tv\|:v\in V,\ \|v\|\le1\}.

由 7.82 及取 $v=e_1$ 可知，这个最大值存在，并且等于 $T$ 的最大奇异值。

7.87 定理：线性映射范数的基本性质#

设 $T\in\mathcal L(V,W)$。则：

$\|T\|\ge0$。
$\|T\|=0$ 当且仅当 $T=0$。
$\|\lambda T\|=|\lambda|\,\|T\|$。
对 $S\in\mathcal L(V,W)$，

\|S+T\|\le\|S\|+\|T\|.

证明。

非负性由向量范数非负立即得到。

若 $\|T\|=0$，则 $T$ 在所有 $\|v\|\le1$ 的向量上为 $0$。对任意非零 $u$，$\|u/\|u\|\|=1$，故

Tu=\|u\|T\left(\frac{u}{\|u\|}\right)=0.

因此 $T=0$。反向显然。

数乘：

\|\lambda T\| =\max_{\|v\|\le1}\|\lambda Tv\| =|\lambda|\max_{\|v\|\le1}\|Tv\| =|\lambda|\|T\|.

三角不等式：取 $\|v\|\le1$ 使

\|S+T\|=\|(S+T)v\|.

则

\|S+T\| \le\|Sv\|+\|Tv\| \le\|S\|+\|T\|.

$\square$

补充常用性质：乘积估计。
若 $T\in\mathcal L(V,W)$，$R\in\mathcal L(W,U)$，则

\|RT\|\le\|R\|\,\|T\|.

证明：对任意 $\|v\|\le1$，

\|RTv\|\le\|R\|\|Tv\|\le\|R\|\|T\|\|v\|\le\|R\|\|T\|.

取最大值得结论。

7.88 定理：$\|T\|$ 的多种表达式#

设 $T\in\mathcal L(V,W)$。则：

$\|T\|$ 等于 $T$ 的最大奇异值。
2.

\|T\|=\max\{\|Tv\|:\|v\|=1\}.

$\|T\|$ 是满足

\|Tv\|\le c\|v\|\quad \forall v\in V

的最小非负数 $c$。

证明。

第一部分由 7.82 后的讨论得到。

第二部分：若 $0<\|v\|\le1$，令 $u=v/\|v\|$，则 $\|u\|=1$ 且

\|Tu\|=\frac{\|Tv\|}{\|v\|}\ge\|Tv\|.

所以在闭单位球上取最大值时，只看单位球面即可。

第三部分：由定义，对 $v\ne0$，

\left\|T\left(\frac v{\|v\|}\right)\right\|\le\|T\|,

故

\|Tv\|\le\|T\|\|v\|.

若 $c$ 也满足 $\|Tv\|\le c\|v\|$，则对所有 $\|v\|\le1$ 有 $\|Tv\|\le c$，取最大值得 $\|T\|\le c$。所以 $\|T\|$ 是最小的这样的 $c$。$\square$

7.90 例：范数#

恒等算子 $I$ 满足

\|I\|=1.

若 $T\in\mathcal L(F^n)$ 的标准矩阵元素全为 $1$，则

\|T\|=n.

因为 $T$ 在 $(1,\dots,1)/\sqrt n$ 方向上伸缩 $n$ 倍，在其正交补上为 $0$。

若 $T$ 有规范正交特征向量基，对应特征值为 $\lambda_1,\dots,\lambda_n$，则

\|T\|=\max_k|\lambda_k|.

7.91 定理：伴随的范数#

设 $T\in\mathcal L(V,W)$。则

\|T^*\|=\|T\|.

证明。
任取 $w\in W$，

\begin{aligned} \|T^*w\|^2 &=\langle T^*w,T^*w\rangle\\ &=\langle TT^*w,w\rangle\\ &\le \|TT^*w\|\,\|w\|\\ &\le \|T\|\|T^*w\|\|w\|. \end{aligned}

若 $T^*w\ne0$，两边除以 $\|T^*w\|$，得

\|T^*w\|\le\|T\|\|w\|.

若 $T^*w=0$ 也显然成立。由 7.88 的最小常数刻画，

\|T^*\|\le\|T\|.

把 $T$ 换成 $T^*$，并用 $(T^*)^*=T$，得到

\|T\|\le\|T^*\|.

所以两者相等。$\square$

7.92 定理：值域维数至多为 $k$ 的最佳逼近#

设 $T\in\mathcal L(V,W)$，正奇异值为

s_1\ge\cdots\ge s_m.

若 $1\le k<m$，则

\min\{\|T-S\|:S\in\mathcal L(V,W),\ \dim\operatorname{range}S\le k\}=s_{k+1}.

若

Tv=s_1\langle v,e_1\rangle f_1+\cdots+s_m\langle v,e_m\rangle f_m,

定义截断映射

T_kv=s_1\langle v,e_1\rangle f_1+\cdots+s_k\langle v,e_k\rangle f_k,

则

\dim\operatorname{range}T_k=k,\qquad \|T-T_k\|=s_{k+1}.

证明。

先证明 $T_k$ 达到误差 $s_{k+1}$。对任意 $v$，

(T-T_k)v=s_{k+1}\langle v,e_{k+1}\rangle f_{k+1} \,+\cdots+s_m\langle v,e_m\rangle f_m.

因此

\|(T-T_k)v\|^2 \le s_{k+1}^2\sum_{j=k+1}^m|\langle v,e_j\rangle|^2 \le s_{k+1}^2\|v\|^2.

故 $\|T-T_k\|\le s_{k+1}$。又

(T-T_k)e_{k+1}=s_{k+1}f_{k+1},

所以 $\|T-T_k\|=s_{k+1}$。

下面证明任何值域维数至多为 $k$ 的 $S$ 都不可能更好。因为

Se_1,\dots,Se_{k+1}

是 $k+1$ 个落在 $\operatorname{range}S$ 中的向量，而该值域维数至多为 $k$，所以它们线性相关。取不全为零的 $a_1,\dots,a_{k+1}$ 使

\sum_{j=1}^{k+1}a_jSe_j=0.

令

u=\sum_{j=1}^{k+1}a_je_j\ne0.

则 $Su=0$，所以

$$ (T-S)u=Tu. $$

并且

\|Tu\|^2 =s_1^2|a_1|^2+\cdots+s_{k+1}^2|a_{k+1}|^2 \ge s_{k+1}^2\|u\|^2.

于是

\|T-S\|\ge \frac{\|(T-S)u\|}{\|u\|} =\frac{\|Tu\|}{\|u\|} \ge s_{k+1}.

所以最小误差正是 $s_{k+1}$，由 $T_k$ 达到。$\square$

应用理解。
这就是截断 SVD 的数学依据：保留最大的 $k$ 个奇异值方向，得到所有秩不超过 $k$ 的近似中误差最小的那个。

7.93 定理：极分解#

设 $T\in\mathcal L(V)$。则存在幺正算子 $S\in\mathcal L(V)$，使得

T=S\sqrt{T^*T}.

证明。

取 $T$ 的奇异值分解

Tv=s_1\langle v,e_1\rangle f_1+\cdots+s_m\langle v,e_m\rangle f_m.

把 $e_1,\dots,e_m$ 与 $f_1,\dots,f_m$ 分别扩充为 $V$ 的规范正交基

e_1,\dots,e_n,\qquad f_1,\dots,f_n.

定义

Sv=\langle v,e_1\rangle f_1+\cdots+\langle v,e_n\rangle f_n.

由帕塞瓦尔恒等式，

\|Sv\|^2=\sum_{j=1}^n|\langle v,e_j\rangle|^2=\|v\|^2.

所以 $S$ 是幺正算子。

由 SVD 可得

T^*Tv=s_1^2\langle v,e_1\rangle e_1+\cdots+s_m^2\langle v,e_m\rangle e_m.

因此

\sqrt{T^*T}\,v =s_1\langle v,e_1\rangle e_1+\cdots+s_m\langle v,e_m\rangle e_m.

于是

\begin{aligned} S\sqrt{T^*T}\,v &=S\left(\sum_{j=1}^m s_j\langle v,e_j\rangle e_j\right)\\ &=\sum_{j=1}^m s_j\langle v,e_j\rangle f_j\\ &=Tv. \end{aligned}

故

T=S\sqrt{T^*T}.

$\square$

理解。
$\sqrt{T^*T}$ 是正算子，负责沿正交方向伸缩；$S$ 是幺正算子，负责保持长度的“旋转/反射”部分。极分解就是把任意算子拆成“伸缩 + 保长变换”。

7.95 定义：球#

$V$ 中半径为 $1$、以 $0$ 为心的球记为

B=\{v\in V:\|v\|\le1\}.

7.96 定义：椭球#

设 $f_1,\dots,f_n$ 是 $V$ 的规范正交基，$s_1,\dots,s_n$ 是正数。主轴为

s_1f_1,\dots,s_nf_n

的椭球定义为

E(s_1f_1,\dots,s_nf_n) =\left\{ v\in V: \frac{|\langle v,f_1\rangle|^2}{s_1^2} \,+\cdots+ \frac{|\langle v,f_n\rangle|^2}{s_n^2} \le1 \right\}.

当 $s_1=\cdots=s_n=1$ 时，椭球就是单位球。

7.97 例：椭球#

在 $\mathbb R^2$ 中，若 $f_1,f_2$ 是标准基，则

E(2f_1,f_2) =\left\{(x,y):\frac{x^2}{4}+y^2\le1\right\}.

它是在 $f_1$ 方向半轴长为 $2$、在 $f_2$ 方向半轴长为 $1$ 的椭圆。

若把 $f_1,f_2$ 换成旋转后的规范正交基，则得到旋转后的椭圆。

7.98 记号：$T(\Omega)$#

若 $T$ 是定义在 $V$ 上的函数，$\Omega\subset V$，定义

T(\Omega)=\{Tv:v\in\Omega\}.

特别地，

T(V)=\operatorname{range}T.

7.99 定理：可逆算子把球变成椭球#

设 $T\in\mathcal L(V)$ 可逆。则 $T$ 将 $V$ 中的球 $B$ 映成 $V$ 中的椭球。

证明。

取 $T$ 的奇异值分解

Tv=s_1\langle v,e_1\rangle f_1+\cdots+s_n\langle v,e_n\rangle f_n.

由于 $T$ 可逆，所有奇异值 $s_1,\dots,s_n$ 都为正。证明

T(B)=E(s_1f_1,\dots,s_nf_n).

若 $v\in B$，则由 SVD，

\frac{|\langle Tv,f_1\rangle|^2}{s_1^2} \,+\cdots+ \frac{|\langle Tv,f_n\rangle|^2}{s_n^2} =|\langle v,e_1\rangle|^2+\cdots+|\langle v,e_n\rangle|^2 =\|v\|^2\le1.

所以 $Tv$ 落在相应椭球中。

反过来，若 $w\in E(s_1f_1,\dots,s_nf_n)$，令

v=\frac{\langle w,f_1\rangle}{s_1}e_1+\cdots+\frac{\langle w,f_n\rangle}{s_n}e_n.

椭球条件给出 $\|v\|\le1$，且由 SVD 得 $Tv=w$。所以椭球中的点都来自 $T(B)$。$\square$

7.101 定理：可逆算子把椭球变成椭球#

若 $T\in\mathcal L(V)$ 可逆，$E$ 是 $V$ 中的椭球，则 $T(E)$ 也是椭球。

证明。

设

E=E(s_1f_1,\dots,s_nf_n).

定义可逆算子 $S$：

S(a_1f_1+\cdots+a_nf_n)=a_1s_1f_1+\cdots+a_ns_nf_n.

则

$$ S(B)=E. $$

于是

$$ T(E)=T(S(B))=(TS)(B). $$

$TS$ 可逆，由 7.99，$(TS)(B)$ 是椭球。$\square$

7.102 定义：平行体#

若 $v_1,\dots,v_n$ 是 $V$ 的基，定义

P(v_1,\dots,v_n) =\{a_1v_1+\cdots+a_nv_n:a_1,\dots,a_n\in(0,1)\}.

形如

u+P(v_1,\dots,v_n)

的集合称为平行体，$v_1,\dots,v_n$ 称为它的边。

在二维中，这就是平行四边形；在三维中，是通常的平行六面体。

7.103 例：平行体#

在 $\mathbb R^2$ 中，

$$ (0.3,0.5)+P((1,0),(1,1)) $$

是一个平移后的平行四边形。它的两条边方向分别为 $(1,0)$ 和 $(1,1)$。

7.104 定理：可逆算子把平行体变成平行体#

设 $u\in V$，$v_1,\dots,v_n$ 是 $V$ 的基，$T\in\mathcal L(V)$ 可逆。则

T\bigl(u+P(v_1,\dots,v_n)\bigr) =Tu+P(Tv_1,\dots,Tv_n).

证明。

因为 $T$ 可逆，$Tv_1,\dots,Tv_n$ 仍是 $V$ 的基。由线性性，

T(u+a_1v_1+\cdots+a_nv_n) =Tu+a_1Tv_1+\cdots+a_nTv_n.

当 $a_1,\dots,a_n$ 遍历 $(0,1)$ 时，右侧正好遍历 $Tu+P(Tv_1,\dots,Tv_n)$。$\square$

7.105 定义：长方体#

$V$ 中的长方体是形如

u+P(r_1e_1,\dots,r_ne_n)

的集合，其中 $u\in V$，$r_1,\dots,r_n>0$，$e_1,\dots,e_n$ 是 $V$ 的规范正交基。

也就是说，长方体是边两两正交的平行体。

7.106 例：长方体#

在 $\mathbb R^2$ 中，若

e_1=\left(\frac1{\sqrt2},\frac1{\sqrt2}\right),\qquad e_2=\left(-\frac1{\sqrt2},\frac1{\sqrt2}\right),

则

(1,0)+P(\sqrt2 e_1,\sqrt2 e_2)

是一个旋转并平移后的正方形。

在 $\mathbb R^3$ 中，

$$ P(e_1,2e_2,e_3) $$

是边长 $1,2,1$ 的长方体。

7.107 定理：每个可逆算子都把某些长方体变成长方体#

设 $T\in\mathcal L(V)$ 可逆，并取 SVD：

Tv=s_1\langle v,e_1\rangle f_1+\cdots+s_n\langle v,e_n\rangle f_n.

则对任意 $u\in V$ 和任意正数 $r_1,\dots,r_n$，

T\bigl(u+P(r_1e_1,\dots,r_ne_n)\bigr) =Tu+P(r_1s_1f_1,\dots,r_ns_nf_n).

因此，若原长方体的边沿右奇异向量 $e_1,\dots,e_n$，则像长方体的边沿左奇异向量 $f_1,\dots,f_n$。

证明。

任取 $a_1,\dots,a_n\in(0,1)$，

\begin{aligned} T(u+a_1r_1e_1+\cdots+a_nr_ne_n) &=Tu+a_1r_1Te_1+\cdots+a_nr_nTe_n\\ &=Tu+a_1r_1s_1f_1+\cdots+a_nr_ns_nf_n. \end{aligned}

右侧正好遍历 $Tu+P(r_1s_1f_1,\dots,r_ns_nf_n)$。$\square$

7.108 定义：长方体体积#

设 $F=\mathbb R$。若

C=u+P(r_1e_1,\dots,r_ne_n)

是长方体，其中 $e_1,\dots,e_n$ 是规范正交基，$r_1,\dots,r_n>0$，则定义

\operatorname{volume}(C)=r_1\cdots r_n.

7.109 定义：体积#

设 $F=\mathbb R$，$\Omega\subset V$。$\Omega$ 的体积记为

\operatorname{volume}(\Omega).

直观上，它由许多互不相交的小长方体逼近 $\Omega$，再把这些长方体的体积求和得到。

本章只使用体积的几何直觉：线性映射如何统一改变体积。严格的体积理论属于分析学。

7.110 例：线性映射改变体积#

在 $\mathbb R^2$ 上令

Tv=2\langle v,e_1\rangle e_1+\langle v,e_2\rangle e_2,

其中 $e_1,e_2$ 是标准基。这个映射在 $e_1$ 方向放大 $2$ 倍，在 $e_2$ 方向保持不变。因此每个边沿 $e_1,e_2$ 的矩形面积都变为原来的 $2$ 倍，球也被映成面积为原来 $2$ 倍的椭球。

这里 $T$ 的奇异值是 $2,1$，乘积为 $2$。

7.111 定理：体积变化倍数是奇异值的乘积#

设 $F=\mathbb R$，$T\in\mathcal L(V)$ 可逆，$\Omega\subset V$。则

\operatorname{volume}(T(\Omega)) =\left(\prod_{j=1}^n s_j\right)\operatorname{volume}(\Omega),

其中 $s_1,\dots,s_n$ 是 $T$ 的奇异值。

证明。

取 SVD：

Tv=s_1\langle v,e_1\rangle f_1+\cdots+s_n\langle v,e_n\rangle f_n.

用边沿 $e_1,\dots,e_n$ 的长方体逼近 $\Omega$。一个典型长方体为

u+P(r_1e_1,\dots,r_ne_n),

体积为

r_1\cdots r_n.

由 7.107，它被 $T$ 映为

Tu+P(r_1s_1f_1,\dots,r_ns_nf_n),

体积为

(r_1s_1)\cdots(r_ns_n) =(s_1\cdots s_n)(r_1\cdots r_n).

因此每个逼近长方体的体积都被乘以同一个因子 $s_1\cdots s_n$。把逼近加总并取极限，$\Omega$ 的体积也按同一因子变化。$\square$

后续联系。
到行列式时会看到：

s_1\cdots s_n=|\det T|.

因此行列式绝对值就是线性算子对体积的缩放倍数。

章末性质：复正规算子由特征值判定的常见类型#

设 $F=\mathbb C$，$T$ 正规。由复谱定理，$T$ 可用规范正交特征向量基对角化，因此许多算子性质可直接看特征值。

正规算子的性质	特征值必须属于
可逆	$\mathbb C\setminus\{0\}$
自伴	$\mathbb R$
斜算子，即 $T^*=-T$	$\{\lambda\in\mathbb C:\operatorname{Re}\lambda=0\}$
正交投影	$\{0,1\}$
正算子	$[0,\infty)$
幺正	$\{\lambda\in\mathbb C:
范数小于 $1$	$\{\lambda\in\mathbb C:

理由。
在规范正交特征向量基下，$T$ 的矩阵是对角矩阵。自伴、正、幺正、投影等条件都逐项变成对角线上复数的条件。例如：

$T=T^*$ 等价于每个对角元素等于自己的复共轭，即特征值全为实数。
$T\ge0$ 等价于二次型非负，即特征值全为非负实数。
$T^*T=I$ 等价于每个 $|\lambda|^2=1$。
正规算子的奇异值是特征值绝对值，所以 $\|T\|<1$ 等价于所有 $|\lambda|<1$。

第 7 章总复习线索#

伴随是全章入口：从 $\langle Tv,w\rangle=\langle v,T^*w\rangle$ 出发，得到零空间、值域、矩阵共轭转置、自伴和正规。
自伴算子像实数：特征值实，二次型决定算子，实谱定理成立。
正规算子像复数：复空间中正规算子可由规范正交特征向量基对角化。
正算子像非负数：等价于 $R^*R$，有唯一正平方根。
幺正算子像单位圆上的复数：保持范数，特征值绝对值为 $1$。
奇异值分解是任意线性映射的正交分解：$T$ 在一组正交方向上伸缩，再转到另一组正交方向。
最大奇异值就是算子范数；奇异值乘积就是体积缩放倍数；截断 SVD 给出最佳低秩逼近。

线性代数II 第七章笔记

第 7 章 内积空间上的算子#

7A 自伴算子和正规算子#

7.1 定义：伴随 $T^*$#

7.2 例：从 $\mathbb R^3$ 到 $\mathbb R^2$ 的伴随#

7.3 例：秩至多为 $1$ 的映射的伴随#

7.4 定理：线性映射的伴随是线性映射#

7.5 定理：伴随的性质#

7.6 定理：$T^*$ 的零空间和值域#

7.7 定义：共轭转置#

7.8 例：共轭转置#

7.9 定理：伴随的矩阵是矩阵的共轭转置#

7.10 定义：自伴算子#

7.11 例：由矩阵判断自伴#

7.12 定理：自伴算子的特征值为实数#

7.13 定理：复空间中二次型恒零推出算子为零#

7.14 定理：复空间中二次型实值等价于自伴#

7.16 定理：自伴算子的二次型恒零等价于零算子#

7.18 定义：正规算子#

7.19 例：正规但不自伴#

7.20 定理：正规性的范数判别#

7.21 定理：正规算子的值域、零空间和特征向量#

7.22 定理：正规算子的不同特征值对应特征向量正交#

7.23 定理：复正规算子等价于实部与虚部可交换#

7B 谱定理#

7.26 定理：可逆二次表达式#

7.27 定理：自伴算子的最小多项式在实数上分裂#

7.29 定理：实谱定理#

7.30 例：实自伴矩阵的规范正交特征向量基#

7.31 定理：复谱定理#

7.33 例：复正规算子的规范正交特征向量基#

7C 正算子#

7.34 定义：正算子#

7.35 例：正算子#

7.36 定义：平方根#

7.37 例：平方根#

7.38 定理：正算子的等价刻画#

7.39 定理：每个正算子有唯一正平方根#

7.40 记号：$\sqrt T$#

7.41 例：正算子的平方根#

7.43 定理：正算子二次型为零则向量被送到零#

7D 等距映射、幺正算子和矩阵分解#

7.44 定义：等距映射#

7.45 例：把规范正交基送到规范正交组的映射是等距映射#

7.49 定理：等距映射的等价刻画#

7.51 定义：幺正算子#

7.52 例：平面旋转是幺正算子#

7.53 定理：幺正算子的等价刻画#

7.54 定理：幺正算子的特征值绝对值为 $1$#

7.55 定理：复内积空间上幺正算子的描述#

7.56 定义：幺正矩阵#

7.57 定理：幺正矩阵的特性#

7.58 定理：QR 分解#

7.60 例：$3\times3$ 矩阵的 QR 分解#

7.61 定理：可逆正算子#

7.62 定义：正定矩阵#

7.63 定理：科列斯基分解#

7E 奇异值分解#

7.64 定理：$T^*T$ 的性质#

7.65 定义：奇异值#

7.66 例：$F^4$ 上算子的奇异值#

7.67 例：从 $F^4$ 到 $F^3$ 的线性映射的奇异值#

7.68 定理：正奇异值的作用#

7.69 定理：所有奇异值为 $1$ 等价于等距映射#

7.70 定理：奇异值分解#

7.74 定义：对角矩阵#

7.75 定理：伴随和伪逆的奇异值分解#

7.79 例：求奇异值分解#

7.80 定理：SVD 的矩阵版本#

7F 奇异值分解的推论#

7.82 定理：$\|Tv\|$ 的上界#

7.86 定义：线性映射的范数#

7.87 定理：线性映射范数的基本性质#

7.88 定理：$\|T\|$ 的多种表达式#

7.90 例：范数#

7.91 定理：伴随的范数#

7.92 定理：值域维数至多为 $k$ 的最佳逼近#

7.93 定理：极分解#

7.95 定义：球#

7.96 定义：椭球#

第 7 章内积空间上的算子#