第十四讲：正交向量与子空间

在四个基本子空间中，提到对于秩为r的 $m \times n$ 矩阵，其行空间（ $d i m C (A^{T}) = r$ ）与零空间（ $d i m N (A) = n - r$ ）同属于 $R^{n}$ 空间，其列空间（ $d i m C (A) = r$ ）与左零空间（ $d i m N (A^{T})$ =m-r）同属于 $R^{m}$ 空间。

对于向量 $x, y$ ，当 $x^{T} \cdot y = 0$ 即 $x_{1} y_{1} + x_{2} y_{x} + \dots + x_{n} y_{n} = 0$ 时，有向量 $x, y$ 正交（vector orthogonal）。

毕达哥拉斯定理（Pythagorean theorem）中提到，直角三角形的三条边满足：

\begin{aligned} {‖ \vec{x} ‖}^{2} + {‖ \vec{y} ‖}^{2} & = {‖ \vec{x + y} ‖}^{2} \\ x^{T} x + y^{T} y & = (x + y)^{T} (x + y) \\ x^{T} x + y^{T} y & = x^{T} x + y^{T} y + x^{T} y + y^{T} x \\ 0 & = x^{T} y + y^{T} x 对 于 向 量 点 乘 ， x^{T} y = y^{T} x \\ 0 & = 2 x^{T} y \\ x^{T} y & = 0 \end{aligned}

由此得出，两正交向量的点积为 $0$ 。另外， $x, y$ 可以为 $0$ 向量，由于 $0$ 向量与任意向量的点积均为零，所以 $0$ 向量与任意向量正交。

举个例子： $x = [\begin{matrix} 1 \\ 2 \\ 3 \end{matrix}], y = [\begin{matrix} 2 \\ - 1 \\ 0 \end{matrix}], x + y = [\begin{matrix} 3 \\ 1 \\ 3 \end{matrix}]$ ，有 ${‖ \vec{x} ‖}^{2} = 14, {‖ \vec{y} ‖}^{2} = 5, {‖ \vec{x + y} ‖}^{2} = 19$ ，而 $x^{T} y = 1 \times 2 + 2 \times (- 1) + 3 \times 0 = 0$ 。

向量 $S$ 与向量 $T$ 正交，则意味着 $S$ 中的每一个向量都与 $T$ 中的每一个向量正交。若两个子空间正交，则它们一定不会相交于某个非零向量。

现在观察行空间与零空间，零空间是 $A x = 0$ 的解，即 $x$ 若在零空间，则 $A x$ 为零向量；

而对于行空间，有 $ $[\begin{matrix} r o w_{1} \row_{2} ⋮ \row_{m} \end{matrix}]$ \Bigg[x\Bigg]= $[\begin{matrix} 0 \0 ⋮ 0 \end{matrix}]$ $，可以看出： $[\begin{matrix} r o w_{1} \end{matrix}] [x] = 0 [\begin{matrix} r o w_{2} \end{matrix}] [x] = 0 ⋮ [\begin{matrix} r o w_{m} \end{matrix}] [x] = 0$

所以这个等式告诉我们， $x$ 同 $A$ 中的所有行正交；

接下来还验证 $x$ 是否与 $A$ 中各行的线性组合正交， $ ${\begin{cases} c_{1} (r o w_{1})^{T} x = 0 c_{2} (r o w_{2})^{T} x = 0 ⋮ c_{n} (r o w_{m})^{T} x = 0 \end{cases}$ $，各式相加得$ (c_1row_1+c_2row_2+\cdots+c_nrow_m)^Tx=0$，得证。

我们可以说，行空间与零空间将 $R^{n}$ 分割为两个正交的子空间，同样的，列空间与左零空间将 $R^{m}$ 分割为两个正交的子空间。

举例， $A = [\begin{matrix} 1 & 2 & 5 \\ 2 & 4 & 10 \end{matrix}]$ ，则可知 $m = 2, n = 3, r a n k (A) = 1, d i m N (A) = 2$ 。

有 $A x = [\begin{matrix} 1 & 2 & 5 \\ 2 & 4 & 10 \end{matrix}] [\begin{matrix} x_{1} \\ x_{2} \\ x_{3} \end{matrix}] = [\begin{matrix} 0 \\ 0 \end{matrix}]$ ，解得零空间的一组基 $x_{1} = [\begin{matrix} - 2 \\ 1 \\ 0 \end{matrix}] x_{2} = [\begin{matrix} - 5 \\ 0 \\ 1 \end{matrix}]$ 。

而行空间的一组基为 $r = [\begin{matrix} 1 \\ 2 \\ 5 \end{matrix}]$ ，零空间与行空间正交，在本例中行空间也是零空间的法向量。

补充一点，我们把行空间与零空间称为 $n$ 维空间里的正交补（orthogonal complement），即零空间包含了所有与行空间正交的向量；同理列空间与左零空间为 $m$ 维空间里的正交补，即左零空间包含了所有与零空间正交的向量。

接下来看长方矩阵， $m > n$ 。对于这种矩阵， $A x = b$ 中经常混入一些包含“坏数据”的方程，虽然可以通过筛选的方法去掉一些我们不希望看到的方程，但是这并不是一个稳妥的方法。

于是，我们引入一个重要的矩阵： $A^{T} A$ 。这是一个 $n \times m$ 矩阵点乘 $m \times n$ 矩阵，其结果是一个 $n \times n$ 矩阵，应该注意的是，这也是一个对称矩阵，证明如下：

(A^{T} A)^{T} = A^{T} (A^{T})^{T} = A^{T} A

这一章节的核心就是 $A^{T} A x = A^{T} b$ ，这个变换可以将“坏方程组”变为“好方程组”。

举例，有 $[\begin{matrix} 1 & 1 \\ 1 & 2 \\ 1 & 5 \end{matrix}] [\begin{matrix} x_{1} \\ x_{2} \end{matrix}] = [\begin{matrix} b_{1} \\ b_{2} \\ b_{3} \end{matrix}]$ ，只有当 $[\begin{matrix} b_{1} \\ b_{2} \\ b_{3} \end{matrix}]$ 在矩阵的列空间时，方程才有解。

现在来看 $[\begin{matrix} 1 & 1 & 1 \\ 1 & 2 & 5 \end{matrix}] [\begin{matrix} 1 & 1 \\ 1 & 2 \\ 1 & 5 \end{matrix}] = [\begin{matrix} 3 & 8 \\ 8 & 30 \end{matrix}]$ ，可以看出此例中 $A^{T} A$ 是可逆的。然而并非所有 $A^{T} A$ 都是可逆的，如 $[\begin{matrix} 1 & 1 & 1 \\ 3 & 3 & 3 \end{matrix}] [\begin{matrix} 1 & 3 \\ 1 & 3 \\ 1 & 3 \end{matrix}] = [\begin{matrix} 3 & 9 \\ 9 & 27 \end{matrix}]$ （注意到这是两个秩一矩阵相乘，其结果秩不会大于一）

先给出结论：

N (A^{T} A) = N (A) r a n k (A^{T} A) = r a n k (A) A^{T} A 可 逆 当 且 仅 当 N (A) 为 零 向 量 ， 即 A 的 列 线 性 无 关

下一讲涉及投影，很重要。

我们一直在努力

apachecn/AiLearning