線性代數/投影到子空間

本小節，與本節中的其他小節一樣，是可選的。它還要求來自先前可選小節中關於組合子空間的內容。

先前的小節將向量投影到直線上，方法是將其分解成兩個部分：直線上的部分 ${\mbox{proj}}_{[{\vec {s}}\,]}({{\vec {v}}\,})$ 和剩下的部分 ${\vec {v}}-{\mbox{proj}}_{[{\vec {s}}\,]}({{\vec {v}}\,})$。為了將投影推廣到任意子空間，我們遵循這個想法。

定義 3.1

對於任何直接和 $V=M\oplus N$ 和任何 ${\vec {v}}\in V$，${\vec {v}}$ **在 $M$ 上沿 $N$ 的**投影**是**

${\mbox{proj}}_{M,N}({{\vec {v}}\,})={\vec {m}}$

其中 ${\vec {v}}={\vec {m}}+{\vec {n}}$，其中 ${\vec {m}}\in M,\,{\vec {n}}\in N$。

這個定義不涉及“正交”的概念，因此我們可以將其應用於除 $\mathbb {R} ^{n}$ 的子空間以外的其他空間。（其他空間的正交性定義是完全可能的，但我們在這本書中還沒有看到任何例子。）

示例 3.2

空間 ${\mathcal {M}}_{2\!\times \!2}$ 的 $2\!\times \!2$ 矩陣是這兩個空間的直和。

$M=\{{\begin{pmatrix}a&b\\0&0\end{pmatrix}}\,{\big |}\,a,b\in \mathbb {R} \}\qquad N=\{{\begin{pmatrix}0&0\\c&d\end{pmatrix}}\,{\big |}\,c,d\in \mathbb {R} \}$

為了投影

$A={\begin{pmatrix}3&1\\0&4\end{pmatrix}}$

到 $M$ 沿著 $N$, 我們首先要為這兩個子空間確定基。

$B_{M}=\langle {\begin{pmatrix}1&0\\0&0\end{pmatrix}},{\begin{pmatrix}0&1\\0&0\end{pmatrix}}\rangle \qquad B_{N}=\langle {\begin{pmatrix}0&0\\1&0\end{pmatrix}},{\begin{pmatrix}0&0\\0&1\end{pmatrix}}\rangle$

這些基的拼接

$B=B_{M}\!{\mathbin {{}^{\frown }}}\!B_{N}=\langle {\begin{pmatrix}1&0\\0&0\end{pmatrix}},{\begin{pmatrix}0&1\\0&0\end{pmatrix}},{\begin{pmatrix}0&0\\1&0\end{pmatrix}},{\begin{pmatrix}0&0\\0&1\end{pmatrix}}\rangle$

是整個空間的基，因為空間是直和，所以我們可以用它來表示 $A$.

${\begin{pmatrix}3&1\\0&4\end{pmatrix}}=3\cdot {\begin{pmatrix}1&0\\0&0\end{pmatrix}}+1\cdot {\begin{pmatrix}0&1\\0&0\end{pmatrix}}+0\cdot {\begin{pmatrix}0&0\\1&0\end{pmatrix}}+4\cdot {\begin{pmatrix}0&0\\0&1\end{pmatrix}}$

現在，將 $A$ 投影到 $M$ 上，沿著 $N$，可以透過保留上述和式中的 $M$ 部分，並刪除 $N$ 部分來實現。

${\mbox{proj}}_{M,N}({\begin{pmatrix}3&1\\0&4\end{pmatrix}})=3\cdot {\begin{pmatrix}1&0\\0&0\end{pmatrix}}+1\cdot {\begin{pmatrix}0&1\\0&0\end{pmatrix}}={\begin{pmatrix}3&1\\0&0\end{pmatrix}}$

示例 3.3

${\mbox{proj}}_{M,N}({{\vec {v}}\,})$ 上的兩個下標都很重要。第一個下標 $M$ 重要是因為投影結果是 ${\vec {m}}\in M$，改變這個子空間將改變投影結果。為了顯示第二個下標的重要性，我們固定 $\mathbb {R} ^{3}$ 中的平面子空間及其基底

$M=\{{\begin{pmatrix}x\\y\\z\end{pmatrix}}\,{\big |}\,y-2z=0\}\qquad B_{M}=\langle {\begin{pmatrix}1\\0\\0\end{pmatrix}},{\begin{pmatrix}0\\2\\1\end{pmatrix}}\rangle$

並比較沿著兩個不同子空間的投影。

$N=\{k{\begin{pmatrix}0\\0\\1\end{pmatrix}}\,{\big |}\,k\in \mathbb {R} \}\qquad {\hat {N}}=\{k{\begin{pmatrix}0\\1\\-2\end{pmatrix}}\,{\big |}\,k\in \mathbb {R} \}$

(驗證$\mathbb {R} ^{3}=M\oplus N$ 和 $\mathbb {R} ^{3}=M\oplus {\hat {N}}$ 是常規的。) 我們將透過檢查它們對該向量的不同作用來檢查這些投影是否不同。

${\vec {v}}={\begin{pmatrix}2\\2\\5\end{pmatrix}}$

對於第一個，我們找到一個$N$ 的基。

$B_{N}=\langle {\begin{pmatrix}0\\0\\1\end{pmatrix}}\rangle$

並用$B_{M}\!{\mathbin {{}^{\frown }}}\!B_{N}$ 表示 ${\vec {v}}$。

${\begin{pmatrix}2\\2\\5\end{pmatrix}}=2\cdot {\begin{pmatrix}1\\0\\0\end{pmatrix}}+1\cdot {\begin{pmatrix}0\\2\\1\end{pmatrix}}+4\cdot {\begin{pmatrix}0\\0\\1\end{pmatrix}}$

沿著 $N$ 到 $M$ 的 ${\vec {v}}$ 的投影是透過保留 $M$ 部分並刪除 $N$ 部分得到的。

${\mbox{proj}}_{M,N}({{\vec {v}}\,})=2\cdot {\begin{pmatrix}1\\0\\0\end{pmatrix}}+1\cdot {\begin{pmatrix}0\\2\\1\end{pmatrix}}={\begin{pmatrix}2\\2\\1\end{pmatrix}}$

對於另一個子空間 ${\hat {N}}$，這個基是自然的。

$B_{\hat {N}}=\langle {\begin{pmatrix}0\\1\\-2\end{pmatrix}}\rangle$

用串聯表示 ${\vec {v}}$

${\begin{pmatrix}2\\2\\5\end{pmatrix}}=2\cdot {\begin{pmatrix}1\\0\\0\end{pmatrix}}+(9/5)\cdot {\begin{pmatrix}0\\2\\1\end{pmatrix}}-(8/5)\cdot {\begin{pmatrix}0\\1\\-2\end{pmatrix}}$

然後只保留 $M$ 部分，得到這個。

${\mbox{proj}}_{M,{\hat {N}}}({{\vec {v}}\,})=2\cdot {\begin{pmatrix}1\\0\\0\end{pmatrix}}+(9/5)\cdot {\begin{pmatrix}0\\2\\1\end{pmatrix}}={\begin{pmatrix}2\\18/5\\9/5\end{pmatrix}}$

因此，沿著不同子空間的投影可能產生不同的結果。

這些圖片比較了兩種對映。兩者都表明投影實際上是“到”平面上和“沿著”直線。

注意，沿著 $N$ 的投影不是正交的——平面 $M$ 中有成員不與虛線正交。但沿著 ${\hat {N}}$ 的投影是正交的。

一個自然的問題是：上面定義的投影運算與直線上的正交投影運算之間有什麼關係？上面的第二張圖片暗示了答案——直線上的正交投影是上面定義的投影的特例；它只是沿著與直線垂直的子空間的投影。

除了指出沿子空間的投影是一個推廣之外，這個方案還展示瞭如何定義對 $\mathbb {R} ^{n}$ 的任何子空間的正交投影，無論其維度如何。

定義 3.4

子空間 $M$ 的 $\mathbb {R} ^{n}$ 的 **正交補** 是

$M^{\perp }=\{{\vec {v}}\in \mathbb {R} ^{n}\,{\big |}\,{\vec {v}}{\text{ is perpendicular to all vectors in }}M\}$

(讀作“$M$ perp”)。一個向量的 **正交投影** ${\mbox{proj}}_{M}({{\vec {v}}\,})$ 是其沿著 $M^{\perp }$ 到 $M$ 的投影。

示例 3.5

在 $\mathbb {R} ^{3}$ 中，要找到平面的正交補

$P=\{{\begin{pmatrix}x\\y\\z\end{pmatrix}}\,{\big |}\,3x+2y-z=0\}$

我們從 $P$ 的一個基開始。

$B=\langle {\begin{pmatrix}1\\0\\3\end{pmatrix}},{\begin{pmatrix}0\\1\\2\end{pmatrix}}\rangle$

任何 ${\vec {v}}$ 垂直於 $B$ 中的每個向量，也垂直於 $B$ 的跨度中的每個向量（此斷言的證明見 問題 10）。因此，子空間 $P^{\perp }$ 由滿足這兩個條件的向量組成。

${\begin{pmatrix}1\\0\\3\end{pmatrix}}\cdot {\begin{pmatrix}v_{1}\\v_{2}\\v_{3}\end{pmatrix}}=0\qquad {\begin{pmatrix}0\\1\\2\end{pmatrix}}\cdot {\begin{pmatrix}v_{1}\\v_{2}\\v_{3}\end{pmatrix}}=0$

我們可以將這些條件更緊湊地表示為線性系統。

$P^{\perp }=\{{\begin{pmatrix}v_{1}\\v_{2}\\v_{3}\end{pmatrix}}\,{\big |}\,{\begin{pmatrix}1&0&3\\0&1&2\end{pmatrix}}{\begin{pmatrix}v_{1}\\v_{2}\\v_{3}\end{pmatrix}}={\begin{pmatrix}0\\0\end{pmatrix}}\}$

因此，我們剩下的是找到由矩陣表示的對映的零空間，即計算齊次線性系統的解集。

$P^{\perp }=\{{\begin{pmatrix}v_{1}\\v_{2}\\v_{3}\end{pmatrix}}\,{\big |}\,\;{\begin{array}{*{3}{rc}r}v_{1}&&&+&3v_{3}&=&0\\&&v_{2}&+&2v_{3}&=&0\end{array}}\;\}=\{k{\begin{pmatrix}-3\\-2\\1\end{pmatrix}}\,{\big |}\,k\in \mathbb {R} \}$

例 3.6

其中 $M$ 是 $xy$ 平面在 $\mathbb {R} ^{3}$ 中的子空間，什麼是 $M^{\perp }$？一個常見的第一個反應是 $M^{\perp }$ 是 $yz$ 平面，但這並不正確。來自 $yz$ 平面的某些向量並不垂直於 $xy$ 平面中的每個向量。

${\begin{pmatrix}1\\1\\0\end{pmatrix}}\not \perp {\begin{pmatrix}0\\3\\2\end{pmatrix}}$

$\displaystyle \theta =\arccos({\frac {1\cdot 0+1\cdot 3+0\cdot 2}{{\sqrt {2}}\cdot {\sqrt {13}}}})\approx {\text{0.94 rad}}$

相反，$M^{\perp }$ 是 $z$ 軸，因為按照前面的例子，並取 $xy$ 平面的自然基底得到以下結果。

$M^{\perp }=\{{\begin{pmatrix}x\\y\\z\end{pmatrix}}\,{\big |}\,{\begin{pmatrix}1&0&0\\0&1&0\end{pmatrix}}{\begin{pmatrix}x\\y\\z\end{pmatrix}}={\begin{pmatrix}0\\0\end{pmatrix}}\;\}=\{{\begin{pmatrix}x\\y\\z\end{pmatrix}}\,{\big |}\,x=0{\text{ and }}y=0\}$

自從 定義 3.4 以來，我們已經看到了兩個例子，它們說明了該定義的第一句話。下一個結果證明了第二句話。

引理 3.7

設 $M$ 是 $\mathbb {R} ^{n}$ 的子空間。 $M$ 的正交補也是一個子空間。該空間是這兩個子空間的直和：$\mathbb {R} ^{n}=M\oplus M^{\perp }$。並且，對於任何 ${\vec {v}}\in \mathbb {R} ^{n}$，向量 ${\vec {v}}-{\mbox{proj}}_{M}({{\vec {v}}\,})$ 與 $M$ 中的每個向量都垂直。

證明

首先，正交補 $M^{\perp }$ 是 $\mathbb {R} ^{n}$ 的子空間，因為正如前兩個例子中所指出的，它是零空間。

接下來，我們可以從 $M$ 的任何基 $B_{M}=\langle {\vec {\mu }}_{1},\dots ,{\vec {\mu }}_{k}\rangle$ 開始，將其擴充套件為一個基

對於整個空間。應用 Gram-Schmidt 過程得到一個正交基 $K=\langle {\vec {\kappa }}_{1},\dots ,{\vec {\kappa }}_{n}\rangle$ 對於 $\mathbb {R} ^{n}$。這個 $K$ 是兩個基的串聯 $\langle {\vec {\kappa }}_{1},\dots ,{\vec {\kappa }}_{k}\rangle$（與 $B_{M}$ 的成員數量相同）和 $\langle {\vec {\kappa }}_{k+1},\dots ,{\vec {\kappa }}_{n}\rangle$。第一個是 $M$ 的基，因此如果我們證明第二個是 $M^{\perp }$ 的基，那麼我們將有整個空間是這兩個子空間的直和。

問題 9 從上一小節證明了關於任何正交基的這一點：空間中的每個向量 ${\vec {v}}$ 是它在基向量所跨線的直線上正交投影的總和。

${\vec {v}}={\mbox{proj}}_{[{\vec {\kappa }}_{1}]}({{\vec {v}}\,})+\dots +{\mbox{proj}}_{[{\vec {\kappa }}_{n}]}({{\vec {v}}\,})\qquad \qquad (*)$

為了驗證這一點，將向量 ${\vec {v}}=r_{1}{\vec {\kappa }}_{1}+\dots +r_{n}{\vec {\kappa }}_{n}$ 表示，在等式兩邊應用 ${\vec {\kappa }}_{i}$，得到 ${\vec {v}}\cdot {\vec {\kappa }}_{i}=\left(r_{1}{\vec {\kappa }}_{1}+\dots +r_{n}{\vec {\kappa }}_{n}\right)\cdot {\vec {\kappa }}_{i}=r_{1}\cdot 0+\dots +r_{i}\cdot ({\vec {\kappa }}_{i}\cdot {\vec {\kappa }}_{i})+\dots +r_{n}\cdot 0$，並求解得到 $r_{i}=({\vec {v}}\cdot {\vec {\kappa }}_{i})/({\vec {\kappa }}_{i}\cdot {\vec {\kappa }}_{i})$，如預期的那樣。

很明顯，$\langle {\vec {\kappa }}_{k+1},\dots ,{\vec {\kappa }}_{n}\rangle$ 的任何線性組合都與 $M$ 中的任何向量正交，為了證明這是一個$M^{\perp }$ 的基，我們只需要證明另一個包含關係——即任何${\vec {w}}\in M^{\perp }$ 都在這個基的線性組合中。上一段已經做到了這一點。在$M$ 中的基向量上的投影，任何${\vec {w}}\in M^{\perp }$ 都將得到${\mbox{proj}}_{[{\vec {\kappa }}_{1}]}({{\vec {w}}\,})={\vec {0}},\dots ,\,{\mbox{proj}}_{[{\vec {\kappa }}_{k}]}({{\vec {w}}\,})={\vec {0}}$，因此（$*$）表明${\vec {w}}$ 是${\vec {\kappa }}_{k+1},\dots ,{\vec {\kappa }}_{n}$ 的線性組合。因此，這是一個$M^{\perp }$ 的基，而$\mathbb {R} ^{n}$ 是這兩個空間的直和。

最後的句子用幾乎相同的方法證明。寫下 ${\vec {v}}={\mbox{proj}}_{[{\vec {\kappa }}_{1}]}({{\vec {v}}\,})+\dots +{\mbox{proj}}_{[{\vec {\kappa }}_{n}]}({{\vec {v}}\,})$。然後 ${\mbox{proj}}_{M}({{\vec {v}}\,})$ 是透過保留 $M$ 部分並丟棄 $M^{\perp }$ 部分得到的 ${\mbox{proj}}_{M}({{\vec {v}}\,})={\mbox{proj}}_{[{\vec {\kappa }}_{k+1}]}({{\vec {v}}\,})+\dots +{\mbox{proj}}_{[{\vec {\kappa }}_{k}]}({{\vec {v}}\,})$。因此 ${\vec {v}}-{\mbox{proj}}_{M}({{\vec {v}}\,})$ 由 $M^{\perp }$ 的元素的線性組合構成，因此垂直於 $M$ 中的每個向量。

我們可以透過遵循證明步驟來找到子空間上的正交投影，但下一個結果給出了一個方便的公式。

定理 3.8

令 ${\vec {v}}$ 是 $\mathbb {R} ^{n}$ 中的一個向量，令 $M$ 是 $\mathbb {R} ^{n}$ 的一個子空間，其基底為 $\langle {\vec {\beta }}_{1},\dots ,{\vec {\beta }}_{k}\rangle$。如果 $A$ 是一個矩陣，它的列是 ${\vec {\beta }}$，那麼 ${\mbox{proj}}_{M}({{\vec {v}}\,})=c_{1}{\vec {\beta }}_{1}+\dots +c_{k}{\vec {\beta }}_{k}$，其中係數 $c_{i}$ 是向量 $({{A}^{\rm {trans}}}A)^{-1}{{A}^{\rm {trans}}}\cdot {\vec {v}}$ 的元素。也就是說，${\mbox{proj}}_{M}({{\vec {v}}\,})=A({{A}^{\rm {trans}}}A)^{-1}{{A}^{\rm {trans}}}\cdot {\vec {v}}$.

證明

向量 ${\mbox{proj}}_{M}({\vec {v}})$ 是 $M$ 的一個成員，因此它是基向量 $c_{1}\cdot {\vec {\beta }}_{1}+\dots +c_{k}\cdot {\vec {\beta }}_{k}$ 的線性組合。由於 $A$ 的列是 ${\vec {\beta }}$，可以表示為：存在一個 ${\vec {c}}\in \mathbb {R} ^{k}$ 使得 ${\mbox{proj}}_{M}({{\vec {v}}\,})=A{\vec {c}}$（這在 示例 3.5 和 3.6 中用矩陣乘法簡潔地表達）。因為 ${\vec {v}}-{\mbox{proj}}_{M}({{\vec {v}}\,})$ 與基中的每個成員垂直，我們有這個（再次，簡潔地表達）。

${\vec {0}}={{A}^{\rm {trans}}}{\bigl (}{\vec {v}}-A{\vec {c}}{\bigr )}={{A}^{\rm {trans}}}{\vec {v}}-{{A}^{\rm {trans}}}A{\vec {c}}$

求解 ${\vec {c}}$（證明 ${{A}^{\rm {trans}}}A$ 可逆是一個練習）

${\vec {c}}={\bigl (}{{A}^{\rm {trans}}}A{\bigr )}^{-1}{{A}^{\rm {trans}}}\cdot {\vec {v}}$

給出了投影矩陣的公式，為 ${\mbox{proj}}_{M}({{\vec {v}}\,})=A\cdot {\vec {c}}$.

例 3.9

將此向量正交投影到此子空間上

${\vec {v}}={\begin{pmatrix}1\\-1\\1\end{pmatrix}}\qquad P=\{{\begin{pmatrix}x\\y\\z\end{pmatrix}}\,{\big |}\,x+z=0\}$

首先建立一個矩陣，其列是子空間的基

$A={\begin{pmatrix}0&1\\1&0\\0&-1\end{pmatrix}}$

然後計算。

${\begin{array}{rl}A{\bigl (}{{A}^{\rm {trans}}}A{\bigr )}^{-1}{{A}^{\rm {trans}}}&={\begin{pmatrix}0&1\\1&0\\0&-1\end{pmatrix}}{\begin{pmatrix}0&1\\1/2&0\end{pmatrix}}{\begin{pmatrix}1&0&-1\\0&1&0\end{pmatrix}}\\&={\begin{pmatrix}1/2&0&-1/2\\0&1&0\\-1/2&0&1/2\end{pmatrix}}\end{array}}$

有了這個矩陣，計算任何向量到 $P$ 的正交投影就很簡單了。

${\mbox{proj}}_{P}({\vec {v}})={\begin{pmatrix}1/2&0&-1/2\\0&1&0\\-1/2&0&1/2\end{pmatrix}}{\begin{pmatrix}1\\-1\\1\end{pmatrix}}={\begin{pmatrix}0\\-1\\0\end{pmatrix}}$

練習

推薦所有讀者做這道練習。

問題 1

將向量投影到 $M$ 上，方向為 $N$.

1. ${\begin{pmatrix}3\\-2\end{pmatrix}},\quad M=\{{\begin{pmatrix}x\\y\end{pmatrix}}\,{\big |}\,x+y=0\},\quad N=\{{\begin{pmatrix}x\\y\end{pmatrix}}\,{\big |}\,-x-2y=0\}$
2. ${\begin{pmatrix}3\\0\\1\end{pmatrix}},\quad M=\{{\begin{pmatrix}x\\y\\z\end{pmatrix}}\,{\big |}\,x+y=0\},\quad N=\{c\cdot {\begin{pmatrix}1\\0\\1\end{pmatrix}}\,{\big |}\,c\in \mathbb {R} \}$