線性代數/向量空間與線性系統

線性代數
← 維度	向量空間與線性系統	組合子空間 →

現在，我們將利用本章的工具和術語來重新考慮線性系統和高斯消元法。我們將闡述三個要點。

對於第一個要點，回顧第一章的線性組合引理及其推論：如果兩個矩陣透過行操作相關聯 $A\longrightarrow \cdots \longrightarrow B$ ，則 $B$ 的每一行都是 $A$ 行的線性組合。也就是說，高斯消元法透過對行進行線性組合來工作。因此，在一般情況下，研究行操作（特別是高斯消元法）的合適設定是以下向量空間。

定義 3.1

矩陣的 **行空間** 是其所有行向量組成的集合的生成空間。**行秩** 是行空間的維度，即線性無關行的數量。

示例 3.2

如果

A={\begin{pmatrix}2&3\\4&6\end{pmatrix}}

則 $\mathop {\mbox{Rowspace}} (A)$ 是二維行向量的以下子空間。

\{c_{1}\cdot {\begin{pmatrix}2&3\end{pmatrix}}+c_{2}\cdot {\begin{pmatrix}4&6\end{pmatrix}}\,{\big |}\,c_{1},c_{2}\in \mathbb {R} \}

第二行對第一行的線性依賴是顯而易見的，因此我們可以將此描述簡化為 $\{c\cdot {\begin{pmatrix}2&3\end{pmatrix}}\,{\big |}\,c\in \mathbb {R} \}$ .

引理 3.3

如果矩陣 $A$ 和 $B$ 透過行操作相關聯

A{\xrightarrow[{}]{\rho _{i}\leftrightarrow \rho _{j}}}B\quad {\text{or}}\quad A{\xrightarrow[{}]{k\rho _{i}}}B\quad {\text{or}}\quad A{\xrightarrow[{}]{k\rho _{i}+\rho _{j}}}B

如果 ( $i\neq j$ 且 $k\neq 0$ )，那麼它們的列空間相等。因此，行等價矩陣具有相同的行空間，因此也具有相同的行秩。

證明

根據線性組合引理的推論， $B$ 的每一行都在 $A$ 的行空間中。進一步， $\mathop {\mbox{Rowspace}} (B)\subseteq \mathop {\mbox{Rowspace}} (A)$ ，因為集合 $\mathop {\mbox{Rowspace}} (B)$ 中的成員是 $B$ 行的線性組合，這意味著它是 $A$ 行的組合的組合，因此，根據線性組合引理，它也是 $\mathop {\mbox{Rowspace}} (A)$ 的成員。

對於另一個包含關係，回想一下行操作是可逆的： $A\longrightarrow B$ 當且僅當 $B\longrightarrow A$ 。有了它， $\mathop {\mbox{Rowspace}} (A)\subseteq \mathop {\mbox{Rowspace}} (B)$ 也來自上一段，所以這兩個集合是相等的。

因此，行操作不會改變行空間。但當然，高斯方法以特定的目標——階梯形——有條理地執行行操作。

引理 3.4

階梯形矩陣的非零行構成一個線性無關的集合。

證明

第一章的結果，引理一.III.2.5，指出在階梯形矩陣中，任何非零行都不是其他行的線性組合。這是將該結果用新術語重新表述。

因此，用本章的語言來說，高斯消元法透過消除行之間的線性相關性，保持跨度不變，直到沒有非平凡的線性關係（在非零行之間）為止。也就是說，高斯方法為行空間生成了一個基。

例 3.5

從任何矩陣，我們可以透過執行高斯方法並取結果階梯形矩陣的非零行來生成行空間的一個基。例如，

{\begin{array}{rcl}{\begin{pmatrix}1&3&1\\1&4&1\\2&0&5\end{pmatrix}}&{\xrightarrow[{-2\rho _{1}+\rho _{3}}]{-\rho _{1}+\rho _{2}}}\;{\xrightarrow[{}]{6\rho _{2}+\rho _{3}}}&{\begin{pmatrix}1&3&1\\0&1&0\\0&0&3\end{pmatrix}}\end{array}}

產生了行空間的基底 $\langle {\begin{pmatrix}1&3&1\end{pmatrix}},{\begin{pmatrix}0&1&0\end{pmatrix}},{\begin{pmatrix}0&0&3\end{pmatrix}}\rangle$ 。由於兩個行空間相等，所以這是起始矩陣和結束矩陣的行空間的基底。

使用這種技術，我們也可以找到不直接包含行向量的跨度的基底。

定義 3.6

矩陣的列空間是指其所有列向量所構成的跨度。列秩是指列空間的維數，即線性無關的列向量的數量。

我們對列空間的興趣源於我們對線性系統的研究。例如，這個系統

{\begin{array}{*{3}{rc}r}c_{1}&+&3c_{2}&+&7c_{3}&=&d_{1}\\2c_{1}&+&3c_{2}&+&8c_{3}&=&d_{2}\\&&c_{2}&+&2c_{3}&=&d_{3}\\4c_{1}&&&+&4c_{3}&=&d_{4}\end{array}}

只有當 $d$ 的向量是其他列向量的線性組合時，它才有解，

c_{1}{\begin{pmatrix}1\\2\\0\\4\end{pmatrix}}+c_{2}{\begin{pmatrix}3\\3\\1\\0\end{pmatrix}}+c_{3}{\begin{pmatrix}7\\8\\2\\4\end{pmatrix}}={\begin{pmatrix}d_{1}\\d_{2}\\d_{3}\\d_{4}\end{pmatrix}}

這意味著 $d$ 的向量在係數矩陣的列空間中。

示例 3.7

給定這個矩陣，

{\begin{pmatrix}1&3&7\\2&3&8\\0&1&2\\4&0&4\end{pmatrix}}

為了得到列空間的基底，暫時將列轉換為行並進行簡化。

{\begin{array}{rcl}{\begin{pmatrix}1&2&0&4\\3&3&1&0\\7&8&2&4\end{pmatrix}}&{\xrightarrow[{-7\rho _{1}+\rho _{3}}]{-3\rho _{1}+\rho _{2}}}\;{\xrightarrow[{}]{-2\rho _{2}+\rho _{3}}}&{\begin{pmatrix}1&2&0&4\\0&-3&1&-12\\0&0&0&0\end{pmatrix}}\end{array}}

現在將行再轉換回列。

\langle {\begin{pmatrix}1\\2\\0\\4\end{pmatrix}},{\begin{pmatrix}0\\-3\\1\\-12\end{pmatrix}}\rangle

結果是給定矩陣的列空間的基。

定義 3.8

矩陣的 **轉置** 是透過互換矩陣的行和列得到的矩陣。也就是說，矩陣 $A$ 的第 $j$ 列是 ${{A}^{\rm {trans}}}$ 的第 $j$ 行，反之亦然。

因此，前面例子的步驟是“轉置、化簡、再轉置回來”。

我們甚至可以，在容忍向量空間“相同”這一模糊概念的情況下，使用高斯消元法來尋找其他型別向量空間中跨度的基。

例 3.9

為了得到 $\{x^{2}+x^{4},2x^{2}+3x^{4},-x^{2}-3x^{4}\}$ 在空間 ${\mathcal {P}}_{4}$ 中的跨度的基，將這三個多項式視為與行向量 ${\begin{pmatrix}0&0&1&0&1\end{pmatrix}}$ 、 ${\begin{pmatrix}0&0&2&0&3\end{pmatrix}}$ 和 ${\begin{pmatrix}0&0&-1&0&-3\end{pmatrix}}$ “相同”，應用高斯消元法

{\begin{array}{rcl}{\begin{pmatrix}0&0&1&0&1\\0&0&2&0&3\\0&0&-1&0&-3\end{pmatrix}}&{\xrightarrow[{\rho _{1}+\rho _{3}}]{-2\rho _{1}+\rho _{2}}}\;{\xrightarrow[{}]{2\rho _{2}+\rho _{3}}}&{\begin{pmatrix}0&0&1&0&1\\0&0&0&0&1\\0&0&0&0&0\end{pmatrix}}\end{array}}

並將結果轉換回多項式，得到基 $\langle x^{2}+x^{4},x^{4}\rangle$ 。（如前所述，我們將在下一章開始時對“相同”這一短語給出精確的定義。）

因此，我們本小節的第一個觀點是，本章的工具使我們對高斯消元法有了更深刻的理解。

對於本小節的第二個觀點，考慮該行化簡對列空間的影響。

{\begin{array}{rcl}{\begin{pmatrix}1&2\\2&4\end{pmatrix}}&{\xrightarrow[{}]{-2\rho _{1}+\rho _{2}}}&{\begin{pmatrix}1&2\\0&0\end{pmatrix}}\end{array}}

左邊矩陣的列空間包含第二項非零的向量。但右邊矩陣的列空間不同，因為它只包含第二項為零的向量。正是這種行操作可以改變列空間的知識，使得下一個結果令人驚訝。

引理 3.10

行操作不改變列秩。

證明

換句話說，如果 $A$ 約化為 $B$ 那麼 $B$ 的列秩等於 $A$ 的列秩。

如果我們能證明行操作不會影響列之間的線性關係（例如，如果第五列在行操作之前是第二列的兩倍加上第四列，那麼這種關係在之後仍然保持），那麼我們就完成了，因為列秩只是最大的無關列集的大小。但這正是本書的第一定理：在一個列之間的關係中，

c_{1}\cdot {\begin{pmatrix}a_{1,1}\\a_{2,1}\\\vdots \\a_{m,1}\end{pmatrix}}+\dots +c_{n}\cdot {\begin{pmatrix}a_{1,n}\\a_{2,n}\\\vdots \\a_{m,n}\end{pmatrix}}={\begin{pmatrix}0\\0\\\vdots \\0\end{pmatrix}}

行操作不會改變解集 $(c_{1},\ldots ,c_{n})$ .

除了先前的結果之外，另一種說明高斯消元法對列空間和行空間都有意義的方法是再次考慮高斯-約旦消元法。回想一下，它以矩陣的簡化行階梯形式結束，如下所示。

{\begin{array}{rcl}{\begin{pmatrix}1&3&1&6\\2&6&3&16\\1&3&1&6\end{pmatrix}}&{\xrightarrow[{}]{}}\;\cdots \;{\xrightarrow[{}]{}}&{\begin{pmatrix}1&3&0&2\\0&0&1&4\\0&0&0&0\end{pmatrix}}\end{array}}

考慮這個結果的行空間和列空間。我們上面提到的第一點表明，行空間的基很容易得到：只需將所有具有主元元素的行收集在一起即可。然而，因為這是一個簡化階梯形矩陣，列空間的基同樣容易得到：取包含主元元素的列，即 $\langle {\vec {e}}_{1},{\vec {e}}_{2}\rangle$ 。（線性無關性是顯而易見的。其他列都在這個集合的線性組合中，因為它們的所有第三個分量都是零。）因此，對於一個簡化階梯形矩陣，行空間和列空間的基可以以本質上相同的方式找到——透過取包含主元元素的矩陣部分，即行或列。

定理 3.11

矩陣的行秩和列秩相等。

證明

首先將矩陣化為簡化階梯形。此時，行秩等於主元元素的數量，因為這等於非零行數。同時，主元元素的數量等於列秩，因為包含主元元素的列集由標準基中的某些 ${\vec {e}}_{i}$ 組成，而這個集合是線性無關的並且跨越了列集。因此，在簡化階梯形矩陣中，行秩等於列秩，因為它們都等於主元元素的數量。

但是引理 3.3 和引理 3.10 表明，行秩和列秩不會因為使用行操作將矩陣化為簡化階梯形而改變。因此，原始矩陣的行秩和列秩也相等。

定義 3.12

矩陣的秩是它的行秩或列秩。

因此，我們在本小節中提到的第二點是，矩陣的列空間和行空間具有相同的維數。我們第三點也是最後一點是，我們從向量空間研究中自然產生的概念正是我們在線性系統中研究過的那些概念。

定理 3.13

對於具有 $n$ 個未知數且係數矩陣為 $A$ 的線性系統，以下陳述

$A$ 的秩是 $r$
關聯的齊次系統的解空間的維數是 $n-r$

是等價的。

因此，如果系統至少有一個特解，那麼對於解集，引數的數量等於 $n-r$ ，即變數數量減去係數矩陣的秩。

證明

$A$ 的秩是 $r$ 當且僅當 $A$ 上的高斯消元以 $r$ 行非零行結束。這與 $A$ 行等價的階梯形矩陣具有 $r$ 個主變數是等價的。這反過來又等價於存在 $n-r$ 個自由變數。

注 3.14: (Munkres 1964)

有時，人們會錯誤地記住，一個 $n$ 元未知數的 $m$ 方程組的通解使用了 $n-m$ 個引數。方程的個數並不重要，真正重要的是獨立方程的個數（最大獨立集中的方程個數）。當存在 $r$ 個獨立方程時，通解包含 $n-r$ 個引數。

推論 3.15

當矩陣 $A$ 是 $n\!\times \!n$ 矩陣時，下列語句

$A$ 的秩為 $n$
$A$ 是非奇異的
$A$ 的行向量構成一個線性無關集
$A$ 的列向量構成一個線性無關集
任何以 $A$ 為係數矩陣的線性方程組只有一個解

是等價的。

證明

顯然 ${\text{(1)}}\iff {\text{(2)}}\iff {\text{(3)}}\iff {\text{(4)}}$ 。最後一個， ${\text{(4)}}\iff {\text{(5)}}$ ，成立的原因是： $n$ 個具有 $n$ 個分量的列向量線性無關，當且僅當它們是 $\mathbb {R} ^{n}$ 的基，但該方程組

c_{1}{\begin{pmatrix}a_{1,1}\\a_{2,1}\\\vdots \\a_{m,1}\end{pmatrix}}+\dots +c_{n}{\begin{pmatrix}a_{1,n}\\a_{2,n}\\\vdots \\a_{m,n}\end{pmatrix}}={\begin{pmatrix}d_{1}\\d_{2}\\\vdots \\d_{m}\end{pmatrix}}

對於所有選擇 $d_{1},\dots ,d_{n}\in \mathbb {R}$ ，此方程只有唯一解，當且僅當 $a$ 的向量構成一個基。

練習

問題 1

對每個矩陣進行轉置。

${\begin{pmatrix}2&1\\3&1\end{pmatrix}}$
${\begin{pmatrix}2&1\\1&3\end{pmatrix}}$
${\begin{pmatrix}1&4&3\\6&7&8\end{pmatrix}}$
${\begin{pmatrix}0\\0\\0\end{pmatrix}}$
${\begin{pmatrix}-1&-2\end{pmatrix}}$

此練習推薦給所有讀者。

問題 2

判斷向量是否在矩陣的行空間中。

${\begin{pmatrix}2&1\\3&1\end{pmatrix}}$ , ${\begin{pmatrix}1&0\end{pmatrix}}$
${\begin{pmatrix}0&1&3\\-1&0&1\\-1&2&7\end{pmatrix}}$ , ${\begin{pmatrix}1&1&1\end{pmatrix}}$

此練習推薦給所有讀者。

問題 3

判斷向量是否在列空間中。

${\begin{pmatrix}1&1\\1&1\end{pmatrix}}$ , ${\begin{pmatrix}1\\3\end{pmatrix}}$
${\begin{pmatrix}1&3&1\\2&0&4\\1&-3&-3\end{pmatrix}}$ , ${\begin{pmatrix}1\\0\\0\end{pmatrix}}$

此練習推薦給所有讀者。

問題 4

求此矩陣的行空間的基。

{\begin{pmatrix}2&0&3&4\\0&1&1&-1\\3&1&0&2\\1&0&-4&-1\end{pmatrix}}

此練習推薦給所有讀者。

問題 5

求每個矩陣的秩。

${\begin{pmatrix}2&1&3\\1&-1&2\\1&0&3\end{pmatrix}}$
${\begin{pmatrix}1&-1&2\\3&-3&6\\-2&2&-4\end{pmatrix}}$
${\begin{pmatrix}1&3&2\\5&1&1\\6&4&3\end{pmatrix}}$
${\begin{pmatrix}0&0&0\\0&0&0\\0&0&0\end{pmatrix}}$

此練習推薦給所有讀者。

問題 6

求每個集合的生成空間的基。

$\{{\begin{pmatrix}1&3\end{pmatrix}},{\begin{pmatrix}-1&3\end{pmatrix}},{\begin{pmatrix}1&4\end{pmatrix}},{\begin{pmatrix}2&1\end{pmatrix}}\}\subseteq {\mathcal {M}}_{1\!\times \!2}$
$\{{\begin{pmatrix}1\\2\\1\end{pmatrix}},{\begin{pmatrix}3\\1\\-1\end{pmatrix}},{\begin{pmatrix}1\\-3\\-3\end{pmatrix}}\}\subseteq \mathbb {R} ^{3}$
$\{1+x,1-x^{2},3+2x-x^{2}\}\subseteq {\mathcal {P}}_{3}$
$\{{\begin{pmatrix}1&0&1\\3&1&-1\end{pmatrix}},{\begin{pmatrix}1&0&3\\2&1&4\end{pmatrix}},{\begin{pmatrix}-1&0&-5\\-1&-1&-9\end{pmatrix}}\}\subseteq {\mathcal {M}}_{2\!\times \!3}$

問題 7

哪些矩陣的秩為零？秩為一？

此練習推薦給所有讀者。

問題 8

給定 $a,b,c\in \mathbb {R}$ ，如何選擇 $d$ 使這個矩陣的秩為一？

{\begin{pmatrix}a&b\\c&d\end{pmatrix}}

問題 9

求這個矩陣的列秩。

{\begin{pmatrix}1&3&-1&5&0&4\\2&0&1&0&4&1\end{pmatrix}}

問題 10

證明：一個至少有一個解的線性方程組，當且僅當係數矩陣的秩等於其列數時，該方程組至多隻有一個解。

此練習推薦給所有讀者。

問題 11

如果一個矩陣是 $5\!\times \!9$ ，那麼哪一組必須是線性相關的，它的行向量組還是列向量組？

問題 12

舉一個例子說明，儘管矩陣的行空間和列空間具有相同的維數，但它們並不一定相等。它們什麼時候相等？

問題 13

證明集合 $\{(1,-1,2,-3),(1,1,2,0),(3,-1,6,-6)\}$ 的生成空間與 $\{(1,0,1,0),(0,2,0,3)\}$ 的生成空間不同。順便問一下，向量空間是什麼？

此練習推薦給所有讀者。

問題 14

證明這組列向量

\left\{{\begin{pmatrix}d_{1}\\d_{2}\\d_{3}\end{pmatrix}}\,{\big |}\,{\text{there are }}x,y,{\text{ and }}z{\text{ such that }}{\begin{array}{*{3}{rc}r}3x&+&2y&+&4z&=&d_{1}\\x&&&-&z&=&d_{2}\\2x&+&2y&+&5z&=&d_{3}\end{array}}\right\}

是 $\mathbb {R} ^{3}$ 的一個子空間。求基。

問題 15

證明轉置運算是線性的

{{(rA+sB)}^{\rm {trans}}}=r{{A}^{\rm {trans}}}+s{{B}^{\rm {trans}}}

對於 $r,s\in \mathbb {R}$ 和 $A,B\in {\mathcal {M}}_{m\!\times \!n}$ 。

此練習推薦給所有讀者。

問題 16

在本節中，我們已經證明高斯消元法可以找到行空間的基。

證明這個基不唯一——不同的消元步驟可能會得到不同的基。
給出行空間相同但行數不同的矩陣。
證明兩個矩陣的行空間相等當且僅當它們經過高斯-若爾當消元后，非零行相同。

問題 17

當 $r$ 大於 $n$ 時，為什麼注 3.14 不會出現問題？

問題 18

證明一個 $m\!\times \!n$ 矩陣的行秩最多為 $m$ 。是否有更好的界？

此練習推薦給所有讀者。

問題 19

證明一個矩陣的秩等於其轉置的秩。

問題 20

判斷真假：矩陣的列空間等於其轉置的行空間。

此練習推薦給所有讀者。

問題 21

我們已經看到行運算可能會改變列空間。它一定改變嗎？

問題 22

證明一個線性系統有解當且僅當該系統的係數矩陣的秩與其增廣矩陣的秩相同。

問題 23

一個 $m\!\times \!n$ 矩陣具有滿行秩，如果其行秩為 $m$ ，並且它具有滿列秩，如果其列秩為 $n$ 。

證明一個矩陣只有在它是方陣的情況下，才能同時具有滿行秩和滿列秩。
證明具有係數矩陣 $A$ 的線性系統對於任何 $d_{1}$ , ..., $d_{m}$ 的右側都有解，當且僅當 $A$ 滿秩。
證明一個齊次線性方程組有唯一解，當且僅當它的係數矩陣 $A$ 列滿秩。
證明命題“如果具有係數矩陣 $A$ 的線性方程組有解，那麼它就有唯一解”成立，當且僅當 $A$ 列滿秩。

習題 24

如果將高斯消元法改為允許將一行乘以零，引理 3.3 的結論將如何變化？

此練習推薦給所有讀者。

習題 25

$\mathop {\mbox{rank}} (A)$ 和 $\mathop {\mbox{rank}} (-A)$ 之間的關係是什麼？ $\mathop {\mbox{rank}} (A)$ 和 $\mathop {\mbox{rank}} (kA)$ 之間的關係是什麼？ $\mathop {\mbox{rank}} (A)$ 、 $\mathop {\mbox{rank}} (B)$ 和 $\mathop {\mbox{rank}} (A+B)$ 之間的關係是什麼？

解答

參考文獻

Munkres, James R. (1964), Elementary Linear Algebra, Addison-Wesley.

線性代數
← 維度	向量空間與線性系統	組合子空間 →