線性代數/特徵值和特徵向量

特徵值和特徵向量與矩陣的基本屬性有關。

“特徵值”一詞來自德語“Eigenwert”，意思是“適當的或特徵的價值”。

動機

大型矩陣在計算時間方面可能很昂貴，並且可能需要進行數百或數千次迭代才能進行計算。此外，在沒有重要數學工具的情況下，矩陣的行為將難以探索。一個數學工具，不僅對線性代數有應用，而且對微分方程、微積分和許多其他領域也有應用，那就是特徵值和特徵向量的概念。特徵值和特徵向量基於線性系統中的常見行為。讓我們看一個例子。

讓

$A={\begin{pmatrix}1&2\\0&-2\\\end{pmatrix}}$

和

$\mathbf {x} ={\begin{pmatrix}-2\\3\\\end{pmatrix}},\quad \mathbf {y} ={\begin{pmatrix}1\\0\\\end{pmatrix}}.$

如果A轉換x和y會發生什麼？好吧，

$A\mathbf {x} ={\begin{pmatrix}4\\-6\\\end{pmatrix}}$

$A\mathbf {y} ={\begin{pmatrix}1\\0\\\end{pmatrix}}$

但值得注意的是

$A\mathbf {x} =(-2){\begin{pmatrix}-2\\3\\\end{pmatrix}}=-2\mathbf {x}$

$A\mathbf {y} =(1){\begin{pmatrix}1\\0\\\end{pmatrix}}=\mathbf {y} =(1)\mathbf {y}$

因此，當我們用矩陣A對向量x進行操作時，我們不會得到一個不同的向量（就像我們通常做的那樣），而是得到相同的向量x乘以某個常數。向量y也是如此。

我們將值 1 和 -2 稱為矩陣A的特徵值，而向量x和y稱為矩陣A的特徵向量。

定義

我們現在將這種矩陣/向量乘積與上面標量乘積相同的概念推廣：本質上，如果我們有一個n×n矩陣 A，我們在v中尋找解以找到特徵向量，並在λ中尋找解以找到方程的特徵值

Av=λv

我們該怎麼做呢？讓我們重新排列方程

Av-λv=0

(A-λI)v=0（注意我們必須將標量乘以單位矩陣，否則 A-λ 毫無意義）

但是 (A-λI) 是一個矩陣，所以我們試圖解決 Bv=0，其中 B=(A-λI)，而這個解僅僅是 B 的核，ker B。因此，特徵向量位於 ker (A-λI) 中，其中 λ 是一個特徵值。但我們如何找到特徵值呢？

Bv=0 具有非零解，如果 |B| = det(B) 為零。因此，為了找到特徵值，我們讓 |A-λI|=0，然後求解 λ。因此，我們將獲得一個關於複數的多項式方程（特徵值可以是複數），稱為特徵方程。特徵方程的根是特徵值。

注意，我們排除0 作為特徵向量，因為它平凡地是 Av=λv 的解，而且實際上我們並不關心它。此外，如果將零向量包括在內，它將允許無限多個特徵值，因為 λ 的任何值都滿足 A0=λ0。

如果我們有一個矩陣 A 的特徵值 λ，以及相應的特徵向量x，那麼x的任何倍數也是相同特徵值的特徵向量。要看到 kx 也是一個特徵向量，請遵循此論點：如果 Ax=λx，那麼 A(kx)=kAx=kλx=λ(kx)。（這裡 k 可以是任何標量。）因此，特徵向量的每個倍數也是一個特徵向量。

注意這裡的非對稱性：特徵值是唯一的，而一個特徵值有多個特徵向量。</gallery> </gallery> </gallery> 粗體文字Æə=== 查詢特徵值和特徵向量 === 以下是一些使用我們的定義查詢特徵值和特徵向量的示例。

讓

$A={\begin{pmatrix}3&0\\-1&2\end{pmatrix}}$

首先，我們將 |A-λI|=0 展開以求得特徵值

$\left|{\begin{pmatrix}3&0\\-1&2\end{pmatrix}}-{\begin{pmatrix}\lambda &0\\0&\lambda \end{pmatrix}}\right|=0$

${\begin{vmatrix}3-\lambda &0\\-1&2-\lambda \end{vmatrix}}=0$

$(3-\lambda )(2-\lambda )-(0)(-1)=0$

$(3-\lambda )(2-\lambda )=0$

現在，初等代數告訴我們這個方程的根是 3 和 2，因此它們是我們的特徵值。

(練習：證明在 2×2 三角矩陣中，特徵值位於主對角線上。更難的是：推廣這個結果)

現在我們可以找到我們的特徵向量。考慮第一個特徵值 λ=3。為了找到我們的第一個特徵向量

${\mbox{ker}}(A-3I)={\mbox{ker}}{\begin{pmatrix}3-3&0\\-1&2-3\end{pmatrix}}={\mbox{ker}}{\begin{pmatrix}0&0\\-1&-1\end{pmatrix}}$

在這一點上我們可以進行行變換和回代，但通常猜測核就足夠了，因為我們的矩陣很小，並且我們有線性相關的列。現在，觀察

${\begin{pmatrix}0&0\\-1&-1\end{pmatrix}}{\begin{pmatrix}a\\-a\end{pmatrix}}=\mathbf {0}$

因此，對於任何標量 a，向量

${\begin{pmatrix}a\\-a\end{pmatrix}}$ 是一個特徵向量。換句話說，矩陣 A 的所有特徵向量的集合包括集合 ${\mbox{span}}\{{\begin{pmatrix}1\\-1\end{pmatrix}}\}$。在平面上，這表示一條斜率為 -1，透過原點的直線。

如上所述，矩陣的特徵值是唯一確定的，但對於每個特徵值，都有許多特徵向量。我們通常選擇一個特徵向量，以便“大多數條目為整數”、“第一個條目為 1”或“特徵向量的長度為 1”。大多數計算機代數系統為特徵向量選擇單位向量。

因此，在這裡我們可以取 ${\begin{pmatrix}1\\-1\end{pmatrix}}$ 作為特徵向量，例如。

類似地，對於我們的第二個特徵值 λ=2，為了找到我們的第二個特徵向量

${\mbox{ker}}(A-2I)={\mbox{ker}}{\begin{pmatrix}1&0\\-1&0\end{pmatrix}}={\mbox{span}}\{{\begin{pmatrix}0\\1\end{pmatrix}}\}=\mathbf {0}$

因此，我們選擇第二個特徵向量為

${\begin{pmatrix}0\\1\end{pmatrix}}.$

我們的特徵值為λ=2,3，特徵向量為${\begin{pmatrix}1\\-1\end{pmatrix}},{\begin{pmatrix}0\\1\end{pmatrix}}$，可以透過將每個向量與給定矩陣相乘進行驗證。

（我們也可以選擇${\begin{pmatrix}1/{\sqrt {(}}2)\\-1/{\sqrt {(}}2)\end{pmatrix}}$作為特徵值λ=3的特徵向量。請驗證一下。）

問題集

根據以上內容，求解以下矩陣的特徵值和特徵向量（偶數題答案在後面給出）

1. ${\begin{pmatrix}3&0\\-4&5\end{pmatrix}}$
2. ${\begin{pmatrix}1&1\\3&-1\end{pmatrix}}$
3. ${\begin{pmatrix}-2&0&3\\2&4&0\\1&0&0\end{pmatrix}}$

（較難。提示：一個特徵值為4。）

答案

1. 特徵值：3, 5; 特徵向量：${\begin{pmatrix}1\\2\end{pmatrix}},{\begin{pmatrix}0\\1\end{pmatrix}}$
2. 特徵值：-2, 2; 特徵向量：${\begin{pmatrix}-1\\3\end{pmatrix}},{\begin{pmatrix}1\\1\end{pmatrix}}$
3. 特徵值： -3, 1, 4；特徵向量：${\begin{pmatrix}21\\-6\\-7\end{pmatrix}},{\begin{pmatrix}3\\-2\\3\end{pmatrix}},{\begin{pmatrix}0\\1\\0\end{pmatrix}}$

應用

特徵值和特徵向量不僅僅是關於這些向量的漂亮事實；它們具有相關且重要的應用。

矩陣冪

讓我們首先考察一類稱為對角矩陣的矩陣：這些矩陣的形式為

${\begin{pmatrix}a_{0}&0&0&\ldots &0\\0&a_{1}&0&\ldots &0\\0&0&a_{2}&\ldots &0\\0&0&0&\ldots &a_{k}\end{pmatrix}}$

現在，觀察到

${\begin{pmatrix}a_{0}&0&0&\ldots &0\\0&a_{1}&0&\ldots &0\\0&0&a_{2}&\ldots &0\\0&0&0&\ldots &a_{k}\end{pmatrix}}^{k}={\begin{pmatrix}a_{0}^{k}&0&0&\ldots &0\\0&a_{1}^{k}&0&\ldots &0\\0&0&a_{2}^{k}&\ldots &0\\0&0&0&\ldots &a_{k}^{k}\end{pmatrix}}$

這是一個有用的性質！但是，我們可以應用此事實的矩陣數量顯然是有限的，所以我們問自己是否可以將給定矩陣轉換為對角矩陣。

這個問題的答案是“有時”，但目前，我們只關注答案為“是”的矩陣。

我們尋找的是一個矩陣 P 使得

PAP^-1=D

其中 D 是對角矩陣。

如果這樣的矩陣 P 存在，我們就說 A 是可對角化的。（注意，xyx^-1 通常被稱為相似變換）。

那麼

PAP^-1=D

AP^-1=P^-1D

透過將整個公式乘以 P^-1，然後

A=P^-1DP

透過將公式乘以 P。

現在，我們有

A^k=(P^-1DP)^k

=(P^-1DP)(P^-1DP)(P^-1DP)... (k 次)

=P^-1D(PP^-1)D(PP^-1)DP... (k 次)

PP^-1 項相互抵消，得到

=P^-1DDD...P (k 次)

=P^-1D^kP

我們可以很容易地計算出 D^k，所以我們需要找到 P。

事實證明（整個證明相當困難），我們只需要從連線線性無關的特徵向量來建立一個矩陣來建立 P。

然後，D 是一個對角矩陣，其中主對角線包含與相關特徵向量相對應的特徵值（第一個位置的特徵值對應於它所建立的特徵向量，在第一列）。

示例

讓我們透過一個示例來展示這些想法。

$A={\begin{pmatrix}3&1\\4&0\\\end{pmatrix}}$

所以，如果我們想找到 A¹⁴，我們該怎麼做？讓我們使用我們剛剛描述的方法。

找到特徵值

|A-λI|=0

(3-λ)(-λ)-4=0

λ²-3λ-4=0

λ=-1, 4

找到特徵向量

對於 λ=-1 ${\mbox{ker}}{\begin{pmatrix}4&1\\4&1\\\end{pmatrix}}={\mbox{span}}\{{\begin{pmatrix}-1\\4\end{pmatrix}}\}$

對於 λ=4 ${\mbox{ker}}{\begin{pmatrix}-1&1\\4&-4\\\end{pmatrix}}={\mbox{span}}\{{\begin{pmatrix}1\\1\end{pmatrix}}\}$

那麼，特徵向量為

${\begin{pmatrix}-1\\4\end{pmatrix}},{\begin{pmatrix}1\\1\end{pmatrix}}$

因此，將特徵向量組合起來形成矩陣 P

$P={\begin{pmatrix}-1&1\\4&1\end{pmatrix}}$

現在，-1 生成第一列中的特徵向量，而 4 生成第二列中的特徵向量，因此按照這種方式形成 D

$D={\begin{pmatrix}-1&0\\0&4\\\end{pmatrix}}$

我們可以很容易地計算 (-1)¹⁴=1，因此我們得到

$D^{14}={\begin{pmatrix}1&0\\0&4^{14}\\\end{pmatrix}}$

並且我們有用於建立 2×2 矩陣的逆矩陣的快速方法

$P^{-1}=-{\frac {1}{5}}{\begin{pmatrix}1&-1\\-4&-1\end{pmatrix}}$

所以現在我們可以直接將它們相乘

$-{\frac {1}{5}}{\begin{pmatrix}1&-1\\-4&-1\end{pmatrix}}{\begin{pmatrix}1&0\\0&4^{14}\end{pmatrix}}{\begin{pmatrix}-1&1\\4&1\end{pmatrix}}$

簡化後，我們得到

${\begin{pmatrix}214748365&53687091\\214748364&53687092\end{pmatrix}}$

問題集

根據以上內容，求解以下矩陣冪（偶數編號問題的答案如下）

1. ${\begin{pmatrix}1&0\\-2&5\end{pmatrix}}^{6}$
2. ${\begin{pmatrix}1&3\\3&-7\end{pmatrix}}^{5}$
3. ${\begin{pmatrix}-1&9\\-10&16\end{pmatrix}}^{4}$
4. ${\begin{pmatrix}-2&0&3\\0&4&0\\0&0&2\end{pmatrix}}^{3}$

(更繁瑣：只因為這個矩陣是行階梯形式，所以只有一點點更容易)

答案

2.${\begin{pmatrix}-3248&9840\\9840&-29488\end{pmatrix}}$

4.${\begin{pmatrix}1/4\end{pmatrix}}*{\begin{pmatrix}-32&0&48\\0&256&0\\0&0&32\end{pmatrix}}$

耦合常微分方程

我們可以使用對角化方法來求解耦合常微分方程。例如，令 x(t) 和 y(t) 是可微函式，x' 和 y' 是它們的導數。微分方程相對難以求解

x' = 4x - y

y' = 2x + y

但是

對於常數 k，u' = ku 很容易求解

它的解是

u = Ae^kx 其中 A 是一個常數

記住這個事實，我們將 ODE 轉換為矩陣形式

${\begin{pmatrix}x'\\y'\end{pmatrix}}={\begin{pmatrix}4&-1\\2&1\end{pmatrix}}{\begin{pmatrix}x\\y\end{pmatrix}}$

對角化方陣，我們得到

${\begin{pmatrix}x'\\y'\end{pmatrix}}={\begin{pmatrix}1&1\\1&2\end{pmatrix}}{\begin{pmatrix}3&0\\0&2\end{pmatrix}}{\begin{pmatrix}1&1\\1&2\end{pmatrix}}^{-1}{\begin{pmatrix}x\\y\end{pmatrix}}$

我們放入

${\begin{pmatrix}u\\v\end{pmatrix}}={\begin{pmatrix}1&1\\1&2\end{pmatrix}}^{-1}{\begin{pmatrix}x\\y\end{pmatrix}}$

然後它隨之而來

${\begin{pmatrix}u'\\v'\end{pmatrix}}={\begin{pmatrix}1&1\\1&2\end{pmatrix}}^{-1}{\begin{pmatrix}x'\\y'\end{pmatrix}}$

因此

${\begin{pmatrix}u'\\v'\end{pmatrix}}={\begin{pmatrix}3&0\\0&2\end{pmatrix}}{\begin{pmatrix}u\\v\end{pmatrix}}$

如上所述，解決方案很簡單。我們有

$u=Ce^{3t}$

$v=De^{2t}$

其中 C 和 D 是常數。現在我們有

${\begin{pmatrix}u\\v\end{pmatrix}}={\begin{pmatrix}1&1\\1&2\end{pmatrix}}^{-1}{\begin{pmatrix}x\\y\end{pmatrix}}$

得到

${\begin{pmatrix}1&1\\1&2\end{pmatrix}}{\begin{pmatrix}u\\v\end{pmatrix}}={\begin{pmatrix}x\\y\end{pmatrix}}$

因此

$x=Ce^{3t}+De^{2t}$

$y=Ce^{3t}+2De^{2t}$

這種方法可以很好地推廣到更高維度。

聯立微分方程

奇怪的是，矩陣在微積分中與聯立微分方程的解的計算有很大的關係，其中一個微分方程的函式依賴於另一個微分方程。例如

D y = 3y + x

D x = y + 3x

不用再深入研究，這些微分方程的解看起來很複雜！但是，如果我們用矩陣的形式來表達，分析起來會容易一些。

示例

讓我們以上面的例子為例，所以

D y(t) = 3y + x

D x(t) = y + 3x

現在形成一個向量

$\mathbf {v} (t)={\begin{pmatrix}y\\x\end{pmatrix}}$

那麼

$D\mathbf {v} (t)={\begin{pmatrix}Dy\\Dx\end{pmatrix}}$

現在問題變成了

$D(\mathbf {v} )={\begin{pmatrix}3&1\\1&3\end{pmatrix}}\mathbf {v}$

這讓人想起我們在微積分中已經遇到的微分方程，即

D y = ky

其中解為 y = ce^kt。我們可以大膽猜測上面的矩陣方程的解將具有類似的形式。

所以讓我們嘗試一個解 v = we^λt。然後 D v = λwe^λt。

然後讓我們嘗試將這個猜想解代入我們的方程

$\lambda \mathbf {w} e^{\lambda t}={\begin{pmatrix}3&1\\1&3\end{pmatrix}}\mathbf {w} e^{\lambda t}$

如果我們設

$A={\begin{pmatrix}3&1\\1&3\end{pmatrix}}$

我們看到上面的方程在除以$e^{\lambda t}$（因為它永遠不等於零）後變成

$A\mathbf {w} =\lambda \mathbf {w}$

但是等等——這是找到特徵值的方程式，並且我們有解 **v** = **w**e^λt 是一個解，當且僅當 λ 是 A 的特徵值並且 **w** 是其對應的特徵向量。

特徵值為 4, 2，特徵向量分別為

${\begin{pmatrix}1\\1\end{pmatrix}},{\begin{pmatrix}-1\\1\end{pmatrix}}$

。

因此，我們有兩個解

${\begin{pmatrix}1\\1\end{pmatrix}}e^{4t}$

和

${\begin{pmatrix}-1\\1\end{pmatrix}}e^{2t}$

請注意，如果我們對微分方程 D **v** = A**v** 有兩個解，那麼這兩個解的線性組合將給出相同的解。所以我們有下面的通解

$\mathbf {v} =j{\begin{pmatrix}1\\1\end{pmatrix}}e^{4t}+k{\begin{pmatrix}-1\\1\end{pmatrix}}e^{2t}=$

${\begin{pmatrix}y(t)\\x(t)\end{pmatrix}}=j{\begin{pmatrix}1\\1\end{pmatrix}}e^{4t}+k{\begin{pmatrix}-1\\1\end{pmatrix}}e^{2t}=$

將它們分成第一個和第二個分量，我們得到兩個解

$y(t)=je^{4t}-ke^{2t},x(t)=je^{4t}+ke^{2t}$.

問題集

根據上述內容，解決以下問題（偶數題答案如下）

1. 求 y(t) 和 x(t)，其中 D y(t)=3x(t)+6y(t) 且 D x(t)=x(t)+4y(t)
2. 求 y(t) 和 x(t)，其中 D y(t)=2x(t)+2y(t) 且 D x(t)=x(t)-2y(t)

答案

構成矩陣

$A={\begin{pmatrix}2&2\\1&-2\end{pmatrix}}.$

該矩陣的特徵值為

$\pm {\sqrt {6}}$

特徵向量為

${\begin{pmatrix}2-{\sqrt {6}}\\1\end{pmatrix}},{\begin{pmatrix}2+{\sqrt {6}}\\1\end{pmatrix}}$

所以現在

${\begin{pmatrix}y(t)\\x(t)\end{pmatrix}}=\alpha {\begin{pmatrix}2-{\sqrt {6}}\\1\end{pmatrix}}e^{-{\sqrt {6}}t}+\beta {\begin{pmatrix}2+{\sqrt {6}}\\1\end{pmatrix}}e^{{\sqrt {6}}t}$

並且 y(t) 和 x(t) 可以透過觀察直接得出。

外部連結

• 線上矩陣計算器 線上計算矩陣的特徵值、特徵向量和其他分解。