抽象代數/線性代數主題

Moore-Penrose 逆

逆矩陣在 線性代數 中，特別是在計算中起著關鍵作用。然而，只有方陣才有可能可逆。這促使我們引入了可能非方陣的實值或復值矩陣的 *Moore-Penrose 逆*，它滿足逆矩陣的一些但不一定是全部性質。

定義。

令 $A$ 為在域 $\mathbb {K}$ 上的 *m*-by-*n* 矩陣，其中 $\mathbb {K}$ 是實數 $\mathbb {R}$ 或複數 $\mathbb {C}$。回想一下 $A^{*}$ 指的是 $A$ 的共軛轉置。那麼，以下四個標準被稱為 *針對 $A$ 的 Moore–Penrose 條件*。

1. $AA^{+}A=A$,
2. $A^{+}AA^{+}=A^{+}$,
3. $\left(AA^{+}\right)^{*}=AA^{+}$,
4. $\left(A^{+}A\right)^{*}=A^{+}A$.

我們將在下面看到，給定矩陣 $A$，存在唯一的矩陣 $A^{+}$ 滿足所有四個 Moore–Penrose 條件。它們推廣了通常逆的性質。

備註。

如果 $A$ 是一個可逆方陣，那麼普通逆矩陣 $A^{-1}$ 滿足 $A$ 的 Moore-Penrose 條件。觀察如果 $A^{+}$ 滿足 $A$ 的 Moore-Penrose 條件，那麼 $A$ 滿足 $A^{+}$ 的 Moore-Penrose 條件。

Hermitian 共軛的基本性質

我們收集共軛轉置的一些基本性質以備後用。在下面的引理中，$A$ 是一個具有複數元素的矩陣，它有 n 列，$B$ 是一個具有複數元素的矩陣，它有 n 行。

引理 (1)。

對於任何 $\mathbb {K}$-矩陣 $A$，$A^{*}A=0\Rightarrow A=0$

證明。 該假設表明 A*A 的所有元素均為零。因此，

$0=\operatorname {Tr} \left(A^{*}A\right)=\sum _{j=1}^{n}\left(A^{*}A\right)_{jj}=\sum _{j=1}^{n}\sum _{i=1}^{m}\left(A^{*}\right)_{ji}A_{ij}=\sum _{i=1}^{m}\sum _{j=1}^{n}\left|A_{ij}\right|^{2}.$

因此，所有 $A_{ij}$ 等於 0，即 $A=0$。 $\square$

引理 (2)。

對於任何 $\mathbb {K}$-矩陣 $A$，$A^{*}AB=0\Rightarrow AB=0$

證明。 : ${\begin{aligned}0&=A^{*}AB&\\\Rightarrow 0&=B^{*}A^{*}AB&\\\Rightarrow 0&=(AB)^{*}(AB)&\\\Rightarrow 0&=AB&({\text{by Lemma 1}})\end{aligned}}$ $\square$

引理 (3)。

對於任何 $\mathbb {K}$-矩陣 $A$，$ABB^{*}=0\Rightarrow AB=0$

證明。 這與引理 2 的證明方式類似（或者只需取厄米特共軛）。 $\square$

存在性和唯一性

我們證明了每個矩陣都存在且唯一地存在摩爾-彭羅斯逆。

定理。

如果 $A$ 是一個 $\mathbb {K}$-矩陣，並且 $A_{1}^{+}$ 和 $A_{2}^{+}$ 滿足 $A$ 的摩爾-彭羅斯條件，那麼 $A_{1}^{+}=A_{2}^{+}$.

證明。 令 $A$ 是 $\mathbb {R}$ 或 $\mathbb {C}$ 上的矩陣。假設 ${A_{1}^{+}}$ 和 ${A_{2}^{+}}$ 是 $A$ 的 Moore-Penrose 逆。觀察到：

$A{A_{1}^{+}}{\overset {(1)}{{}={}}}(A{A_{2}^{+}}A){A_{1}^{+}}=(A{A_{2}^{+}})(A{A_{1}^{+}}){\overset {(3)}{{}={}}}(A{A_{2}^{+}})^{*}(A{A_{1}^{+}})^{*}={A_{2}^{+}}^{*}(A{A_{1}^{+}}A)^{*}{\overset {(1)}{{}={}}}{A_{2}^{+}}^{*}A^{*}=(A{A_{2}^{+}})^{*}{\overset {(3)}{{}={}}}A{A_{2}^{+}}.$

類似地，我們得出結論 ${A_{1}^{+}}A={A_{2}^{+}}A$。透過觀察以下內容，完成證明：

${A_{1}^{+}}{\overset {(2)}{{}={}}}{A_{1}^{+}}A{A_{1}^{+}}={A_{1}^{+}}A{A_{2}^{+}}=A_{2}^{+}A{A_{2}^{+}}{\overset {(2)}{{}={}}}{A_{2}^{+}}.$ $\square$

定理。

對於每個$\mathbb {K}$-矩陣 $A$，都存在一個滿足 Moore-Penrose 條件的矩陣 $A^{+}$。

證明. 證明分步驟進行。

$A$ 是一個 1x1 矩陣

對於任何 $x\in \mathbb {K}$，我們定義

$x^{+}:={\begin{cases}x^{-1},&{\mbox{if }}x\neq 0\\0,&{\mbox{if }}x=0\end{cases}}$

很容易看出 $x^{+}$ 是 $x$ （解釋為一個 1x1 矩陣）的偽逆。

$A$ 是一個方對角矩陣

令 $D$ 是一個在 $\mathbb {K}$ 上的 nxn 矩陣，其非對角線元素為零。我們定義 $D^{+}$ 作為在 $\mathbb {K}$ 上的 nxn 矩陣，其中 $\left(D^{+}\right)_{ij}:=\left(D_{ij}\right)^{+}$ 如上所定義。我們簡寫為 $D_{ij}^{+}$ 代表 $\left(D^{+}\right)_{ij}=\left(D_{ij}\right)^{+}$.

請注意，$D^{+}$ 也是一個非對角線元素為零的矩陣。

我們現在證明 $D^{+}$ 是 $D$ 的偽逆。

1. $\left(DD^{+}D\right)_{ij}=D_{ij}D_{ij}^{+}D_{ij}=D_{ij}\Rightarrow DD^{+}D=D$
2. $\left(D^{+}DD^{+}\right)_{ij}=D_{ij}^{+}D_{ij}D_{ij}^{+}=D_{ij}^{+}\Rightarrow D^{+}DD^{+}=D^{+}$
3. $\left(DD^{+}\right)_{ij}^{*}={\overline {\left(DD^{+}\right)_{ji}}}={\overline {D_{ji}D_{ji}^{+}}}=\left(D_{ji}D_{ji}^{+}\right)^{*}=D_{ji}D_{ji}^{+}=D_{ij}D_{ij}^{+}\Rightarrow \left(DD^{+}\right)^{*}=DD^{+}$
4. $\left(D^{+}D\right)_{ij}^{*}={\overline {\left(D^{+}D\right)_{ji}}}={\overline {D_{ji}^{+}D_{ji}}}=\left(D_{ji}^{+}D_{ji}\right)^{*}=D_{ji}^{+}D_{ji}=D_{ij}^{+}D_{ij}\Rightarrow \left(D^{+}D\right)^{*}=D^{+}D$

$A$ 是一個通用的對角矩陣

設 $D$ 是一個在 $\mathbb {K}$ 上的 m 行 n 列矩陣，主對角線以外的元素均為零，其中 m 和 n 不相等。也就是說，當 $i=j$ 時，$D_{ij}=d_{i}$ ，對於某些 $d_{i}\in \mathbb {K}$ ；否則，$D_{ij}=0$。

考慮 $n>m$ 的情況。我們可以透過堆疊的方式將 $D$ 重寫為 $D=\left[D_{0}\,\,\mathbf {0} _{m\times (n-m)}\right]$，其中 $D_{0}$ 是一個 m 行 m 列的對角方陣，$\mathbf {0} _{m\times (n-m)}$ 是一個 m 行 (n−m) 列的零矩陣。我們定義 $D^{+}\equiv {\begin{bmatrix}D_{0}^{+}\\\mathbf {0} _{(n-m)\times m}\end{bmatrix}}$ 為一個在 $\mathbb {K}$ 上的 n 行 m 列矩陣，其中 $D_{0}^{+}$ 是上面定義的 $D_{0}$ 的偽逆，$\mathbf {0} _{(n-m)\times m}$ 是一個 (n−m) 行 m 列的 零矩陣。我們現在證明 $D^{+}$ 是 $D$ 的偽逆。

1. 透過分塊矩陣的乘法，$DD^{+}=D_{0}D_{0}^{+}+\mathbf {0} _{m\times (n-m)}\mathbf {0} _{(n-m)\times m}=D_{0}D_{0}^{+},$ 因此，根據上一節中證明的關於方陣對角矩陣的性質 1，$D_{0}$ 有$DD^{+}D=D_{0}D_{0}^{+}\left[D_{0}\,\,\mathbf {0} _{m\times (n-m)}\right]=\left[D_{0}D_{0}^{+}D_{0}\,\,\mathbf {0} _{m\times (n-m)}\right]=\left[D_{0}\,\,\mathbf {0} _{m\times (n-m)}\right]=D$.
2. 類似地，$D^{+}D={\begin{bmatrix}D_{0}^{+}D_{0}&\mathbf {0} _{m\times (n-m)}\\\mathbf {0} _{(n-m)\times m}&\mathbf {0} _{(n-m)\times (n-m)}\end{bmatrix}}$，因此$D^{+}DD^{+}={\begin{bmatrix}D_{0}^{+}D_{0}&\mathbf {0} _{m\times (n-m)}\\\mathbf {0} _{(n-m)\times m}&\mathbf {0} _{(n-m)\times (n-m)}\end{bmatrix}}{\begin{bmatrix}D_{0}^{+}\\\mathbf {0} _{(n-m)\times m}\end{bmatrix}}={\begin{bmatrix}D_{0}^{+}D_{0}D_{0}^{+}\\\mathbf {0} _{(n-m)\times m}\end{bmatrix}}=D^{+}.$
3. 根據 1 和關於方陣對角矩陣的性質 3，$\left(DD^{+}\right)^{*}=\left(D_{0}D_{0}^{+}\right)^{*}=D_{0}D_{0}^{+}=DD^{+}$.
4. 根據平方對角矩陣的性質 2 和 4，$\left(D^{+}D\right)^{*}={\begin{bmatrix}\left(D_{0}^{+}D_{0}\right)^{*}&\mathbf {0} _{m\times (n-m)}\\\mathbf {0} _{(n-m)\times m}&\mathbf {0} _{(n-m)\times (n-m)}\end{bmatrix}}={\begin{bmatrix}D_{0}^{+}D_{0}&\mathbf {0} _{m\times (n-m)}\\\mathbf {0} _{(n-m)\times m}&\mathbf {0} _{(n-m)\times (n-m)}\end{bmatrix}}=D^{+}D.$

當$m>n$時，$D$ 的存在性可以透過在 $n>m$ 情況下交換 $D$ 和 $D^{+}$ 的角色，並使用 $\left(D^{+}\right)^{+}=D$ 的事實得出。

$A$ 是一個任意矩陣

奇異值分解定理指出，存在以下形式的分解：

$A=U\Sigma V^{*}$

其中

$U$ 是一個 m 行 m 列的酉矩陣，其元素屬於 $\mathbb {K}$。

$\Sigma$ 是一個 m 行 n 列的矩陣，其元素屬於 $\mathbb {K}$，對角線上是大於等於零的實數，非對角線上是零。

$V$ 是一個 n 行 n 列的酉矩陣，其元素屬於 $\mathbb {K}$。

將 $A^{+}$ 定義為 $V\Sigma ^{+}U^{*}$。

我們現在證明 $A^{+}$ 是 $A$ 的偽逆。

1. $AA^{+}A=U\Sigma V^{*}V\Sigma ^{+}U^{*}U\Sigma V^{*}=U\Sigma \Sigma ^{+}\Sigma V^{*}=U\Sigma V^{*}=A$
2. $A^{+}AA^{+}=V\Sigma ^{+}U^{*}U\Sigma V^{*}V\Sigma ^{+}U^{*}=V\Sigma ^{+}\Sigma \Sigma ^{+}U^{*}=V\Sigma ^{+}U^{*}=A^{+}$
3. $\left(AA^{+}\right)^{*}=\left(U\Sigma V^{*}V\Sigma ^{+}U^{*}\right)^{*}=\left(U\Sigma \Sigma ^{+}U^{*}\right)^{*}=U\left(\Sigma \Sigma ^{+}\right)^{*}U^{*}=U\left(\Sigma \Sigma ^{+}\right)U^{*}=U\Sigma V^{*}V\Sigma ^{+}U^{*}=AA^{+}$
4. $\left(A^{+}A\right)^{*}=\left(V\Sigma ^{+}U^{*}U\Sigma V^{*}\right)^{*}=\left(V\Sigma ^{+}\Sigma V^{*}\right)^{*}=V\left(\Sigma ^{+}\Sigma \right)^{*}V^{*}=V\left(\Sigma ^{+}\Sigma \right)V^{*}=V\Sigma ^{+}U^{*}U\Sigma V^{*}=A^{+}A$ $\square$

這將我們引向了自然定義：

定義（摩爾-彭羅斯逆）。

令 $A$ 為一個 $\mathbb {K}$-矩陣。那麼滿足 $A$ 的 Moore-Penrose 條件的唯一 $\mathbb {K}$-矩陣被稱為 $A$ 的 *Moore-Penrose 逆* $A^{+}$。

基本性質

我們已經從上面看到 Moore-Penrose 逆將經典逆推廣到了可能是非方陣的矩陣。我們現在將列出它與 Hermitian 共軛相互作用的一些基本性質，將大多數證明留給讀者練習。

練習。

對於任何 $\mathbb {K}$-矩陣 $A$，${A^{*}}^{+}={A^{+}}^{*}$

以下恆等式成立

1. A⁺ = A⁺ A^+* A^*
2. A⁺ = A^* A^+* A⁺
3. A = A^+* A^* A
4. A = A A^* A^+*
5. A^* = A^* A A⁺
6. A^* = A⁺ A A^*

第一個的證明：$A^{+}=A^{+}AA^{+}$ 以及 $AA^{+}=\left(AA^{+}\right)^{*}$ 意味著 $A^{+}=A^{+}\left(AA^{+}\right)^{*}=A^{+}A^{+^{*}}A^{*}$。□

剩下的恆等式作為練習留給讀者。

簡化為 Hermitian 情況

本節的結果表明，偽逆的計算可以簡化為它在 Hermitian 情況下的構造。只需證明假設的構造滿足定義的標準即可。

命題。

對於每一個 $\mathbb {K}$-矩陣 $A$，$A^{+}=A^{*}(AA^{*})^{+}$

證明。 觀察到

${\begin{aligned}&&AA^{*}&=AA^{*}\left(AA^{*}\right)^{+}AA^{*}&\\&\Leftrightarrow &AA^{*}&=ADAA^{*}&\\&\Leftrightarrow &0&=(AD-I)AA^{*}&\\&\Leftrightarrow &0&=ADA-A&({\text{by Lemma 3}})\\&\Leftrightarrow &A&=ADA&\end{aligned}}$

類似地，$\left(AA^{*}\right)^{+}AA^{*}\left(AA^{*}\right)^{+}=\left(AA^{*}\right)^{+}$ 意味著 $A^{*}\left(AA^{*}\right)^{+}AA^{*}\left(AA^{*}\right)^{+}=A^{*}\left(AA^{*}\right)^{+}$ 即 $DAD=D$.

此外，$AD=AA^{*}\left(AA^{*}\right)^{+}$ 所以 $AD=(AD)^{*}$.

最後，$DA=A^{*}\left(AA^{*}\right)^{+}A$ 意味著 $(DA)^{*}=A^{*}\left(\left(AA^{*}\right)^{+}\right)^{*}A=A^{*}\left(\left(AA^{*}\right)^{+}\right)A=DA$.

因此，$D=A^{+}$. $\square$

練習。

對於每個 $\mathbb {K}$-矩陣 $A$, $A^{+}=(A^{*}A)^{+}A^{*}$

乘積

我們現在來計算兩個矩陣 $C=AB.$ 的 Moore-Penrose 逆。

命題。

如果 $A$ 的列是正交歸一的，即 $A^{*}A=I$，那麼對於任何 $\mathbb {K}$-矩陣 $B$（尺寸正確），$(AB)^{+}=B^{+}A^{+}$.

證明。由於 $A^{*}A=I$，$A^{+}=A^{*}$。寫成 $C=AB$ 和 $D=B^{+}A^{+}=B^{+}A^{*}$。我們證明 $D$ 滿足 $C$ 的 Moore–Penrose 準則。

${\begin{aligned}CDC&=ABB^{+}A^{*}AB=ABB^{+}B=AB=C,\\[4pt]DCD&=B^{+}A^{*}ABB^{+}A^{*}=B^{+}BB^{+}A^{*}=B^{+}A^{*}=D,\\[4pt](CD)^{*}&=D^{*}B^{*}A^{*}=A\left(B^{+}\right)^{*}B^{*}A^{*}=A\left(BB^{+}\right)^{*}A^{*}=ABB^{+}A^{*}=CD,\\[4pt](DC)^{*}&=B^{*}A^{*}D^{*}=B^{*}A^{*}A\left(B^{+}\right)^{*}=\left(B^{+}B\right)^{*}=B^{+}B=B^{+}A^{*}AB=DC.\end{aligned}}$

因此，$D=C^{+}$. $\square$

練習。

如果 $B$ 的行向量是正交歸一的，那麼對於任何 $\mathbb {K}$ 矩陣 $A$ （維度合適），$(AB)^{+}=B^{+}A^{+}$.

另一個重要的特例，它與可逆矩陣的情況非常接近，是當 $A$ 的列向量是線性無關的，而 $B$ 的行向量是線性無關的。

命題。

如果 $A$ 的列滿秩，且 $B$ 的行滿秩，則 $(AB)^{+}=B^{+}A^{+}$.

證明. 由於 $A$ 的列滿秩，$A^{*}A$ 可逆，所以 $\left(A^{*}A\right)^{+}=\left(A^{*}A\right)^{-1}$。類似地，由於 $B$ 的行滿秩，$BB^{*}$ 可逆，所以 $\left(BB^{*}\right)^{+}=\left(BB^{*}\right)^{-1}$.

令 $D=B^{+}A^{+}=B^{*}\left(BB^{*}\right)^{-1}\left(A^{*}A\right)^{-1}A^{*}$（使用埃爾米特矩陣的簡化）。我們證明 $D$ 滿足摩爾-彭羅斯準則。

${\begin{aligned}CDC&=ABB^{*}\left(BB^{*}\right)^{-1}\left(A^{*}A\right)^{-1}A^{*}AB=AB=C,\\[4pt]DCD&=B^{*}\left(BB^{*}\right)^{-1}\left(A^{*}A\right)^{-1}A^{*}ABB^{*}\left(BB^{*}\right)^{-1}\left(A^{*}A\right)^{-1}A^{*}=B^{*}\left(BB^{*}\right)^{-1}\left(A^{*}A\right)^{-1}A^{*}=D,\\[4pt]CD&=ABB^{*}\left(BB^{*}\right)^{-1}\left(A^{*}A\right)^{-1}A^{*}=A\left(A^{*}A\right)^{-1}A^{*}=\left(A\left(A^{*}A\right)^{-1}A^{*}\right)^{*},\\\Rightarrow (CD)^{*}&=CD,\\[4pt]DC&=B^{*}\left(BB^{*}\right)^{-1}\left(A^{*}A\right)^{-1}A^{*}AB=B^{*}\left(BB^{*}\right)^{-1}B=\left(B^{*}\left(BB^{*}\right)^{-1}B\right)^{*},\\\Rightarrow (DC)^{*}&=DC.\end{aligned}}$

因此，$D=C^{+}$. $\square$

最後，我們推匯出計算 $AA^{*}$ 的摩爾-彭羅斯逆的公式。

命題。

如果 $B=A^{*}$，那麼 $(AB)^{+}=A^{+*}A^{+}$。

證明。 這裡，$B=A^{*}$，因此 $C=AA^{*}$ 且 $D=A^{+*}A^{+}$。我們證明 $D$ 確實滿足摩爾-彭羅斯四個條件。

${\begin{aligned}CDC&=AA^{*}A^{+*}A^{+}AA^{*}=A\left(A^{+}A\right)^{*}A^{+}AA^{*}=AA^{+}AA^{+}AA^{*}=AA^{+}AA^{*}=AA^{*}=C\\[4pt]DCD&=A^{+*}A^{+}AA^{*}A^{+*}A^{+}=A^{+*}A^{+}A\left(A^{+}A\right)^{*}A^{+}=A^{+*}A^{+}AA^{+}AA^{+}=A^{+*}A^{+}AA^{+}=A^{+*}A^{+}=D\\[4pt](CD)^{*}&=\left(AA^{*}A^{+*}A^{+}\right)^{*}=A^{+*}A^{+}AA^{*}=A^{+*}\left(A^{+}A\right)^{*}A^{*}=A^{+*}A^{*}A^{+*}A^{*}\\&=\left(AA^{+}\right)^{*}\left(AA^{+}\right)^{*}=AA^{+}AA^{+}=A\left(A^{+}A\right)^{*}A^{+}=AA^{*}A^{+*}A^{+}=CD\\[4pt](DC)^{*}&=\left(A^{+*}A^{+}AA^{*}\right)^{*}=AA^{*}A^{+*}A^{+}=A\left(A^{+}A\right)^{*}A^{+}=AA^{+}AA^{+}\\&=\left(AA^{+}\right)^{*}\left(AA^{+}\right)^{*}=A^{+*}A^{*}A^{+*}A^{*}=A^{+*}\left(A^{+}A\right)^{*}A^{*}=A^{+*}A^{+}AA^{*}=DC\end{aligned}}$

因此，$D=C^{+}$. 換句話說

$\left(AA^{*}\right)^{+}=A^{+*}A^{+}$

並且，由於$\left(A^{*}\right)^{*}=A$

$\left(A^{*}A\right)^{+}=A^{+}A^{+*}$ $\square$

投影和子空間

經典逆矩陣的定義特徵是$AA^{-1}=A^{-1}A=I.$ 我們可以對$AA^{+}$ 和 $A^{+}A$ 說些什麼呢？

我們可以很容易地從上面的基本性質推匯出一些性質

練習。

令$A$ 為一個$\mathbb {K}$-矩陣。那麼$(AA^{+})^{2}=(AA^{+}),(A^{+}A)^{2}=(A^{+}A),(AA^{+})^{*}=(AA^{+})$ 以及$(A^{+}A)^{*}=(A^{+}A)$

我們可以得出結論，$P=AA^{+}$ 和 $Q=A^{+}A$ 是正交投影。

命題。

令$A$ 為一個$\mathbb {K}$-矩陣。那麼$P=AA^{+}$ 和 $Q=A^{+}A$ 是正交投影

證明。 實際上，考慮運算元$P$: 任何向量都可以分解為

$x=Px+(I-P)x$

對於所有滿足 $Px=x$ 和 $(I-P)y=y$ 的向量 $x$ 和 $y$，我們有

$x^{*}y=(Px)^{*}(I-P)y=x^{*}P^{*}(I-P)y=x^{*}P(I-P)y=0$.

由此可知，$PA=AA^{+}A=A$ 和 $A^{+}P=A^{+}AA^{+}=A^{+}$。 同樣地，$QA^{+}=A^{+}$ 和 $AQ=A$。 現在可以容易地識別出正交分量。 $\square$

最後，我們透過確定由摩爾-彭羅斯逆表示的對映的像和核來完成我們的分析。

命題。

設 $A$ 為一個 $\mathbb {K}$-矩陣。 那麼，$\operatorname {Ker} \left(A^{+}\right)=\operatorname {Ker} \left(A^{*}\right)$ 且 $\operatorname {Im} \left(A^{+}\right)=\operatorname {Im} \left(A^{*}\right)$。

證明. 如果 $y$ 屬於 $A$ 的值域，那麼對於某些 $x$，$y=Ax$ 且 $Py=PAx=Ax=y$。反之，如果 $Py=y$，那麼 $y=AA^{+}y$，因此 $y$ 屬於 $A$ 的值域。由此可見，$P$ 是 $A$ 值域上的正交投影。$I-P$ 然後是 $A$ 值域的正交補上的正交投影，它等於 $A^{*}$ 的核。

使用關係 $QA^{*}=A^{*}$ 的類似論證表明，$Q$ 是 $A^{*}$ 值域上的正交投影，而 $(I-Q)$ 是 $A$ 核上的正交投影。

利用關係 $P\left(A^{+}\right)^{*}=P^{*}\left(A^{+}\right)^{*}=\left(A^{+}P\right)^{*}=\left(A^{+}\right)^{*}$ 和 $P=P^{*}=\left(A^{+}\right)^{*}A^{*}$，可知 P 的值域等於 $\left(A^{+}\right)^{*}$ 的值域，進而意味著 $I-P$ 的值域等於 $A^{+}$ 的核。類似地，$QA^{+}=A^{+}$ 意味著 $Q$ 的值域等於 $A^{+}$ 的值域。因此，我們發現：

${\begin{aligned}\operatorname {Ker} \left(A^{+}\right)&=\operatorname {Ker} \left(A^{*}\right).\\\operatorname {Im} \left(A^{+}\right)&=\operatorname {Im} \left(A^{*}\right).\\\end{aligned}}$ $\square$

應用

我們介紹了 Moore-Penrose 逆在求解線性方程組中的兩種應用。

最小二乘最小化

Moore-Penrose 逆可用於最小二乘最小化可能沒有精確解的方程組。

命題。

對於任何 $m\times n$ 矩陣 $A$，$\|Ax-b\|_{2}\geq \|Az-b\|_{2}$，其中 $z=A^{+}b$。

證明： 首先注意到（說明覆雜情況），利用事實$P=AA^{+}$ 滿足 $PA=A$ 和 $P=P^{*}$，我們有

${\begin{alignedat}{2}A^{*}(Az-b)&=A^{*}(AA^{+}b-b)\\&=A^{*}(Pb-b)\\&=A^{*}P^{*}b-A^{*}b\\&=(PA)^{*}b-A^{*}b\\&=0\end{alignedat}}$

因此（${\text{c.c.}}$ 代表以下項的厄米共軛）

${\begin{alignedat}{2}\|Ax-b\|_{2}^{2}&=\|Az-b\|_{2}^{2}+(A(x-z))^{*}(Az-b)+{\text{c.c.}}+\|A(x-z)\|_{2}^{2}\\&=\|Az-b\|_{2}^{2}+(x-z)^{*}A^{*}(Az-b)+{\text{c.c.}}+\|A(x-z)\|_{2}^{2}\\&=\|Az-b\|_{2}^{2}+\|A(x-z)\|_{2}^{2}\\&\geq \|Az-b\|_{2}^{2}\end{alignedat}}$

如所述。 $\square$

備註。

這個下界不一定是零，因為系統$Ax=b$ 可能沒有解（例如，當矩陣A沒有滿秩或系統超定）。如果$A$ 是單射的，即一對一的（這意味著$m\geq n$），那麼邊界在$z$ 處唯一取得。

線性方程組的最小范數解

上面的證明也表明，如果方程組 $Ax=b$ 是可解的，即存在解，那麼必然 $z=A^{+}b$ 是一個解（不一定唯一）。我們可以說更多

命題。

如果方程組 $Ax=b$ 是可解的，那麼 $z=A^{+}b$ 是具有最小歐幾里得範數的唯一解。

證明。首先注意，對於 $Q=A^{+}A$，有 $Qz=A^{+}AA^{+}b=A^{+}b=z$，並且有 $Q^{*}=Q$。因此，假設 $Ax=b$，我們有

${\begin{aligned}z^{*}(x-z)&=(Qz)^{*}(x-z)\\&=z^{*}Q(x-z)\\&=z^{*}\left(A^{+}Ax-z\right)\\&=z^{*}\left(A^{+}b-z\right)\\&=0.\end{aligned}}$

因此

${\begin{alignedat}{2}\|x\|_{2}^{2}&=\|z+(x-z)\|_{2}^{2}\\&=\|z\|_{2}^{2}+z^{*}(x-z)+{\overline {z^{*}(x-z)}}+\|x-z\|_{2}^{2}\\&=\|z\|_{2}^{2}+\|x-z\|_{2}^{2}\\&\geq \|z\|_{2}^{2}\end{alignedat}}$

當且僅當 $x=z$ 時等號成立，證畢。 $\square$

該結果的一個直接推論是 $z$ 也是所有 $Ax=b$ 的最小二乘最小化問題的唯一最小解，包括當 $A$ 既不是單射也不是滿射時。可以證明最小二乘近似 $Az=y\approx b$ 是唯一的。因此，所有 $x$ 解決最小二乘最小化問題的必要條件和充分條件是滿足 $Ax=y=Az=AA^{+}b$。由於 $Az$ 位於 $A$ 的列空間中，該系統始終存在解（不一定是唯一的）。從上面的結果來看，解決此係統的最小 $x$ 是 $A^{+}(AA^{+}b)=A^{+}b=z$。

參考文獻

• Ben-Israel, Adi; Greville, Thomas N.E. (2003). 廣義逆：理論與應用 (第二版). 紐約，紐約：施普林格。 doi:10.1007/b97366. ISBN 978-0-387-00293-4.
• Campbell, S. L.; Meyer, Jr., C. D. (1991). 線性變換的廣義逆. 多佛。 ISBN 978-0-486-66693-8.
• 中村善彥 (1991)。高階機器人學：冗餘和最佳化. 艾迪生-韋斯利。 ISBN 978-0201151985.
• Rao, C. Radhakrishna; Mitra, Sujit Kumar (1971). 矩陣的廣義逆及其應用. 紐約：約翰·威利父子公司。 第 240 頁。 ISBN 978-0-471-70821-6.