線性代數/內積空間

回想一下，在你學習向量的過程中，我們研究了一個稱為點積的運算，並且如果我們有兩個向量在 $\mathbb {R} ^{n}$ 中，我們只需要將對應分量相乘，然後將結果相加。有了點積，我們就可以引入長度和角度等重要的新概念。向量 $\mathbf {a}$ 的長度就是 $\|\mathbf {a} \|={\sqrt {\mathbf {a} \cdot \mathbf {a} }}$。兩個向量 $\mathbf {a}$ 和 $\mathbf {b}$ 之間的夾角與點積的關係為

$\cos {\theta }={\frac {\mathbf {a} \cdot \mathbf {b} }{\|\mathbf {a} \|\cdot \|\mathbf {b} \|}}$

事實證明，點積只有少數幾個性質是必要的，這些性質可以在其他向量空間中定義類似的概念，例如 $\mathbb {R} ^{n}$ 以外的空間，例如 $m\times n$ 矩陣空間，或者多項式空間。在這些其他空間中，取代點積的更普遍的運算被稱為“內積”。

內積

假設我們有兩個向量

$\mathbf {a} ={\begin{pmatrix}2\\1\\4\end{pmatrix}},\mathbf {b} ={\begin{pmatrix}6\\3\\0\end{pmatrix}}$

如果我們要計算它們的點積，我們會按如下步驟進行

$\mathbf {a} \cdot \mathbf {b} =a_{1}b_{1}+a_{2}b_{2}+a_{3}b_{3}=(2)(6)+(1)(3)+(4)(0)=15$

因為在這種情況下乘法是可交換的，所以我們有 $\mathbf {a} \cdot \mathbf {b} =\mathbf {b} \cdot \mathbf {a}$。

然後，我們觀察到

$\mathbf {v} \cdot (\alpha \mathbf {a} +\beta \mathbf {b} )=\alpha \mathbf {v} \cdot \mathbf {a} +\beta \mathbf {v} \cdot \mathbf {b}$

就像普通的代數等式 $v(aA+bB)=avA+bvB$。對於普通的點積，這是成立的，因為對於 $\mathbb {R} ^{3}$ 例如，可以將兩邊展開得到

${\begin{matrix}(\alpha v_{1}a_{1}+\beta v_{1}b_{1})+(\alpha v_{2}a_{2}+\beta v_{2}b_{2})+(\alpha v_{3}a_{3}+\beta v_{3}b_{3})=\\(\alpha v_{1}a_{1}+\alpha v_{2}a_{2}+\alpha v_{3}a_{3})+(\beta v_{1}b_{1}+\beta v_{2}b_{2}+\beta v_{3}b_{3})\end{matrix}}$

最後，我們可以注意到 $\mathbf {v} \cdot \mathbf {v}$ 總是正的或大於零 - 檢查 $\mathbb {R} ^{3}$ 給出如下結果

$\mathbf {v} \cdot \mathbf {v} =v_{1}^{2}+v_{2}^{2}+v_{3}^{2}$

由於實數的平方總是正的，因此它永遠不會小於零。注意 $\mathbf {v} \cdot \mathbf {v} =0$ 當且僅當 $\mathbf {v} =0$。

在概括這種行為時，我們希望保留這三種行為。然後我們可以繼續定義點積的推廣，我們稱之為 *內積*。某個向量空間 $V$ 中兩個向量的內積，記為 $\langle \mathbf {x} ,\mathbf {y} \rangle$ 是一個函式 $V\times V\to \mathbb {R}$，它滿足以下性質

• $\langle \mathbf {x} ,\mathbf {y} \rangle =\langle \mathbf {y} ,\mathbf {x} \rangle$
• $\langle \mathbf {v} ,\alpha \mathbf {a} +\beta \mathbf {b} \rangle =\alpha \langle \mathbf {v} ,\mathbf {a} \rangle +\beta \langle \mathbf {v} ,\mathbf {b} \rangle$
• $\langle \mathbf {a} ,\mathbf {a} \rangle \geq 0$ 當且僅當 $\mathbf {a} =0$ 時等式成立。

向量空間 $V$ 和某些內積一起被稱為內積空間。

在 $\mathbb {C} ^{n}$ 中的點積

給定兩個向量 $\mathbf {a} =a_{1}{\vec {e}}_{1}+a_{2}{\vec {e}}_{2}+\dots +a_{n}{\vec {e}}_{n}\in \mathbb {C} ^{n}$ 和 $\mathbf {b} =b_{1}{\vec {e}}_{1}+b_{2}{\vec {e}}_{2}+\dots +b_{n}{\vec {e}}_{n}\in \mathbb {C} ^{n}$，點積推廣到複數是

$\mathbf {a} \cdot \mathbf {b} =\sum _{i=1}^{n}a_{i}^{*}b_{i}=a_{1}^{*}b_{1}+a_{2}^{*}b_{2}+\dots +a_{n}^{*}b_{n}$

其中對於任意複數 $z=c+di$，$z^{*}$ 是共軛複數：$z^{*}=c-di$。

點積是“共軛交換”的：$\mathbf {a} \cdot \mathbf {b} =(\mathbf {b} \cdot \mathbf {a} )^{*}$. 點積定義的一個直接推論是，一個向量與其自身的點積始終是一個非負實數：$\mathbf {a} \cdot \mathbf {a} \geq 0$.

$\mathbf {a} \cdot \mathbf {a} =0$當且僅當$\mathbf {a} ={\vec {0}}$

柯西-施瓦茨不等式適用於$\mathbb {C} ^{n}$

柯西-施瓦茨不等式

給定兩個向量$\mathbf {a} ,\mathbf {b} \in \mathbb {C} ^{n}$，則有$|\mathbf {a} \cdot \mathbf {b} |\leq |\mathbf {a} ||\mathbf {b} |$

在$\mathbb {R} ^{n}$中，柯西-施瓦茨不等式可以透過三角不等式證明。在這裡，柯西-施瓦茨不等式將透過代數方法證明。

為了使證明更直觀，我們將首先給出$\mathbf {a} ,\mathbf {b} \in \mathbb {R} ^{n}$的代數證明。

適用於$\mathbf {a} ,\mathbf {b} \in \mathbb {R} ^{n}$的證明

$|\mathbf {a} \cdot \mathbf {b} |\leq |\mathbf {a} ||\mathbf {b} |$ 來源於 $|\mathbf {a} \cdot \mathbf {b} |^{2}\leq |\mathbf {a} |^{2}|\mathbf {b} |^{2}$，它等價於

展開兩邊得到

$\sum _{i=1}^{n}\sum _{j=1}^{n}a_{i}b_{i}a_{j}b_{j}\leq \sum _{i=1}^{n}\sum _{j=1}^{n}a_{i}^{2}b_{j}^{2}$

$\iff \sum _{i=1}^{n}\sum _{j=1}^{n}(a_{i}b_{j})(a_{j}b_{i})\leq \sum _{i=1}^{n}\sum _{j=1}^{n}(a_{i}b_{j})^{2}$

沿對角線“摺疊”雙重求和，並將兩邊等價的對角線項抵消，得到

$\iff \sum _{i=2}^{n}\sum _{j=1}^{i-1}2(a_{i}b_{j})(a_{j}b_{i})\leq \sum _{i=2}^{n}\sum _{j=1}^{i-1}((a_{i}b_{j})^{2}+(a_{j}b_{i})^{2})$

$\iff 0\leq \sum _{i=2}^{n}\sum _{j=1}^{i-1}(a_{i}b_{j}-a_{j}b_{i})^{2}$

以上不等式顯然成立，因此 Cauchy-Schwarz 不等式對於 $\mathbf {a} ,\mathbf {b} \in \mathbb {R} ^{n}$ 成立。

對於 $\mathbf {a} ,\mathbf {b} \in \mathbb {C} ^{n}$ 的證明。

注意 $|\mathbf {a} \cdot \mathbf {b} |\leq |\mathbf {a} ||\mathbf {b} |$ 來自於 $|\mathbf {a} \cdot \mathbf {b} |^{2}\leq |\mathbf {a} |^{2}|\mathbf {b} |^{2}$ ，它等價於 $(\mathbf {a} \cdot \mathbf {b} )^{*}(\mathbf {a} \cdot \mathbf {b} )\leq (\mathbf {a} \cdot \mathbf {a} )(\mathbf {b} \cdot \mathbf {b} )$ 。兩邊展開得到

$\left(\sum _{i=1}^{n}a_{i}^{*}b_{i}\right)^{*}\left(\sum _{i=1}^{n}a_{i}^{*}b_{i}\right)\leq \left(\sum _{i=1}^{n}|a_{i}|^{2}\right)\left(\sum _{i=1}^{n}|b_{i}|^{2}\right)$

$\iff \sum _{i=1}^{n}\sum _{j=1}^{n}(a_{i}^{*}b_{i})^{*}(a_{j}^{*}b_{j})\leq \sum _{i=1}^{n}\sum _{j=1}^{n}|a_{i}|^{2}|b_{j}|^{2}$

$\iff \sum _{i=1}^{n}\sum _{j=1}^{n}(a_{j}b_{i})^{*}(a_{i}b_{j})\leq \sum _{i=1}^{n}\sum _{j=1}^{n}|a_{i}b_{j}|^{2}$

沿對角線“摺疊”雙重求和，並將兩邊等價的對角線項抵消，得到

$\iff \sum _{i=2}^{n}\sum _{j=1}^{i-1}((a_{j}b_{i})^{*}(a_{i}b_{j})+(a_{i}b_{j})^{*}(a_{j}b_{i}))\leq \sum _{i=2}^{n}\sum _{j=1}^{i-1}(|a_{i}b_{j}|^{2}+|a_{j}b_{i}|^{2})$

$\iff \sum _{i=2}^{n}\sum _{j=1}^{i-1}2\Re ((a_{i}b_{j})^{*}(a_{j}b_{i}))\leq \sum _{i=2}^{n}\sum _{j=1}^{i-1}(|a_{i}b_{j}|^{2}+|a_{j}b_{i}|^{2})$

給定複數$z$ 和 $w$，可以證明$2\Re (z^{*}w)\leq |z|^{2}+|w|^{2}$（這類似於實數的$2xy\leq x^{2}+y^{2}$）。上述不等式成立，因此 Cauchy-Schwarz 不等式對複數也成立。