微積分/多元函式的導數

線性變換的矩陣

定理

線性變換 $L:\mathbb {R} ^{n}\to \mathbb {R} ^{m}$ 等同於乘以一個唯一確定的矩陣；也就是說，存在一個唯一的矩陣 $A\in \mathbb {R} ^{m\times n}$ 使得

$\forall {\vec {v}}\in \mathbb {R} ^{n}:L({\vec {v}})=A{\vec {v}}$

證明

我們設定列向量

${\begin{pmatrix}a_{1,j}\\a_{2,j}\\\vdots \\a_{n,j}\end{pmatrix}}:=L({\vec {e}}_{j})$

其中 $\{{\vec {e}}_{1},\ldots ,{\vec {e}}_{n}\}$ 是 $\mathbb {R} ^{n}$ 的標準基。然後我們由此定義

$A:={\begin{pmatrix}a_{1,1}&\cdots &a_{1,n}\\\vdots &\ddots &\vdots \\a_{n,1}&\cdots &a_{n,n}\end{pmatrix}}$

並注意到對於任何向量 ${\vec {v}}=(v_{1},\ldots ,v_{n})^{t}$ of $\mathbb {R} ^{n}$ 我們得到

$A{\vec {v}}=A\left(\sum _{j=1}^{n}v_{j}{\vec {e}}_{j}\right)=\sum _{j=1}^{n}Av_{j}{\vec {e}}_{j}=\sum _{j=1}^{n}v_{j}L({\vec {e}}_{j})=L\left(\sum _{j=1}^{n}v_{j}{\vec {e}}_{j}\right)=L({\vec {v}})$

因此，我們已經證明了存在性。為了證明唯一性，假設存在另一個矩陣 $B\in \mathbb {R} ^{m\times n}$ 具有性質 $\forall {\vec {v}}\in \mathbb {R} ^{n}:L({\vec {v}})=B{\vec {v}}$ 。那麼特別地，

$B{\vec {e}}_{j}=L({\vec {e}}_{j})$

這已經意味著 $A=B$ （因為兩個矩陣的所有列都相同）。$\Box$

如何推廣導數

如何將導數推廣到更高維數，這不是直接就能明白的。因為，如果我們取一個點$x_{0}$處的導數定義

$\lim _{h\to 0}{\frac {f(x_{0}+h)-f(x_{0})}{h}}$

並插入向量來代替 $h$ 和 $x_{0}$，我們將把整個式子除以一個向量。但這沒有定義。

因此，我們將重新表述導數的定義，並將其轉化為可以推廣到更高維數的形式。

定理

設$f:\mathbb {R} \to \mathbb {R}$是一個一維函式，設$x_{0}\in \mathbb {R}$。那麼 $f$在 $x_{0}$處可微當且僅當存在一個線性函式$l:\mathbb {R} \to \mathbb {R}$ 使得

$\lim _{h\to 0}{\frac {{\Big |}f(x_{0}+h)-{\big (}f(x_{0})+l(h){\big )}{\Big |}}{|h|}}=0$

我們注意到，根據上述，線性函式 $l:\mathbb {R} \to \mathbb {R}$ 由一個 $1\times 1$-矩陣，即一個標量，進行乘法運算。

證明

首先假設 $f$ 在 $x_{0}$ 處可微。我們設定 $l(h):=f'(x_{0})\cdot h$ 並得到

${\frac {{\Big |}f(x_{0}+h)-{\big (}f(x_{0})+l(h){\big )}{\Big |}}{|h|}}=\left|{\frac {f(x_{0}+h)-f(x_{0})}{h}}-f'(x_{0})\right|$

根據 $f'(x_{0})$ 的定義，該式收斂到 0。

現在假設我們得到一個 $l:\mathbb {R} \to \mathbb {R}$，使得

$\lim _{h\to 0}{\frac {{\Big |}f(x_{0}+h)-{\big (}f(x_{0})+l(h){\big )}{\Big |}}{|h|}}=0$

令 $c$ 為與 $l$ 相關的標量。那麼，透過類似的計算， $f'(x_{0})=c$ 。$\Box$

利用上述定理中關於可微性的後一種表述，我們可以很容易地將其推廣到更高維度，因為向量歐幾里得範數的除法是可以定義的，並且線性對映在更高維度也是可以定義的。

定義

如果一個函式 $f:\mathbb {R} ^{m}\to \mathbb {R} ^{n}$ 在點 $x_{0}\in \mathbb {R} ^{m}$ 可 **微分** 或 **全微分**，當且僅當存在一個線性函式 $L:\mathbb {R} ^{m}\to \mathbb {R} ^{n}$ 使得

$\lim _{{\vec {h}}\to 0}{\frac {{\Big \|}f(x_{0}+{\vec {h}})-{\big (}f(x_{0})+L({\vec {h}}){\big )}{\Big \|}}{\|{\vec {h}}\|}}=0$

我們已經證明，這個定義在單變數情況 ($m=n=1$) 與通常的定義一致。

我們有以下定理

定理

令 $S\subseteq \mathbb {R} ^{m}$ 為一個集合，令 $x_{0}\in {\overset {\circ }{S}}$ 為 $S$ 的一個內點，令 $f:S\to \mathbb {R} ^{m}$ 為在 $x_{0}$ 可微的函式。那麼使得

$\lim _{{\vec {h}}\to 0}{\frac {{\Big \|}f(x_{0}+{\vec {h}})-{\big (}f(x_{0})+L({\vec {h}}){\big )}{\Big \|}}{\|{\vec {h}}\|}}=0$

的線性對映 $L$ 是唯一的，也就是說，只存在一個這樣的對映 $L$ 。

證明

由於 $x_{0}$ 是 $S$ 的內部點，我們發現 $r>0$ 使得 $B_{r}(x_{0})\subseteq S$。現在令 $K:\mathbb {R} ^{m}\to \mathbb {R} ^{n}$ 是任何具有以下性質的線性對映：

$\lim _{{\vec {h}}\to 0}{\frac {{\Big \|}f(x_{0}+{\vec {h}})-{\big (}f(x_{0})+K({\vec {h}}){\big )}{\Big \|}}{\|{\vec {h}}\|}}=0$

我們注意到，對於標準基的所有向量 $\{e_{1},\ldots ,e_{n}\}$，數字 $\lambda e_{j}$ 對於 $0\leq \lambda <r$ 都包含在 $S$ 中。因此，透過三角不等式，我們得到

${\Big \|}L({\vec {e}}_{j})-K({\vec {e}}_{j}){\Big \|}={\frac {{\bigl \|}L(\lambda {\vec {e}}_{j})-K(\lambda {\vec {e}}_{j}){\bigr \|}}{\|\lambda {\vec {e}}_{j}\|}}\leq {\frac {{\Big \|}f(x_{0}+\lambda {\vec {e}}_{j})-{\big (}f(x_{0})+L(\lambda {\vec {e}}_{j}){\big )}{\Big \|}}{\|\lambda {\vec {e}}_{j}\|}}+{\frac {{\Big \|}f(x_{0}+\lambda {\vec {e}}_{j})-{\big (}f(x_{0})+K(\lambda {\vec {e}}_{j}){\big )}{\Big \|}}{\|\lambda {\vec {e}}_{j}\|}}$

令 $\lambda \to 0$ ，我們可以看到 $L({\vec {e}}_{j})=K({\vec {e}}_{j})$ 。因此， $L$ 和 $K$ 在所有基向量上重合，並且由於所有其他向量都可以表示為這些向量的線性組合，根據 $L$ 和 $K$ 的線性，我們得到 $L=K$ 。$\Box$

因此，以下定義是合理的

定義

設 $f:S\to \mathbb {R} ^{n}$ 為一個函式（其中 $S\subseteq \mathbb {R} ^{m}$ 是 $\mathbb {R} ^{m}$ 的一個子集），並設 $x_{0}$ 是 $S$ 的一個內點，使得 $f$ 在 $x_{0}$ 處可微。那麼，唯一的線性函式 $L$ 使得

$\lim _{{\vec {h}}\to 0}{\frac {{\Big \|}f(x_{0}+{\vec {h}})-{\big (}f(x_{0})+L({\vec {h}}){\big )}{\Big \|}}{\|{\vec {h}}\|}}=0$

被稱為 $f$ 在 $x_{0}$ 處的 **微分**，記為 $f(x_{0}):=L$ 。

方向導數與偏導數

我們首先定義方向導數。

定義

設 $f:\mathbb {R} ^{m}\to \mathbb {R} ^{n}$ 為一個函式，並設 ${\vec {v}}\in \mathbb {R} ^{m}$ 為一個向量。如果極限

$\lim _{h\to 0}{\frac {f(x_{0}+h{\vec {v}})-f(x_{0})}{h}}$

存在，則稱其為 $f$ 在方向 ${\vec {v}}$ 上的 **方向導數**。我們記為 $D_{\vec {v}}f(x_{0})$ 。

以下定理將方向導數與全微分函式的微分聯絡起來

定理

令 $f:\mathbb {R} ^{m}\to \mathbb {R} ^{n}$ 是在 $x_{0}$處完全可微的函式，並令 ${\vec {v}}\in \mathbb {R} ^{m}\setminus \{0\}$ 是一個非零向量。那麼 $D_{\vec {v}}f(x_{0})$ 存在且等於 $f'(x_{0}){\vec {v}}$。

證明

根據完全可微性的定義，

$\lim _{h\to 0}\left\|{\frac {f(x_{0}+h{\vec {v}})-f(x_{0})}{|h|\cdot \|{\vec {v}}\|}}-{\frac {f'(x_{0}){\vec {v}}}{|h|\cdot \|{\vec {v}}\|}}\right\|=0$

因此，

$\lim _{h\to 0}\left\|{\frac {f(x_{0}+h{\vec {v}})-f(x_{0})}{|h|}}-{\frac {f'(x_{0}){\vec {v}}}{|h|}}\right\|=0$

透過將以上方程乘以 $\|{\vec {v}}\|$。注意到

$\left\|{\frac {f(x_{0}+h{\vec {v}})-f(x_{0})}{|h|}}-{\frac {f'(x_{0}){\vec {v}}}{|h|}}\right\|=\left\|{\frac {f(x_{0}+h{\vec {v}})-f(x_{0})}{h}}-{\frac {f'(x_{0}){\vec {v}}}{h}}\right\|$

定理得證。$\Box$

方向導數的一種特殊情況是偏導數。

定義

設 $\{{\vec {e}}_{1},\ldots ,{\vec {e}}_{m}\}$ 是 $\mathbb {R} ^{m}$ 的標準正交基，設 $x_{0}\in \mathbb {R} ^{m}$，設 $f:\mathbb {R} ^{m}\to \mathbb {R} ^{n}$ 是一個函式，使得方向導數 $D_{{\vec {e}}_{j}}f(x_{0})$ 都存在。我們設定

${\frac {\partial f}{\partial x_{j}}}:=D_{{\vec {e}}_{j}}f(x_{0})$

並稱之為 $x_{j}$ 方向上的 **偏導數**。

事實上，透過寫下$D_{{\vec {e}}_{j}}f(x_{0})$ 的定義，我們可以看到，$x_{j}$ 方向上的偏導數，不過是函式$y\mapsto f(x_{0,1},\ldots ,x_{0,j-1},y,x_{0,j+1},\ldots ,x_{0,m})$ 在變數$y$ 處的導數。也就是說，例如，如果

$f(x,y,z)=x^{2}+4z^{3}+3xy$

那麼

${\frac {\partial f}{\partial x}}=2x+3y\ ,\ {\frac {\partial f}{\partial y}}=3x\ ,\ {\frac {\partial f}{\partial z}}=12z^{2}$

也就是說，在求偏導數時，我們將其他變數視為常數，只對我們所考慮的變數進行求導。

雅可比矩陣

從上面我們知道，函式$f'(x_{0})$ 的微分有一個與之相關的矩陣，代表著由此定義的線性對映。在一定條件下，我們可以從分量函式的偏導數中確定這個矩陣。

定理

設 $f:\mathbb {R} ^{m}\to \mathbb {R} ^{n}$ 是一個函式，其所有偏導數在 $x_{0}$ 處存在，並且在 $B_{r}(x_{0})$ 上的每個分量上連續，其中 $r>0$ 可能很小，但為正數。那麼 $f$ 在 $x_{0}$ 處完全可微，$f$ 的微分由矩陣左乘給出

$J_{f}(x_{0}):={\begin{pmatrix}{\dfrac {\partial f_{1}}{\partial x_{1}}}&\cdots &{\dfrac {\partial f_{1}}{\partial x_{m}}}\\\vdots &\ddots &\vdots \\{\dfrac {\partial f_{n}}{\partial x_{1}}}&\cdots &{\dfrac {\partial f_{n}}{\partial x_{m}}}\end{pmatrix}}$

其中 $f=(f_{1},\ldots ,f_{n})$ 。

矩陣 $J_{f}(x_{0})$ 被稱為雅可比矩陣。

證明

${\frac {{\Big \|}f(x_{0}+{\vec {h}})-(f(x_{0})+J_{f}(x_{0}){\vec {h}}){\Big \|}}{\|{\vec {h}}\|}}$	$={\frac {\left\|\displaystyle \sum _{j=1}^{n}f_{j}(x_{0}+{\vec {h}}){\vec {e}}_{j}-\sum _{j=1}^{n}\left(f_{j}(x_{0})+\sum _{k=1}^{m}h_{k}{\frac {\partial f_{j}}{\partial x_{m}}}(x_{0})\right){\vec {e}}_{j}\right\|}{\|{\vec {h}}\|}}$
	$\leq \sum _{j=1}^{n}{\frac {\left\|f_{j}(x_{0}+h)-\left(f_{j}(x_{0})+\displaystyle \sum _{k=1}^{m}h_{k}{\frac {\partial f_{j}}{\partial x_{m}}}(x_{0})\right)\right\|}{\|{\vec {h}}\|}}$

現在我們將證明最後一個和式中所有被加數都趨於 0。

實際上，令 $j\in \{1,\ldots ,n\}$ 。再次寫成 ${\vec {h}}=(h_{1},\ldots ,h_{m})$ ，我們透過一維中值定理得到以下方程式列，首先應用於第一個變數，然後應用於第二個變數，依此類推：

$f_{j}(x_{0}+h_{1}{\vec {e}}_{1})-f_{j}(x_{0})=\overbrace {(x_{0,1}+h_{1}-x_{0,1})} ^{=h_{1}}{\frac {\partial f_{j}}{\partial x_{1}}}(x_{0}+t_{1}{\vec {e}}_{1})$

$f_{j}(x_{0}+h_{1}{\vec {e}}_{1}+h_{2}{\vec {e}}_{2})-f_{j}(x_{0}+h_{1}{\vec {e}}_{1})=\overbrace {(x_{0,2}+h_{2}-x_{0,2})} ^{=h_{2}}{\frac {\partial f_{j}}{\partial x_{2}}}(x_{0}+h_{1}{\vec {e}}_{1}+t_{2}{\vec {e}}_{2})$

$\vdots$

$f_{j}(x_{0}+h_{1}{\vec {e}}_{1}+\cdots +h_{m}{\vec {e}}_{m})-f_{j}(x_{0}+h_{1}{\vec {e}}_{1}+\cdots +h_{m-1}{\vec {e}}_{m-1})=\overbrace {(x_{0,m}+h_{m}-x_{0,m})} ^{=h_{m}}{\frac {\partial f_{j}}{\partial x_{m}}}(x_{0}+h_{1}{\vec {e}}_{1}+\cdots +h_{m-1}{\vec {e}}_{m-1}+t_{n}{\vec {e}}_{m})$

對於適當選擇的 $t_{k}\in [x_{0,k},x_{0,k}+h_{k}]$ 。現在我們可以將所有這些方程加在一起，得到

$f_{j}(x_{0}+{\vec {h}})-f(x_{0})=\sum _{k=1}^{m}h_{k}{\frac {\partial f_{j}}{\partial x_{k}}}\left(x_{0}+\sum _{l=1}^{k-1}h_{l}{\vec {e}}_{l}+t_{k}{\vec {e}}_{k}\right)$

現在令 $\delta >0$ 。利用 ${\frac {\partial f_{j}}{\partial x_{k}}}$ 在 $B_{r}(x_{0})$ 上的連續性，我們可以選擇 $\delta _{k}>0$ 使得

$\left|{\frac {\partial f_{j}}{\partial x_{k}}}\left(x_{0}+\sum _{l=1}^{k-1}h_{l}{\vec {e}}_{l}+t_{k}e_{k}\right)-{\frac {\partial f_{j}}{\partial x_{m}}}(x_{0})\right|<{\frac {\epsilon }{m}}$

對於 $|h_{k}|<\delta _{k}$ ，鑑於 ${\vec {h}}\in B_{r}(0)$ （我們可以假設為 ${\vec {h}}\to {\vec {0}}$）。因此，我們得到

${\frac {\left\|f_{j}(x_{0}+h)-\left(f_{j}(x_{0})+\displaystyle \sum _{k=1}^{m}h_{k}{\frac {\partial f_{j}}{\partial x_{m}}}(x_{0})\right)\right\|}{\|{\vec {h}}\|}}\leq {\frac {\|{\vec {h}}\|\cdot m\cdot {\frac {\epsilon }{m}}}{\|{\vec {h}}\|}}$

因此定理得證。$\Box$

推論

如果 $f:\mathbb {R} ^{m}\to \mathbb {R} ^{n}$ 在 $x_{0}\in \mathbb {R} ^{m}$ 處連續可微，且 ${\vec {v}}\in \mathbb {R} ^{m}\setminus \{0\}$ ，那麼

$D_{\vec {v}}f(x_{0})=\sum _{j=1}^{m}v_{j}{\frac {\partial f}{\partial x_{j}}}(x_{0})$

證明

$D_{\vec {v}}f(x_{0})=f'(x_{0})({\vec {v}})=J_{f}(x_{0}){\vec {v}}=\sum _{j=1}^{m}v_{j}{\frac {\partial f}{\partial x_{j}}}(x_{0})$$\Box$