微積分/鏈式法則與克萊羅定理

定理

令 $f:\mathbb {R} ^{m}\to \mathbb {R} ^{n}$ 為一個函式，並令 $g:\mathbb {R} ^{n}\to \mathbb {R} ^{l}$ 為另一個函式。假設 $g$ 在 $x_{0}$ 處可微，且 $f$ 在 $g(x_{0})$ 處可微。

那麼， $f\circ g$ 在 $x_{0}$ 處可微，並且

$(f\circ g)'(x_{0})=f'{\big (}g(x_{0}){\big )}\circ g'(x_{0})$

證明

我們證明 $f'(g(x_{0}))\circ g'(x_{0})$ 是 $f\circ g$ 的一個有效的微分，從而證明可微性。

我們首先注意到，根據三角不等式的第二個結論，有

$\left|{\frac {{\big \|}g(x_{0}+\mathbf {h} )-g(x_{0}){\big \|}}{\|\mathbf {h} \|}}-{\frac {\|g'(x_{0})\mathbf {h} \|}{\|\mathbf {h} \|}}\right|\leq {\frac {{\Big \|}g(x_{0}+\mathbf {h} )-{\big [}g(x_{0})+g'(x_{0})\mathbf {h} {\big ]}{\Big \|}}{\|\mathbf {h} \|}}\to 0,\mathbf {h} \to 0$

因此，

${\frac {\|g'(x_{0})\mathbf {h} \|}{\|\mathbf {h} \|}}\leq {\frac {mn\max \limits _{1\leq i\leq n \atop 1\leq j\leq m}|a_{i,j}|\|\mathbf {h} \|}{\|\mathbf {h} \|}}$

意味著

${\frac {{\big \|}g(x_{0}+\mathbf {h} )-g(x_{0}){\big \|}}{\|\mathbf {h} \|}}$

其中 $A=(a_{i,j})_{1\leq i\leq n \atop 1\leq j\leq m}$ 是 $g'(x_{0})$ 的矩陣。

現在，我們根據三角不等式注意到，

${\begin{aligned}&{\frac {{\Big \|}(f\circ g)(x_{0}+\mathbf {h} )-{\big [}(f\circ g)(x_{0})+f'{\big (}g(x_{0}){\big )}g'(x_{0})\mathbf {h} {\big ]}{\Big \|}}{\|\mathbf {h} \|}}\\&\leq {\frac {{\bigg \|}f{\big (}g(x_{0}+h){\big )}-{\Big [}f{\big (}g(x_{0}){\big )}+f'{\big (}g(x_{0}){\big )}{\big [}g(x_{0}+h)-g(x_{0}){\big ]}{\Big ]}{\bigg \|}}{\|\mathbf {h} \|}}\\&+{\frac {{\bigg \|}f{\big (}g(x_{0}){\big )}+f'{\big (}g(x_{0}){\big )}{\big [}g(x_{0}+h)-g(x_{0}){\big ]}-{\Big [}(f\circ g)(x_{0})+f'{\big (}g(x_{0}){\big )}g'(x_{0})\mathbf {h} {\Big ]}{\bigg \|}}{\|\mathbf {h} \|}}\end{aligned}}$

我們將首先處理第一個加數，它更難，但也不算太難。我們把它改寫成

${\frac {{\bigg \|}f{\big (}g(x_{0}+h){\big )}-{\Big [}f{\big (}g(x_{0}){\big )}+f'{\big (}g(x_{0}){\big )}{\big [}g(x_{0}+h)-g(x_{0}){\big ]}{\Big ]}{\bigg \|}}{{\big \|}g(x_{0}+h)-g(x_{0}){\big \|}}}\cdot {\frac {{\big \|}g(x_{0}+h)-g(x_{0}){\big \|}}{\|\mathbf {h} \|}}$

後一個因子由於上述考慮是有界的，而第一個因子當 $h\to 0$（因此 $g(x_{0}+h)\to g(x_{0})$，由於相同的界限（乘以 $\|h\|$）；實際上，可微性意味著連續性）。

現在對於第二個加數，它透過簡單的消去和微分的線性性，等於

${\frac {{\bigg \|}f'{\big (}g(x_{0}){\big )}{\Big [}{\big [}g(x_{0}+h)-g(x_{0}){\big ]}-g'(x_{0})\mathbf {h} {\Big ]}{\bigg \|}}{\|\mathbf {h} \|}}\leq mn\max _{1\leq i\leq l \atop 1\leq j\leq n}|b_{i,j}|{\frac {{\Big \|}{\big [}g(x_{0}+h)-g(x_{0}){\big ]}-g'(x_{0})\mathbf {h} {\Big \|}}{\|\mathbf {h} \|}}$

其中 $B=(b_{i,j})_{1\leq i\leq l \atop 1\leq j\leq n}$ 是 $f$ 微分的矩陣。由於 $f$ 微分的定義，當 $\mathbf {h} \to 0$ 時，它趨向於 0。$\Box$

梯度

我們將要介紹的鏈式法則的第一個應用與一個稱為梯度的東西有關，它被定義為函式 $f:\mathbb {R} ^{n}\to \mathbb {R}$，即影像是一維的（在特殊情況下 $n=2$，這些函式看起來像平面上 $\mathbb {R} ^{2}$ 上的函式的“山脈”）。

定義

令 $f:\mathbb {R} ^{n}\to \mathbb {R}$ 是可微的。然後，列向量

$\nabla f(x):={\begin{pmatrix}{\dfrac {\partial f}{\partial x_{1}}}\\\vdots \\{\dfrac {\partial f}{\partial x_{n}}}\end{pmatrix}}$

稱為梯度。

定理:

令 $f,g:\mathbb {R} ^{n}\to \mathbb {R}$ 是兩個在 $x_{0}$ 處完全可微的函式。由於它們都對映到 $\mathbb {R}$，它們的乘積是定義的，我們有

$\nabla (fg)=f\nabla g+g\nabla f$

證明:

現在，人們可以直接從梯度的定義和通常的一維乘積規則（實際上它不需要完全可微性）來計算這一點，但有一個使用鏈式法則的巧妙技巧，我在 Terence Tao 的講義中找到了它，我的數學部分的重複是基於它的。

我們簡單定義 $h:\mathbb {R} ^{n}\to \mathbb {R} ^{2},h(x):={\big (}f(x),g(x){\big )}$ 和 $i:\mathbb {R} ^{2}\to \mathbb {R} ,i(x,y):=x\cdot y$。那麼函式 $f\times g$ 等於 $i\circ h$。現在，$i$ 的微分由雅可比矩陣給出

$J_{i}(x,y)=(y\ x)$

而 $h$ 的微分由雅可比矩陣給出

$J_{h}(x)={\begin{pmatrix}{\dfrac {\partial f}{\partial x_{1}}}(x)&\cdots &{\dfrac {\partial f}{\partial x_{n}}}(x)\\{\dfrac {\partial g}{\partial x_{1}}}(x)&\cdots &{\dfrac {\partial g}{\partial x_{n}}}(x)\end{pmatrix}}$

因此，乘積法則意味著 $i\circ h$ 在 $x$ 處的微分由下式給出

${\begin{pmatrix}g(x)&f(x)\end{pmatrix}}{\begin{pmatrix}{\dfrac {\partial f}{\partial x_{1}}}(x)&\cdots &{\dfrac {\partial f}{\partial x_{n}}}(x)\\{\dfrac {\partial g}{\partial x_{1}}}(x)&\cdots &{\dfrac {\partial g}{\partial x_{n}}}(x)\end{pmatrix}}$

從梯度的定義我們可以看到，微分只不過是梯度的轉置（反之亦然，因為轉置是冪等的）。$\Box$

現在我們將使用鏈式法則將一維中的一個眾所周知的定理，即中值定理，推廣到多個維度。

定理:

設$f:\mathbb {R} ^{n}\to \mathbb {R}$ 在 $\mathbb {R} ^{n}$ 上可微，並設$a\neq b\in \mathbb {R} ^{n}$。則存在$t\in [0,1]$ 使得

$f(b)-f(a)={\bigl \langle }b-a,\nabla f{\bigl (}tb+(1-t)a{\bigr )}{\bigr \rangle }$

其中$\langle \cdot ,\cdot \rangle$ 是 $\mathbb {R} ^{n}$ 上的標準內積。

證明:

實際上，這是一個對鏈式法則的直接應用。

我們設定

$g(\lambda ):=f{\bigl (}(1-\lambda )a+\lambda b{\bigr )}$

因此$g(0)=f(a)$ 且 $g(1)=f(b)$。根據一維中值定理，

$g(1)-g(0)=g'(t)$

對於合適的$t\in [0,1]$。現在根據鏈式法則，

$g'(t)={\bigl \langle }b-a,\nabla f{\bigl (}tb+(1-t)a{\bigr )}{\bigr \rangle }$.$\Box$

克萊羅定理

下一個定理表明，只要所考慮的函式具有足夠的可微性，那麼微分的順序就不重要。在證明過程中，我們不需要使用一般鏈式法則或其任何推論，但我們會使用一維中值定理。

定理（克萊羅定理）:

設$f:\mathbb {R} ^{n}\to \mathbb {R}$ 是一元函式，其偏導數直到二階導數都存在且連續。則

$\partial _{i}\partial _{j}f=\partial _{j}\partial _{i}f$.

證明:

我們從以下引理開始

引理:

$\partial _{j}\partial _{i}f(x)=\lim _{\delta \to 0}{\frac {f(x)-f(x+\delta e_{i})-f(x+\delta e_{j})+f{\bigl (}x+\delta (e_{i}+e_{j}){\bigr )}}{\delta ^{2}}}$

證明: 我們首先應用微積分基本定理，得到上述極限等於

$\lim _{\delta \to 0}{\frac {1}{\delta ^{2}}}\left(\int \limits _{0}^{\delta }\partial _{i}f(x+se_{i})ds-\int \limits _{0}^{\delta }\partial _{i}f(x+\delta e_{j}+se_{i})ds\right)$

使用換元積分和積分的線性性，我們可以將其改寫為

$\lim _{\delta \to 0}{\frac {1}{\delta }}\int \limits _{0}^{1}{\bigl (}\partial _{i}f(x+\delta se_{i})-\partial _{i}f(x+\delta e_{j}+\delta se_{i}){\bigr )}ds$

現在我們應用單變數中的中值定理得到

$\partial _{i}f(x+\delta se_{i})-\partial _{i}f(x+\delta e_{j}+\delta se_{i})=\delta \partial _{j}\partial _{i}f(x+\delta se_{i}+t_{\delta }e_{j})$

對於一個合適的 $t_{\delta }\in [0,\delta ]$。因此，上述極限等於

$\lim _{\delta \to 0}\int \limits _{0}^{1}\partial _{j}\partial _{i}f(x+\delta se_{i}+t_{\delta }e_{j})ds$

這是在 $B_{\delta }(x)$ 的某個子集上對 $\partial _{j}\partial _{i}f$ 的平均值，因此根據 $\partial _{j}\partial _{i}f$ 的連續性，它收斂於 $\partial _{j}\partial _{i}f(x)$（你可以用

$\partial _{j}\partial _{i}f(x)=\int \limits _{0}^{1}\partial _{j}\partial _{i}f(x)ds$

來嚴格證明這一點，並減去積分並應用積分的三角不等式）。$\Box$

現在引理的表示式在 $i$ 和 $j$ 中是完全對稱的，這就是克萊羅定理成立的原因。$\Box$