偏微分方程/變分法

變分法是一種證明某些方程存在性和唯一性結果的方法；特別是，它可以應用於一些偏微分方程。該方法的工作原理如下：假設我們要解決一個關於變數 $x$ 的方程（這個變數也可以是一個函式）。我們尋找一個函式，其最小值滿足該方程，然後證明存在一個最小值。因此，我們得到了一個存在性結果。

在某些情況下，我們還能夠證明滿足方程的值 $x$ 是該函式的最小值。如果我們現在瞭解該函式的最小值的數量，我們也將知道該方程解的數量。如果該函式只有一個最小值，那麼我們就得到了一個唯一性結果。

有時，變分法也以“相反的方式”工作：我們有一個難以找到最小值的函式。然後我們證明該函式的最小值正是易於求解的偏微分方程的解。然後我們求解偏微分方程以獲得函式的最小值。

“正常”方程

考慮方程組

$(*){\begin{cases}f_{1}(x)&=0\\f_{2}(x)&=0\\~~~~\vdots \\f_{d}(x)&=0\\\end{cases}}$

對於函式 $f_{n}:\mathbb {R} ^{d}\to \mathbb {R} ,n\in \{1,\ldots ,d\}$。如果存在函式 $f\in {\mathcal {C}}^{1}(\mathbb {R} ^{d})$ 使得

$\nabla f={\begin{pmatrix}f_{1}\\f_{2}\\\vdots \\f_{d}\end{pmatrix}}$

我們發現，方程組 $(*)$ 當且僅當以下條件滿足時成立

$\nabla f(x)=0$

如果 $f$ 滿足正確的條件，那麼 $\nabla f(x)=0$ 恰好在一個點 $x\in \mathbb {R} ^{d}$ 成立

定義 13.1:

設 $f\in {\mathcal {C}}^{2}(\mathbb {R} ^{d})$，並記 $f$ 在 $x$ 處的 Hessian 矩陣為 $H_{f}(x)$。如果 $f$ 滿足以下條件，則稱其為 **強凸函式**

$\exists c>0:\forall x\in \mathbb {R} ^{d},\mathbf {v} \in \mathbb {R} ^{d}:\mathbf {v} ^{T}H_{f}(x)\mathbf {v} \geq c\|\mathbf {v} \|^{2}$

定理 13.2:

設 $f\in {\mathcal {C}}^{2}(\mathbb {R} ^{d})$ 為強凸函式，則 $f$ 只有一個臨界點（即滿足 $\nabla f(x)=0$ 的點 $x\in \mathbb {R} ^{d}$）。

證明:

由於 $f$ 是強凸函式，所以對所有 $x\in \mathbb {R} ^{d}$，$H_{f}(x)$ 是正定的。因此，每個臨界點都是區域性最小值（這是區域性極小值的充分條件）。因此，我們只需證明只有一個區域性最小值即可。

1.

我們證明存在區域性最小值。

我們在 $0$ 處使用泰勒公式

$\forall x\in \mathbb {R} ^{d}:\exists \lambda \in [0,1]:f(x)=f(0)+x^{T}\nabla f(0)+{\frac {1}{2}}x^{T}H_{f}(\lambda x)x$

因此，

${\begin{aligned}\forall x\in \mathbb {R} ^{d}:f(x)&=f(0)+x^{T}\nabla f(0)+{\frac {1}{2}}x^{T}H_{f}(\lambda x)x&{\text{ for a }}\lambda \in [0,1]\\&\geq f(0)+x^{T}\nabla f(0)+{\frac {c}{2}}\|x\|^{2}&f{\text{ is strongly convex}}\\&\geq f(0)-\|x\|\|\nabla f(0)\|+{\frac {c}{2}}\|x\|^{2}&{\text{Cauchy-Schwarz inequality}}\end{aligned}}$

對於一個 $c\in \mathbb {R} _{>0}$。因此，存在一個 $R\in \mathbb {R} _{>0}$ 使得

$\forall x\notin B_{R}(0):f(x)>f(0)~~~~~(**)$

根據極值定理，存在一個最小值 $y$ 在 ${\overline {B_{R}(0)}}$ 中。它不能在邊界上取得，因為如果 $f(y)\in \partial B_{R}(0)$，那麼 $y\notin B_{R}(0)$，因此根據 $(**)$，$f(y)>f(0)$，這意味著 $y$ 不是最小值。因此它是在內部取得，因此是一個區域性最小值。事實上，從 $(**)$ 和 $y$ 在 ${\overline {B_{R}(0)}}$ 上是最小值，甚至可以推斷它是 $f:\mathbb {R} ^{d}\to \mathbb {R}$ 的全域性最小值。

2.

我們證明只有一個區域性最小值。

設 $x$ 和 $y$ 是兩個區域性最小值。我們證明 $y=x$，從而排除兩個不同最小值存在的可能性。我們定義一個函式 $\mu :\mathbb {R} \to \mathbb {R}$ 如下所示

$\mu (\xi ):=f(\xi y+(1-\xi )x)$

讓我們計算 $\mu$ 的一階和二階導數

${\begin{aligned}\mu '(\xi )&={\begin{pmatrix}\partial _{x_{1}}f(\xi y+(1-\xi )x)&\cdots &\partial _{x_{d}}f(\xi y+(1-\xi )x)\end{pmatrix}}(y-x)&{\text{ multi-dimensional chain rule}}\\&=\sum _{k=1}^{d}\partial _{x_{k}}f(\xi y+(1-\xi )x)(y_{k}-x_{k})&\\\mu ''(\xi )&=\sum _{k=1}^{d}{\begin{pmatrix}\partial _{x_{1}}\partial _{x_{k}}f(\xi y+(1-\xi )x)&\cdots &\partial _{x_{d}}\partial _{x_{k}}f(\xi y+(1-\xi )x)\end{pmatrix}}(y-x)&{\text{ multi-dimensional chain rule}}\\&=(y-x)^{T}H_{f}(\xi y+(1-\xi )x)(y-x)&\end{aligned}}$

由於 $x$ 和 $y$ 都是區域性極小值，$\nabla f(x)=0$ 和 $\nabla f(y)=0$。因此，

$\mu '(0)=\nabla f(x)\cdot (y-x)=0$

以及

$\mu '(1)=\nabla f(y)\cdot (y-x)=0$

因此，根據中值定理，存在一個 $\lambda \in (0,1)$ 使得

$\mu ''(\lambda )=0$

但由於

$\mu ''(\lambda )=(y-x)^{T}H_{f}(\lambda y+(1-\lambda )x)(y-x){\overset {{\text{strong convexity of }}f}{\geq }}c\|y-x\|^{2}$

, $\mu ''(\lambda )=0$ 意味著 $x=y$.$\Box$

推論 13.3:

假設我們有一個方程組

$(*){\begin{cases}f_{1}(x)&=0\\f_{2}(x)&=0\\~~~~\vdots \\f_{d}(x)&=0\\\end{cases}}$

如果存在一個函式 $f\in {\mathcal {C}}^{2}(\mathbb {R} ^{d})$，它是強凸的，並且

$\nabla f={\begin{pmatrix}f_{1}\\f_{2}\\\vdots \\f_{d}\end{pmatrix}}$

，那麼方程組 $(*)$ 恰好有一個解。

證明：參見練習 1。

示例 13.4:

另一個例子在練習 2 中給出。