微積分最佳化方法

微積分的一個關鍵應用是最佳化：尋找函式的最大值和最小值，以及哪些點實現這些極值。

在形式上，數學最佳化的領域被稱為數學規劃，微積分最佳化方法是非線性規劃的基本形式。我們將主要討論有限維最佳化，並以一兩個變數的函式為例，並代數地討論n個變數。我們還將指示一些擴充套件到無限維最佳化，例如變分法，這是這些方法在物理學中的主要應用。

基本技術包括一階和二階導數檢驗，以及它們的更高維推廣。

更高階的技術是拉格朗日乘子，以及推廣形式如卡羅需-庫恩-塔克條件和巴拿赫空間上的拉格朗日乘子。

最佳化，特別是透過拉格朗日乘子，在以下領域得到了廣泛應用

此外，許多數學領域可以被理解為這些方法的推廣，特別是莫爾斯理論和變分法。

陳述

本教程介紹了最佳化問題的基礎知識，這些問題涉及到尋找目標函式 $f(x_{1},x_{2},\ldots ,x_{n})$ 的最大值或最小值，受 $g(x_{1},x_{2},\ldots ,x_{n})=k$ 形式的約束。

在沒有約束的情況下找到函式 $f(x_{1},x_{2},\ldots ,x_{n})$ 的最優值是一個眾所周知的問題，在微積分課程中已經解決。通常會使用梯度來尋找駐點。然後檢查所有駐點和邊界點以找到最優值。

$f(x,y)$ 在 (0,0) 處只有一個駐點。

確定函式在駐點處是否存在極值的一種常見方法是評估該點處的函式的 Hessian 矩陣。其中 Hessian 矩陣定義為

H(f)={\begin{bmatrix}{\frac {{\partial }^{2}f}{\partial x_{1}^{2}}}&{\frac {{\partial }^{2}f}{\partial x_{1}\partial x_{2}}}&\dots &{\frac {{\partial }^{2}f}{\partial x_{1}\partial x_{n}}}\\{\frac {{\partial }^{2}f}{\partial x_{2}\partial x_{1}}}&{\frac {{\partial }^{2}f}{\partial x_{2}^{2}}}&\dots &{\frac {{\partial }^{2}f}{\partial x_{2}\partial x_{n}}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {{\partial }^{2}f}{\partial x_{n}\partial x_{1}}}&{\frac {{\partial }^{2}f}{\partial x_{n}\partial x_{2}}}&\dots &{\frac {{\partial }^{2}f}{\partial x_{n}^{2}}}\\\end{bmatrix}}.

二階導數檢驗根據以下規則確定駐點 $x$ 的最優性 [2]

在上面的例子中。

H(f)={\begin{bmatrix}4&0\\0&2\end{bmatrix}}.

因此 $f(x,y)$ 在 (0,0) 處取得最小值。

[1] T.K. Moon 和 W.C. Stirling。訊號處理的數學方法與演算法。Prentice Hall。2000。