微積分最佳化方法

微積分的一個關鍵應用是最佳化：找到函式的最大值和最小值，以及哪些點實現了這些極值。

形式上，數學最佳化領域被稱為數學規劃，微積分最佳化方法是非線性規劃的基本形式。我們將主要討論有限維最佳化，用 1 或 2 個變數的函式來說明，並用代數方式討論n 個變數。我們還將指出一些對無限維最佳化的擴充套件，例如變分法，這是這些方法在物理學中的主要應用。

基本技術包括一階導數檢驗和二階導數檢驗，以及它們的高維推廣。

更高階的技術是拉格朗日乘數，以及其推廣形式，如卡羅需-庫恩-塔克條件和巴拿赫空間上的拉格朗日乘數。

最佳化，特別是透過拉格朗日乘數，在以下領域特別有用

此外，數學的幾個領域可以被理解為這些方法的推廣，最值得注意的是莫爾斯理論和變分法。

陳述

本教程介紹了最佳化問題的入門知識，這些問題涉及找到目標函式 $f(x_{1},x_{2},\ldots ,x_{n})$ 的最大值或最小值，受約束形式 $g(x_{1},x_{2},\ldots ,x_{n})=k$ 的限制。

在沒有約束的情況下找到函式 $f(x_{1},x_{2},\ldots ,x_{n})$ 的最優值是一個眾所周知的問題，在微積分課程中已經討論過。通常會使用梯度來找到駐點。然後檢查所有駐點和邊界點以找到最優值。

$f(x,y)$ 在 (0,0) 處有一個駐點。

確定函式在駐點處是否存在極值的一個常用方法是評估該點處的 Hessian 矩陣。Hessian 矩陣定義為

H(f)={\begin{bmatrix}{\frac {{\partial }^{2}f}{\partial x_{1}^{2}}}&{\frac {{\partial }^{2}f}{\partial x_{1}\partial x_{2}}}&\dots &{\frac {{\partial }^{2}f}{\partial x_{1}\partial x_{n}}}\\{\frac {{\partial }^{2}f}{\partial x_{2}\partial x_{1}}}&{\frac {{\partial }^{2}f}{\partial x_{2}^{2}}}&\dots &{\frac {{\partial }^{2}f}{\partial x_{2}\partial x_{n}}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {{\partial }^{2}f}{\partial x_{n}\partial x_{1}}}&{\frac {{\partial }^{2}f}{\partial x_{n}\partial x_{2}}}&\dots &{\frac {{\partial }^{2}f}{\partial x_{n}^{2}}}\\\end{bmatrix}}.

二階導數檢驗根據以下規則確定駐點 $x$ 的最優性 [2]

在上面的例子中。

H(f)={\begin{bmatrix}4&0\\0&2\end{bmatrix}}.

因此， $f(x,y)$ 在 (0,0) 處取得最小值。

[1] T.K. Moon 和 W.C. Stirling。訊號處理的數學方法和演算法。Prentice Hall。2000 年。