微積分最佳化方法/拉格朗日乘子

拉格朗日乘子法透過將約束最佳化問題轉換為以下形式的無約束最佳化問題來解決問題

• $\operatorname {\mathcal {L}} (x_{1},x_{2},\ldots ,x_{n},\lambda )=\operatorname {f} (x_{1},x_{2},\ldots ,x_{n})+\operatorname {\lambda } (k-g(x_{1},x_{2},\ldots ,x_{n}))$

然後找到梯度和海森矩陣，如上面所做，將確定$\operatorname {\mathcal {L}} (x_{1},x_{2},\ldots ,x_{n},\lambda )$ 的任何最優值。

假設我們現在想要找到 $f(x,y)=2x^{2}+y^{2}$ 的最優值，受 $x+y=1$ 的約束 [2]。

那麼拉格朗日方法將得到一個無約束函式。

• $\operatorname {\mathcal {L}} (x,y,\lambda )=2x^{2}+y^{2}+\lambda (1-x-y)$

這個新函式的梯度是

• ${\frac {\partial {\mathcal {L}}}{\partial x}}(x,y,\lambda )=4x+\lambda (-1)=0$
• ${\frac {\partial {\mathcal {L}}}{\partial y}}(x,y,\lambda )=2y+\lambda (-1)=0$
• ${\frac {\partial {\mathcal {L}}}{\partial \lambda }}(x,y,\lambda )=1-x-y=0$

可以從它們的矩陣形式中找到上述方程的駐點。

${\begin{bmatrix}4&0&-1\\0&2&-1\\-1&-1&0\end{bmatrix}}{\begin{bmatrix}x\\y\\\lambda \end{bmatrix}}={\begin{bmatrix}0\\0\\-1\end{bmatrix}}$

這導致 $x=1/3,y=2/3,\lambda =4/3$。

接下來，我們可以像以前一樣使用海森矩陣來確定此駐點的型別。

$H({\mathcal {L}})={\begin{bmatrix}4&0&-1\\0&2&-1\\-1&-1&0\end{bmatrix}}$

由於 $H({\mathcal {L}})>0$，因此解 $(1/3,2/3,4/3)$ 使 $f(x,y)=2x^{2}+y^{2}$ 在約束條件 $x+y=1$ 下取得最小值，其中 $f(x,y)=2/3$。