以下是 OLS 的正規方程證明。

OLS 的目標是最小化平方誤差項的總和，以找到最佳擬合，也稱為殘差平方和 (RSS)。這用 $\sum {\hat {\epsilon _{i}}}^{2}$ 表示。

定義 RSS

已知： ${\hat {\epsilon _{i}}}=Y_{i}-{\hat {Y_{i}}}=Y_{i}-\alpha -\beta X_{i}$

RSS = $\sum {\hat {\epsilon _{i}}}^{2}$ =

$=\sum (Y_{i}-{\hat {Y_{i}}})^{2}$

$=\sum (Y_{i}-{\hat {\alpha }}-{\hat {\beta }}X_{i})^{2}$

微分 RSS（以便我們隨後可以最小化它）

$min_{\alpha }\sum {\hat {\epsilon _{i}}}^{2}$ =

${\frac {\partial \sum {\hat {\epsilon _{i}}}^{2}}{\partial {\hat {\alpha }}}}=\sum 2{\hat {\epsilon _{i}}}{\frac {\partial {\hat {\epsilon _{i}}}}{\partial {\hat {\alpha }}}}=2\sum {\hat {\epsilon _{i}}}(-1)=2\sum (Y_{i}-{\hat {\alpha }}-{\hat {\beta }}X_{i})(-1)=0$

$min_{\beta }\sum {\hat {\epsilon _{i}}}^{2}$ =

${\frac {\partial \sum {\hat {\epsilon _{i}}}^{2}}{\partial {\hat {\beta }}}}=\sum 2{\hat {\epsilon _{i}}}{\frac {\partial {\hat {\epsilon _{i}}}}{\partial {\hat {\beta }}}}=2\sum {\hat {\epsilon _{i}}}(-X_{i})=2\sum (Y_{i}-{\hat {\alpha }}-{\hat {\beta }}X_{i})(-X_{i})=0$

因此我們有兩個方程

$\sum (Y_{i}-{\hat {\alpha }}-{\hat {\beta }}X_{i})(-1)=0$

和

$\sum (Y_{i}-{\hat {\alpha }}-{\hat {\beta }}X_{i})(-X_{i})=0$ （這裡將兩邊都除以2）

將它們都設為 $\sum Y_{i}$

我們得到

$\sum Y_{i}=n{\hat {\alpha }}+{\hat {\beta }}\sum X_{i}$ （這是第一個OLS正規方程）

和

$\sum Y_{i}X_{i}={\hat {\alpha }}\sum X_{i}+{\hat {\beta }}\sum X_{i}^{2}$ （這是第二個OLS正規方程）

求解正規方程

將第一個方程除以n

${\frac {1}{n}}\sum Y_{i}={\hat {\alpha }}+{\frac {1}{n}}{\hat {\beta }}\sum X_{i}$

留下我們 $\left(\sum W_{i}{\frac {1}{n}}={\bar {W}}\right)$

${\bar {Y}}={\hat {\alpha }}+{\hat {\beta }}{\bar {X}}\Leftrightarrow {\hat {\alpha }}={\bar {Y}}-{\hat {\beta }}{\bar {X}}$

現在我們知道如何獲得 α(hat)，我們可以繼續處理 β(hat)

$\sum Y_{i}X_{i}={\hat {\alpha }}\sum X_{i}+{\hat {\beta }}\sum X_{i}^{2}=[{\bar {Y}}-{\hat {\beta }}{\bar {X}}]\sum X_{i}+{\hat {\beta }}\sum X_{i}^{2}=[{\frac {(\sum X_{i})(\sum Y_{i})}{n}}]+{\hat {\beta }}[\sum X_{i}^{2}-{\frac {(\sum X_{i})^{2}}{n}}]$

我們可以將 β(hat) 移到一邊

${\hat {\beta }}={\frac {\sum Y_{i}X_{i}-{\frac {(\sum X_{i})(\sum Y_{i})}{n}}}{\sum X_{i}^{2}-{\frac {(\sum X_{i})^{2}}{n}}}}={\frac {\sum (x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sum (x_{i}-{\bar {x}})^{2}}}$

- n \bar{X} \bar{Y}

現在我們得到了 OLS 的正規方程。

由於我們有兩個方程和兩個未知數，我們可以求解它們 ( ${\hat {\alpha }},{\hat {\beta }}$ ).