計量經濟學理論/普通最小二乘法 (OLS)

普通最小二乘法 或 OLS 是線性迴歸中最簡單（如果你能這樣稱呼它）的方法之一。OLS 的目標是將函式與資料緊密“擬合”。它是透過最小化資料中平方誤差的總和來實現的。

為什麼我們在求和之前對誤差進行平方

我們不是試圖最小化誤差的總和，而是最小化平方誤差的總和。讓我們再簡要回顧一下我們的毛衣故事。

模型 A

模型 B

模型	資料點	來自線的誤差
A	1	5
A	2	10
A	3	-5
A	4	-10
B	1	3
B	2	-3
B	3	3
B	4	-3

請注意，模型 A 的總和為 $5+10-5-10=0$，而模型 B 的總和為 $3-3+3-3=0$

這兩個模型的誤差總和都為 0。這是否意味著它們都非常適合！不！

因此，為了考慮符號，無論何時我們對誤差求和，我們都會先對項進行平方。因此，正負偏差都受到同等的懲罰，同時試圖最小化擬合線的誤差。

模型

這兩個模型都有一個截距項 $\alpha$ 和一個斜率項 $\beta$ （一些教科書使用 $\beta _{0}$ 而不是 $\alpha$ 和 $\beta _{1}$ 而不是 $\beta$，當我們轉向多元公式時，這是一種更好的方法）。我們可以用以下公式表示任意單變數模型：$y_{i}=\alpha +\beta x_{i}+u_{i}$ 根據這個公式，y 值與 x 值相關。 $y$ 被稱為因變數，$x$ 被稱為自變數，因為 $y_{i}$ 的值由 $x_{i}$ 的值決定。我們使用下標 i 來表示一個觀測值。所以 $y_{1}$ 與 $x_{1}$ 配對，$y_{2}$ 與 $x_{2}$ 配對，等等。 $u_{t}$ 項是誤差項，它是 $x_{i}$ 的影響和 $y_{i}$ 的觀測值之間的差異。

不幸的是，我們不知道 $\alpha ,\beta$ 或 $u_{t}$ 的值。我們必須對它們進行近似。我們可以使用普通最小二乘法來實現這一點。術語“最小二乘”意味著我們試圖最小化平方和，或者更具體地說，我們試圖最小化平方誤差項。由於我們需要最小化的變數有兩個（$\alpha$ 和 $\beta$），我們有兩個方程。
$f=\Sigma u_{i}^{2}=\Sigma (y_{i}-\alpha -\beta x_{i})^{2}$
${\frac {\partial f}{\partial \alpha }}=-2\Sigma (y_{i}-\alpha -\beta x_{i})=0$
${\frac {\partial f}{\partial \beta }}=-2\Sigma (y_{i}-\alpha -\beta x_{i})x_{i}=0$
將這些方程的解稱為 ${\hat {\alpha }}$ 和 ${\hat {\beta }}$。解得
${\hat {\alpha }}={\bar {y}}-{\hat {\beta }}{\bar {x}}$
${\hat {\beta }}={\frac {\Sigma (x_{i}-{\bar {x}})y_{i}}{\Sigma (x_{i}-{\bar {x}})^{2}}}$
其中 ${\bar {y}}={\frac {\Sigma y_{i}}{n}}$ 和 ${\bar {x}}={\frac {\Sigma x_{i}}{n}}$。計算這些結果可以作為練習留給讀者。

需要注意的是，${\hat {\alpha }}$ 和 ${\hat {\beta }}$ 與 $\alpha$ 和 $\beta$ 不同，因為它們是基於單個樣本而不是整個總體得到的。如果你取不同的樣本，你將得到不同的 ${\hat {\alpha }}$ 和 ${\hat {\beta }}$ 的值。我們稱 ${\hat {\alpha }}$ 和 ${\hat {\beta }}$ 為 $\alpha$ 和 $\beta$ 的 OLS 估計量。計量經濟學的主要目標之一是分析這些估計量的質量，並觀察在什麼條件下這些是好的估計量，以及在什麼條件下它們不是好的估計量。

一旦我們有了 ${\hat {\alpha }}$ 和 ${\hat {\beta }}$，我們可以構建另外兩個變數。第一個是擬合值，或者說對 *y* 的估計
${\hat {y}}_{i}={\hat {\alpha }}+{\hat {\beta }}x_{i}$
第二個是誤差項的估計，我們將稱之為 **殘差**
${\hat {u}}_{i}=y_{i}-{\hat {y}}_{i}$
這兩個變數將在後面起到重要作用。