計量經濟學理論/矩陣微分

矩陣微分有一些簡單的規則。這些規則使得許多計量經濟學問題可以用矩陣形式來表示，這比使用巢狀的求和符號更加簡單和簡潔。

對內積關於向量的求導

設**a**為給定的列向量，設**x**為列選擇向量（待選擇的數值向量）。它們的轉置可以表示為**a'**和**x'**。然後，它們的內積（一個標量）關於**x**的導數是一個列向量

∂a'x/∂x = ∂x'a/∂x = a.

對二次型關於向量的求導

設**A**為矩陣，可以是對稱矩陣也可以是非對稱矩陣，考慮二次型**x'Ax**，它本身是一個標量。這個二次型關於向量**x**的導數是一個列向量

∂x'Ax/∂x = (A+A')x.

但在計量經濟學中，二次型中的矩陣幾乎總是對稱的。如果**A**確實是對稱的，公式可以簡化為

∂x'Ax/∂x = 2Ax.

應用於普通最小二乘法

或許計量經濟學中最基本的概念是普通最小二乘法，在這種方法中，我們選擇迴歸係數以最小化迴歸的殘差平方和（誤差預測）。假設迴歸模型為

y = Xβ + e,

其中**y**是一個 *n*×1 的觀測因變數值的向量，**X**是一個 *n×k* 的矩陣，其中每一列都是一個 *n*×1 的觀測自變數值的向量（*k<n*），**β**是一個 *k*×1 的待選估計響應係數向量，**e**是一個 *n*×1 的殘差向量。

讀者可以確認殘差平方和 - **e** 元素的平方之和 - 由下式給出

e'e = (y - Xβ)'(y - Xβ) = y'y - y'Xβ - β'X'y + β'X'Xβ = y'y - 2β'(X'y) + β'(X'X)β

其中最後一個等式成立是因為**y'Xβ**是一個標量，因此它本身就是它的轉置。注意，**(X'y)** 是一個 *k*×1 的向量，**(X'X)** 是一個 *k×k* 的矩陣。使用上述微分規則，我們得到

∂e'e/∂β = -2X'y + 2(X'X)β,

我們使用了 **X'X** 是對稱的事實。當我們透過將這個向量導數等同於零向量來表示一階條件時，我們得到

(X'X)β = X'y,

這可以解出選擇向量 **β** 如下

β = (X'X)^-1X'y.

這就是普通最小二乘估計量。注意，只要 **X** 的列滿秩，表示式 **(X'X)^-1** 就存在，並且 **(X'X)** 是正定的，確保二階條件得到滿足。