統計學/多元資料分析

分佈

多元正態分佈

多元正態分佈只是將正態分佈擴充套件到多元情況。多元正態分佈的最簡單定義如下

定義（多元正態分佈）:

如果 $\forall \mathbf {a} \in \mathbb {R} ^{p},\ \mathbf {a} ^{T}\mathbf {X} \sim {\mathcal {N}}(\mathbf {a} ^{T}\mu ,\mathbf {a} ^{T}\Sigma \mathbf {a} )$ ，那麼維度為 $p$ 的隨機向量 $\mathbf {X}$ 被認為服從均值為 $\mu$ 、協方差矩陣為 $\Sigma$ 的多元正態分佈。它表示為 $\mathbf {X} \sim {\mathcal {N}}_{p}(\mu ,\Sigma )$ .

乍一看，這個定義似乎相當抽象和深奧。畢竟，單變數正態分佈具有特定的密度形式和特定的特徵函式，兩者都是對任何機率分佈的數學上有效的刻畫。但是，這種定義對於處理 $\Sigma$ 不是嚴格正定的時候是必要的。當 $\Sigma$ 為正定時，可以透過 Gauss-Markov 定理證明 $\mathbf {X} ,\ f_{\mathbf {X} }(\mathbf {x} )={\frac {1}{{\sqrt {2\pi }}|\Sigma |^{\frac {1}{2}}}}e^{-{\frac {1}{2}}(\mathbf {x} -\mu )^{T}\Sigma ^{-1}(\mathbf {x} -\mu )}$ 的密度函式。但是，當 $\Sigma$ 為奇異矩陣時，情況並非如此，因為在這種情況下，密度函式將不存在。但是，基於特徵函式的定義仍然有效。仍然可以根據 $\Sigma$ 的特徵值推匯出分段密度函式，但它不是真正的密度函式。

矩陣多元正態分佈

我們首先需要建立一些符號。令 $X_{m\times n}$ 為一個具有列向量 $c_{(1)},c_{(2)},\ldots ,c_{(n)}$ 的矩陣。然後我們定義列向量 ${\textstyle vec(X):={\begin{bmatrix}c_{(1)}\\c_{(2)}\\\vdots \\c_{(n)}\end{bmatrix}}}$ ，我們稱之為 $X$ 的向量化。

定義（矩陣多元正態分佈）:

我們說 $X_{m\times n}$ 服從均值矩陣為 $\mu _{m\times n}$ 、協方差矩陣為 $\Sigma _{mn\times mn}$ 的矩陣多元正態分佈，如果 $vec(X)\sim {\mathcal {N}}_{mn}(vec(\mu ),\Sigma )$

讀者應該注意到，這僅僅是將正態分佈強加於 $X$ 的向量化。因此，許多對多元正態隨機向量成立的結果，對於矩陣多元正態隨機變數的向量化也同樣成立。

現在我們已經定義了多元正態分佈和矩陣正態分佈，下一步的目標應該是找到類似於一元 $\chi _{(p)}^{2}$ 分佈的類似物，該分佈具有 $p$ 個自由度，以及學生t分佈，這兩個分佈與一元正態分佈密切相關。我們知道，如果 $X_{i}\sim {\mathcal {N}}(\mu _{i},\sigma _{i}^{2})\ \forall i\in \{1,2,\ldots n\}$ ，則 $\sum _{i=1}^{n}{\frac {(X_{i}-\mu _{i})^{2}}{\sigma _{i}^{2}}}\sim \chi _{(n)}^{2}$ 。多元情況下類似的分佈是什麼？

威沙特分佈

定義（威沙特分佈）:

如果 $\mathbf {X} _{i}{\overset {iid}{\sim }}{\mathcal {N}}_{p}(\mu ,\Sigma )$ 對於 $i\in \{1,2,\ldots n\}$ ，則 $S=\sum _{i=1}^{n}(\mathbf {X_{i}} -\mu )(\mathbf {X_{i}} -\mu )^{T}$ 被稱為具有 $n$ 個自由度和關聯矩陣 $\Sigma$ 的威沙特分佈。它表示為 $S\sim W_{p}(n,\Sigma )$ 。

雖然 Wishart 分佈確實存在一種密度形式，但證明我們所需的大多數結果並不需要它。然而，需要注意的是，如果 $S$ 遵循 Wishart 分佈，則 ${\frac {\mathbf {a} ^{T}S\mathbf {a} }{\mathbf {a} ^{T}\Sigma \mathbf {a} }}\sim \chi _{(n)}^{2}$ 。這個結果可以透過在 $S$ 的左邊和右邊分別乘以 $\mathbf {a} ^{T}$ 和 $\mathbf {a}$ ，然後利用 $\mathbf {a} ^{T}\mathbf {X} \sim {\mathcal {N}}(\mathbf {a} ^{T}\mu ,\mathbf {a} ^{T}\Sigma \mathbf {a} )$ 的事實。

方法