工程分析/隨機向量

我們迄今為止學到的許多概念都與隨機變數有關。但是，所有這些概念都可以被轉化來處理隨機數的向量。隨機向量 X 包含 N 個元素，X_i，它們中的每一個都是一個不同的隨機變數。隨機向量中的單個元素可能相互關聯或相互依賴，也可能不相關或不相互依賴。

$X={\begin{bmatrix}X_{1}\\X_{2}\\\vdots \\X_{N}\end{bmatrix}}$

期望

隨機向量的期望是向量中每個元素的期望值的向量。例如

$E[X]={\begin{bmatrix}E[X_{1}]\\E[X_{2}]\\\vdots \\E[X_{N}]\end{bmatrix}}$

使用這個定義，隨機向量 X 的均值向量，表示為 μ_X，是由 X 的所有單個元素的均值組成的向量

$\mu _{X}={\begin{bmatrix}\mu _{X_{1}}\\\mu _{X_{2}}\\\vdots \\\mu _{X_{N}}\end{bmatrix}}$

相關矩陣

隨機向量 X 的相關矩陣定義為

$R_{X}=E[XX^{T}]$

其中相關矩陣的每個元素對應於 X 的行元素與 X^T 的列元素之間的相關性。相關矩陣是一個實對稱矩陣。如果相關矩陣的非對角元素都為零，則稱該隨機向量是**不相關的**。如果 R 矩陣是單位矩陣，則稱該隨機向量是“白”的。例如，“白噪聲”是不相關的，並且向量的每個元素具有相等的相關值。

矩陣對角化

如前所述，我們可以透過從矩陣的特徵向量構建 V 矩陣來對角化矩陣。如果 X 是我們的非對角矩陣，我們可以透過以下方法建立一個對角矩陣 D

$D=V^{-1}XV$

如果 X 矩陣是實對稱的（像相關矩陣一樣），我們可以將其簡化為

$D=V^{T}XV$

白化

可以透過構建一個矩陣 W 來使矩陣白化，該矩陣在對角線上包含 X 的特徵值的平方根的倒數

$W={\begin{bmatrix}{\frac {1}{\sqrt {\lambda _{1}}}}&\cdots \\0&{\frac {1}{\sqrt {\lambda _{2}}}}\cdots \\\vdots &\vdots &\ddots \end{bmatrix}}$

使用這個 W 矩陣，我們可以將 X 轉換為單位矩陣

$I=W^{T}V^{T}XVW$

同時對角化

如果我們有兩個矩陣X和Y，我們可以構造一個矩陣A，它將滿足以下關係

$A^{T}XA=I$

$A^{T}YA=D$

其中I是一個單位矩陣，D是一個對角矩陣。這個過程被稱為同時對角化。如果我們有上面描述的V和W矩陣，使得

$I=W^{T}V^{T}XVW$,

然後我們可以透過對Y矩陣應用相同的變換來構造B矩陣

$W^{T}V^{T}YVW=B$

我們可以將B的特徵值組合成一個變換矩陣Z，使得

$Z^{T}BZ=D$

然後我們可以將我們的A矩陣定義為

$A=VWZ$

$A^{T}=Z^{T}W^{T}V^{T}$

這個A矩陣將滿足上面概述的同步對角化過程。

協方差矩陣

兩個隨機向量X和Y的協方差矩陣定義為

$Q_{X}=E[(X-\mu _{X})(Y-\mu _{Y})^{T}]=E[(Y-\mu _{Y})(X-\mu _{X})^{T}]$

其中協方差矩陣的每個元素表示X的行元素與Y的列元素之間的方差關係。協方差矩陣是實對稱的。

我們可以透過以下公式將相關矩陣與協方差矩陣聯絡起來

$R=Q+\mu _{X}\mu _{X}^{T}$

累積分佈函式

N向量X具有定義為N個變數的累積分佈函式F_x

$F_{X}(X)=P[X\leq x]=P[X_{1}\leq x_{1},X_{2}\leq x_{2},\cdots ,X_{N}\leq x_{N}]$

機率密度函式

隨機向量的機率密度函式可以用累積分佈函式的N^th偏導數來定義

$f_{X}(X)={\frac {\partial ^{N}F_{X}(X)}{\partial X_{1}\partial X_{2}\cdots \partial X_{N}}}$

如果我們知道密度函式，我們可以使用N-1次積分求出X的第i個元素的均值

$\mu _{X_{i}}=\int _{-\infty }^{\infty }\int _{-\infty }^{\infty }\cdots \int _{-\infty }^{\infty }x_{i}f_{X}(x)dx_{1}dx_{2}\cdots dx_{n}$