跳轉到內容

機率/機率密度變換

來自 Wikibooks,開放世界的開放書籍
一本 Wikibook,展示瞭如何在單維和多維情況下變換連續隨機變數的機率密度。換句話說,它展示瞭如何計算連續隨機變數函式的分佈。

這本 Wikibook 展示瞭如何在單維和多維情況下變換 連續隨機變數 的機率密度。第一節闡述了通用問題並提供瞭解決方案。然而,這個通用解決方案通常很難評估,並且在特殊情況下可以進行簡化,例如,如果隨機向量是一維的,或者如果隨機向量的分量是獨立的。隨後章節推導了這些特殊情況的公式。這本 Wikibook 還旨在概述該領域中使用的不同方程式,並展示它們之間的聯絡。

一般問題和解決方案 (n-to-m 對映)

[編輯 | 編輯原始碼]

為具有 隨機向量機率密度函式,pdf,,並設 為一個 (Borel 可測) 函式。我們正在尋找 的機率密度函式,即 .

首先,我們需要記住 累積分佈函式,cdf, 的定義:它衡量了 Y 的每個分量都小於 y 的對應分量的機率。我們將使用簡寫符號,並說兩個向量“小於或等於”(≤)如果它們的每個分量都滿足條件。

 

 

 

 

(1)

然後透過對求導可得所需的密度

 

 

 

 

(2)

因此,一般解可以表示為n維積分的m階導數

n → ℝm 對映

 

 

 

 

(3)

以下各部分將提供特殊情況下的簡化方法。

隨機變數的函式 (n=1, m=1)

[edit | edit source]

如果 n=1 且 m=1,X 是一個連續分佈的隨機變數,其密度為,並且 是一個可測博雷爾函式。那麼 Y := f(X) 也是連續分佈的,我們尋找密度

在下文中,f 始終至少可微。

首先要注意,可能存在 f 永遠無法達到的值,例如,如果 f(x) = x2 則 y<0。對於所有這些 y,必然有

根據公式 12,我們可以得到

 

 

 

 

(4)

現在我們將以不同的方式重新排列這個表示式。

使用累積分佈函式 Fx 的推導

[edit | edit source]

首先,我們將自己限制在導數始終不為 0 的 f(因此,f 是一個 微分同胚)。然後,逆對映 存在,並且 f 或者單調遞增或者單調遞減。

如果 f 單調遞增,則 並且 。因此

如果 f 單調遞減,則 並且 。因此

這可以總結為

 

 

 

 

(5)

如果現在導數 在某些位置 為零,,那麼我們將 f 的定義空間使用這些位置分割成 個不相交的區間 。公式 5 對定義空間限制在這些區間 上的函式 成立。我們有

 

 

 

 

(5a)

按照約定,0 個加數的總和為 0,並使用反函式定理,可以將此寫成更緊湊的形式(讀作:所有滿足 f(x)=y 的 x 的總和)

ℝ → ℝ 對映

 

 

 

 

(6)

使用積分替換的推導

[edit | edit source]

在本節中,我們將考慮一個不同的推導。

公式 4 中的機率是機率密度的積分。同樣在 f 單調遞增的情況下,我們有

現在我們將右側積分中的 u 替換為 f(x),即 以及 。 積分的上下限則分別為 -∞ 到 y, 且根據 “” 的法則, 我們得到 , 這由反函式定理得出。 因此

對等式兩邊關於 y 求導,我們得到

遵循與上一節相同的論證,我們再次可以推匯出方程式 6

這個規則經常誤導物理學書籍呈現以下觀點,該觀點可能更容易記憶,但並不嚴謹: 如果你將機率密度 乘以“無窮小長度, 那麼你將得到 X 位於區間 [x, x+dx] 內的機率 。 將座標改為 y, 透過代換, 你將得到

使用 Delta 分佈推導

[編輯 | 編輯原始碼]

在本節中,我們將考慮另一種不同的推導方法,這種方法在物理學中經常使用。

我們再次從公式 4 開始,將其寫成積分形式

最後一個表示式的直觀解釋是:對所有可能的 x 值進行積分,並使用 delta “函式” 來選擇所有 y = f(x) 的位置。此公式通常出現在物理學書籍中,可能寫成期望值的形式,

ℝ → ℝ 對映(使用狄拉克德爾塔分佈)

 

 

 

 

(7)

我們可以看到,使用以下恆等式,此公式等效於公式 6

  • 讓我們考慮以下具體示例:令 。我們選擇使用公式 6(公式 57 會得到相同的結果)。我們計算導數 並找到所有使 f(x)=y 的 x,它們是 ,如果 y>0,否則沒有。對於 y>0,我們有
由於 f 從未達到負值,因此當 y<0 時,該和仍然為 0,最後我們得到
以下圖形說明了這個示例
隨機數根據標準正態分佈 X ~ N(0,1) 生成。它們顯示在圖 (a) 的 x 軸上。其中許多都在 0 附近。這些數字中的每一個都根據 y = x² 對映,圖中用灰色箭頭顯示了兩個示例點。對於 X 的許多生成實現,y 軸上的直方圖將收斂到 (c) 中所示的所需機率密度函式 ρY。為了分析地推匯出這個函式,我們首先觀察到,為了使 Y 在任何 v 和 v+Δv 之間,X 必須在 之間,或者,在 之間。這些區間在圖 (b) 和 (c) 中標記。因為機率等於機率密度函式下的面積,所以我們可以根據條件確定 ρY,即 (c) 中灰色陰影區域必須等於 (b) 中面積的總和。面積使用積分計算,並且在求極限 時很有用,以便獲得 (c) 中記錄的公式。
  • 另一個例子是 逆變換法。假設計算機生成在 [0, 1] 上具有均勻分佈的隨機數 X,即
如果我們想要根據具有 pdf 的分佈獲得隨機數,我們選擇 f 作為 Z 的 cdf 的逆函式,即 。現在我們可以證明 Y 將具有與所需的 Z 相同的分佈,,方法是使用公式 5 以及 的事實。
.
以下示例圖示了該方法
從 0 到 1 之間的均勻分佈生成隨機數 yi,即 Y ~ U(0, 1)。它們被描繪為 y 軸上的彩色點。每個點都根據 x=F-1(y) 進行對映,對於兩個示例點,對映過程用灰色箭頭表示。在這個示例中,我們使用的是指數分佈。因此,對於 x ≥ 0,機率密度為 ,累積分佈函式為 。因此,。我們可以看到,使用這種方法,許多點最終會落在靠近 0 的位置,只有少數點最終會落在較高的 x 值位置 - 這正是指數分佈的預期結果。

隨機向量對映到隨機變數 (n>1, m=1)

[edit | edit source]

現在我們將研究當已知密度為 的隨機向量 X 對映到(標量)隨機變數 Y 時的情況,並計算新的密度

根據 3,我們發現

 

 

 

 

(8)

直接計算這個等式有時是最簡單的方法,例如,如果積分表示的面積或體積有已知公式。否則需要求解一個引數依賴的多重積分。

如果隨機向量 的分量是相互獨立的,那麼機率密度就會分解

在這種情況下,delta 函式可以提供一個快速評估工具。將積分邊界替換為積分內部的階躍函式,,並利用階躍函式的導數是 delta 函式這一事實。

 

 

 

 

(9)

如果想要避免使用 delta 函式進行計算,當然也可以評估最裡面的積分 ,前提是這些分量是獨立的。

示例

[edit | edit source]
  • ,其中獨立的連續隨機變數 X1 和 X2。根據方程 9,我們有
如果使用求和公式,則求和將遍歷所有滿足 的 x1,即 x1 = y - x2
導數為 ,因此我們也得到方程
首先對 x2 進行積分,得到以下等效表示式:
  • 如果 且 X1 和 X2 獨立,則
  • 如果 ,其中 X1 和 X2 獨立,那麼
  • 如果 ,其中 X1 和 X2 獨立,那麼
  • 給定獨立隨機變數 X1 和 X2,其密度為
。根據公式 8,我們需要求解
最後一個積分是在半徑為 y ≤ 1 的圓上,因此面積為 。這簡化了計算
.
如果 y<0,我們在空集上進行積分,結果為 0。如果 y>1,. 因此,最終結果是
以下圖形說明了這個示例
圖 (a) 顯示了從半徑為 1 的圓內的均勻分佈中隨機取樣的點,這些點被細分為環狀。在圖 (b) 中,我們統計了落在每個寬度相同的環狀區域內的點。由於環狀區域的面積隨著半徑線性增加,因此可以預期半徑更大的環狀區域會有更多點。當 Δv → 0 時,圖 (b) 中的歸一化直方圖將收斂於所需的機率密度函式 ρY。為了用解析方法計算 ρY,我們首先推匯出累積分佈函式 FY,並在圖 (d) 中繪製。FY(y) 是在半徑為 v 的圓圈內找到一個點的機率(在圖 (c) 中以灰色顯示)。對於 v 在 0 和 1 之間,我們發現 . FY 的斜率是所需的機率密度函式 ,與圖 (b) 一致。

隨機向量 (n=m) 的可逆變換

[編輯 | 編輯原始碼]

是一個密度為 的隨機向量,並且設 是一個微分同胚。對於 的密度 ,我們有

因此

n → ℝn 對映

 

 

 

 

(10)

其中 雅可比行列式。 請注意 。 在一維情況下 (n=1),公式 10 與公式 5 一致。

示例

[edit | edit source]
  • 給定隨機向量 ,可逆矩陣 A 和向量 ,令 。那麼 。此外, .
  • 給定獨立的隨機變數 ,我們引入 極座標 。逆對映為 。由於雅可比行列式 ,所需的密度為 .

多維對映的可能簡化 (n>1, m>1)

[編輯 | 編輯原始碼]

即使上述特殊情況都不適用,簡化仍然有可能。其中一些列在下面

獨立目標分量

[編輯 | 編輯原始碼]

如果事先知道 的分量將是獨立的,即

則每個分量 的密度 可以像上面部分隨機向量到隨機變數的對映那樣計算。

給定隨機向量 具有獨立的分量。
.
顯然,分量 Y1 = X1 + X2 和 Y2 = X3 + X4 是獨立的,因此
以及
.
請注意,即使的成分不是獨立的,的成分可以是獨立的。

分割積分割槽域

[編輯 | 編輯原始碼]

有時將公式3中的積分割槽域分成可以單獨計算的部分很有用。可以透過使用狄拉克函式重寫3來明確地做到這一點

然後使用恆等式.

為了說明這個想法,我們使用一個簡單的ℝn → ℝ示例:令Y = X12 + X22 + X3,其中
同時滿足 x12 + x22 + x3 ≤ y、x12 + x22 ≤ 1 和 x3 ≥ 0 的區域的 引數化可能並不明顯,因此我們使用上面兩個公式
現在,我們將積分拆分,使得括號中的表示式可以單獨計算,因為該區域僅取決於 x1 和 x2,並且可能僅包含 x3 作為引數。
因此

輔助座標

[edit | edit source]

如果 f 是單射的,那麼引入額外的輔助座標 Ym+1 到 Yn 會更容易,然後進行第 可逆變換隨機向量 節中的 變換,最後對所有得到的輔助座標進行積分。

例子

[edit | edit source]
給定隨機向量 ,密度為 ,以及以下對映:
現在我們引入輔助座標 Y3 = X3,這將得到變換矩陣
以及相應的 pdf 。因此,我們最終得到
備註:如果聯合機率密度函式 ,即條件機率分佈,並不重要,而我們只關心邊緣分佈,其中,那麼可以使用隨機向量到隨機變數的對映中描述的方法來計算該密度,對於對映 Y1 = 1 X1 + 2 X2 + 3 X3(同樣適用於 Y2 = 4 X1 + 5 X2 + 6 X3)。

現實世界應用

[編輯 | 編輯原始碼]

為了展示一些可能的應用,我們提出了以下問題,可以使用本華夏公益教科書中概述的技術來回答。原則上,這些答案也可以使用數值隨機數模擬來近似:生成多個 的實現,計算 ,並製作結果直方圖。然而,為了獲得合理的結果,尤其是在高維隨機向量的情況下,需要大量的隨機數。值得慶幸的是,我們總是可以使用上述公式分析地計算結果分佈。

統計物理學

[編輯 | 編輯原始碼]
  • 假設雷射中的原子以正態分佈的速度 Vx 移動,,σ2 = kBT/m。由於多普勒效應,以頻率 f0 發射的光線,當原子以 vx 移動時,將被檢測為 f ≈ f0 ( 1 + vx / c )。因此,f 是 Vx 的函式。檢測到的光譜,,看起來像什麼?(答案:以 f0 為中心的正態分佈。)
  • 假設理想氣體的速度分量(Vx,Vy,Vz)與上例相同,並且獨立地正態分佈。什麼是 的機率密度 ?(答案被稱為麥克斯韋-玻爾茲曼分佈。)

量化匯出屬性的不確定性

[編輯 | 編輯原始碼]
  • 假設我們不知道 X 和 Y 的確切值,但我們可以為它們分別分配機率分佈。推導屬性 Z = X2 / Y 的分佈是什麼?Z 的平均值和標準差是多少?(為了解決此類問題,有時使用圍繞平均值的線性化,並且假設 X 和 Y 都是正態分佈的。但是,我們並不侷限於此類限制。)
  • 假設我們考慮一年後一克金、銀和鉑的價值,分別作為獨立的隨機變數 G、S 和 P。A 盒包含 1 克金、2 克銀和 3 克鉑。B 盒分別包含 4、5 和 6 克。因此,。一年後 A 盒(或 B 盒)中的內容價值是多少?(答案在上面的示例中給出。)請注意,A 和 B 是相關的。

請注意,以上示例假設 的分佈是已知的。如果未知,或者如果計算僅基於少量資料點,則來自數理統計的方法是量化不確定性的更好選擇。

生成相關隨機數

[編輯 | 編輯原始碼]

可以透過首先生成一個不相關隨機數向量,然後對它們應用函式來獲得相關隨機數。

  • 為了獲得協方差矩陣為 CY 的隨機數,我們可以使用以下已知過程:計算 CY 的 Cholesky 分解 CY = A AT。生成一個向量 ,其中不相關隨機數的 var(Xi) = 1。應用矩陣 A:。這將導致協方差矩陣為 CY = A AT 的相關隨機變數。
  • 使用本華夏公益教科書中概述的公式,我們還可以研究所得分佈的形狀以及非線性變換的影響。例如,考慮 X 在 [0, 2π] 中均勻分佈,Y1 = sin(X) 且 Y2 = cos(X)。在這種情況下,(Y1, Y2) 中隨機數的二維圖將顯示一個圓上的均勻分佈。儘管 Y1 和 Y2 在隨機上是相關的,但它們是不相關的。因此,重要的是要知道所得分佈,因為 包含比協方差矩陣 CY 更多的資訊。
華夏公益教科書