跳轉至內容

機率/聯合分佈與獨立性

來自華夏公益教科書


假設我們給定一個離散隨機變數 的 pmf 和一個離散隨機變數 的 pmf。例如, 僅憑這些資訊,我們無法判斷 之間的關係。它們可能相關或不相關。

例如,隨機變數 可以定義為 如果丟擲一個公平硬幣出現正面,否則為 ,而隨機變數 可以定義為 如果再次拋硬幣出現正面,否則為 。在這種情況下, 是不相關的。

另一種可能性是隨機變數 被定義為 如果第一次拋硬幣出現正面,否則為 。在這種情況下, 是相關的。

然而,在以上兩個例子中, 的機率質量函式完全相同。

因此,為了說明 關係 之間,我們定義了 聯合 累積分佈函式,或者叫做聯合CDF。

聯合分佈

[edit | edit source]

定義。 (聯合累積分佈函式) 設 是定義在樣本空間 上的隨機變數。隨機變數 聯合 累積分佈函式 (CDF) 為

有時,我們可能想知道一個聯合CDF中涉及的隨機變數的隨機行為。我們可以透過從聯合CDF計算邊際CDF來實現這一點。邊際CDF的定義如下

定義。 (邊際累積分佈函式) 每個隨機變數 的累積分佈函式 邊際累積分佈函式 (CDF),它是 個隨機變數 中的一個成員。

備註。 實際上, 的邊際CDF 僅僅是 的CDF(它是單個變數的)。我們已經在前面的章節中討論了這種CDF。

命題。(從聯合累積分佈函式 (CDF) 獲得邊緣 CDF)給定一個聯合 CDF 的邊緣 CDF 是

證明。 當我們將除了 之外的引數設定為 時,例如 ,聯合 CDF 變成

備註。 一般來說,我們無法從給定的一組邊緣 CDF 推匯出聯合 CDF。

示例。 考慮隨機變數 的聯合累積分佈函式 (CDF) : 的邊緣 CDF 為

類似於單變數情況,我們有聯合 PMF 和聯合 PDF。同樣地,我們也有邊緣 PMF 和邊緣 PDF。

定義。 (聯合機率質量函式) 聯合機率質量函式(聯合 PMF)為

定義。 (邊緣機率質量函式) 個隨機變數 中的每個隨機變數 邊緣機率質量函式(邊緣 PMF)為

命題. (從聯合機率質量函式獲取邊緣機率質量函式) 對於離散隨機變數 ,其聯合機率質量函式為 ,則 的邊緣機率質量函式為

證明。 考慮只有兩個隨機變數的情況,比如 。那麼,我們有 同樣地,在一般情況下,我們有 然後,我們對其他每個變數 ( 個) 執行類似的過程,每次過程都會增加一個求和符號。因此,總共我們將有 個求和符號,最終我們將得到想要的結果。

備註。 這個過程有時被稱為“對其他變數的所有可能值求和”。

示例: 假設我們擲一個公平的六面骰子兩次。設 表示第一次擲骰子向上的一面,設 表示第二次擲骰子向上的一面。則 聯合機率質量函式 其中 ,並且 在其他情況下。同時,邊緣機率質量函式 其中 ,並且 在其他情況下。

透過對稱性(將所有 替換為 並且將所有 替換為 ),邊緣機率質量函式 其中 ,並且 在其他情況下。

Clipboard

練習。 假設一個盒子裡有兩個紅球和一個藍球,我們從盒子裡一個一個地抽取兩個球,並放回。令 如果第一次抽取的球是紅色,且 否則。令 如果第二次抽取的球是紅色,且 否則。

1 計算 的邊際機率質量函式。

2 計算 的聯合機率質量函式。

)
)
)


Clipboard

練習。 回顧動機部分的例子。

(a) 假設我們擲一枚公平的硬幣兩次。設 。證明 的聯合機率質量函式為

(b) 假設我們擲一枚公平的硬幣一次。設 。證明 的聯合機率質量函式為

(c) 證明 的邊緣機率質量函式分別為 在 (a) 和 (b) 兩種情況下。 (提示:對於 (b) 部分,我們需要在指示器中代入變數的值)


證明。

(a) 由於 的支撐集為 的聯合機率質量函式為

(b) 由於 的支撐集為 的聯合機率質量函式為

(c) (a) 部分: 的邊緣機率質量函式為 的邊緣機率質量函式為

部分 (b): 的邊際 pmf 為 同樣, 的邊際 pmf 為

對於 聯合 連續隨機變數,定義是連續隨機變數定義(單變數情況)的推廣版本。

定義。 (聯合連續隨機變數)隨機變數 聯合連續 的,如果 對於某個非負函式 成立。

備註。

  • 函式 聯合機率密度函式 (joint pdf) 的
  • 類似地, 可以被理解為在“無窮小”區域 上的機率,而 可以被理解為該“無窮小”區域上機率的密度,即 ,直觀且非嚴格地。
  • 透過設定 ,累積分佈函式為

這與一元的情況類似。

定義。 (邊緣機率密度函式) 每個 的 pdf ,它是 個隨機變數 中的一個成員,是 邊緣機率密度函式 (邊緣 pdf)。

命題。 (從聯合 pdf 獲得邊緣 pdf) 對於連續隨機變數 ,其聯合 pdf 為 的邊緣 pdf 為

證明。 回憶關於從聯合累積分佈函式得到邊緣累積分佈函式的命題。我們有

命題。 (從聯合累積分佈函式得到聯合機率密度函式) 如果聯合累積分佈函式 的聯合連續隨機變數在 處具有每個 偏導數,則聯合機率密度函式為

證明。 它來自於使用微積分基本定理 次。

示例。 如果聯合連續隨機變數 的聯合機率密度函式為 那麼 的邊緣機率密度函式為 此外,

Clipboard

練習。 為聯合連續隨機變數。考慮 的聯合累積分佈函式:

1 計算聯合機率密度函式 .

2 計算 的邊緣機率密度函式。



獨立性

[edit | edit source]

回想一下,如果多個事件的交集的機率等於每個事件的機率的乘積,那麼根據定義,這些事件是獨立的。由於 也是一個事件,因此我們對 隨機變數 的獨立性有以下自然定義

定義。 (隨機變數的獨立性)隨機變數 獨立 的,如果 對於每個 和每個子集

備註。 在這種情況下,事件 是獨立的。

定理。 (隨機變數獨立性的另一種條件)隨機變數 獨立 當且僅當 的聯合 cdf 或者 的聯合 pdf 或 pmf 對於每個

證明。 部分

僅當部分:如果隨機變數 是獨立的, 對於每個 以及對於每個子集 。設定 ,我們有 因此,我們得到了聯合累積分佈函式部分的結果。

對於聯合pdf部分,

備註。

  • 也就是說,如果聯合cdf(聯合pdf(pmf))可以分解為邊緣cdf(邊緣pdf(pmf))的乘積
  • 實際上,如果我們可以將聯合cdf或聯合pdf或聯合pmf分解為每個變數中一些函式的乘積,那麼該條件也滿足。

示例。 兩個獨立指數隨機變數,速率為 的聯合pdf是(在這種情況下,隨機變數 被稱為獨立同分布(i.i.d.)

一般來說, 個速率為 獨立指數隨機變數的聯合機率密度函式為 ( 在這種情況下也是獨立同分布的)。

另一方面,如果兩個隨機變數 的聯合機率密度函式為 那麼隨機變數 相關的,因為聯合機率密度函式不能分解為邊緣機率密度函式的乘積。

Clipboard

練習。 為聯合連續隨機變數。考慮 的聯合機率密度函式:

1 計算

1
2
3
4

2 是獨立的嗎?


考慮 的另一個聯合機率密度函式:

1 計算

1
2
3
4

2 是獨立的嗎?


考慮另一個 的聯合機率密度函式:

1 計算

1
2
3
4

2 是獨立的嗎?


命題. (關於獨立隨機變數不相交集的事件的獨立性)假設隨機變數 是獨立的。那麼,對於每個 和固定的函式 ,隨機變數 也是獨立的。

例子. 假設 是獨立的伯努利隨機變數,其成功機率為 。那麼, 也是獨立的。

另一方面, 不是 獨立的。獨立性的反例是 左邊等於零,因為 ,但 .

右邊可能不等於零,因為 ,以及 。我們可以看到 可能不等於零。

Clipboard

練習。

是獨立同分布的隨機變數,而 也是獨立同分布的隨機變數。以下哪項(些)是正確的?

是獨立的。
是獨立的。
是獨立的。
是獨立的,如果 是獨立的。


獨立隨機變數之和(可選)

[edit | edit source]

一般來說,我們使用聯合累積分佈函式、機率密度函式或機率質量函式,根據基本原理來確定獨立隨機變數之和的分佈。特別地,關於的分佈,有一些有趣的結論,這些結論與獨立的隨機變數有關。

獨立隨機變數之和

命題. (累積分佈函式和機率密度函式的卷積)如果獨立隨機變數 的累積分佈函式分別為 ,則 的累積分佈函式是 並且 的機率密度函式是

證明。

  • 連續情況
  • cdf:
/\                                     
//\ y                                
///\|
////*
////|\
////|/\
////|//\ x+y=z <=> x=z-y
////|///\
////|////\
----*-----*--------------- x 
////|//////\
////|///////\

-->: -infty to z-y
^
|: -infty to infty
 
*--*
|//| : x+y <= z
*--*
  • pdf:

備註。

  • 在這種情況下,cdf 和 pdf 實際上是 cdf 卷積,以及 pdf(pmf) 的卷積,因此得名。

例子。

  • 的機率密度函式為 .
  • 的機率密度函式為 .
  • 那麼, 的機率密度函式為

圖形上,機率密度函式看起來像

        y
        |
        |
        |
     *  * 1
      \ |\  
  y=-z \| \ y=1-z
-----*--*--*----- z
    -1 O|  1   
        |
     -1 *
        |
Clipboard

練習。

1 計算 .

0
1/4
1/2
3/4
1

2 計算 .

0
1/4
1/2
3/4
1

3 計算 使得 .

-1/2
-1/4
0
1/4
1/2



命題。 (機率質量函式的卷積) 如果獨立隨機變數 的機率質量函式分別為 ,則 的機率質量函式為

證明。

  • .
  • 對於每個非負整數

  • 由於對於每個 ,因此 是成對不相交的。
  • 因此,根據擴充套件的機率公理3和 的獨立性,
  • 結果由定義得出。

例如: 我們連續兩次擲一個公平的六面骰子(獨立地)。 那麼,兩次擲出的數字之和為 7 的機率是 .

證明: 分別代表第一次和第二次擲出的數字。 所需的機率是

Clipboard

練習。

1 計算兩次擲出的數字之和為 6 的機率。

1/12
1/6
5/36
7/36
4/9

2 兩次擲出的數字之和為 的機率為 0。 以下哪些是 的可能取值?

1
2
3
12
13

3 假設骰子被改造了,使得擲出 6 的機率現在是 ,而其他數字出現的機率相等。 計算兩次擲出的數字之和現在為 7 的機率。

0.1
0.101
0.1001
0.10000001
0.167



命題: (獨立泊松隨機變數的和)如果 並且 獨立, 那麼 .

證明。

  • 的 pmf 為

  • 這個 pmf 作為 的 pmf,因此 .
  • 我們可以透過歸納法將此結果擴充套件到 個 Poisson 隨機變數。

示例。 設有兩個服務櫃檯,第一個櫃檯每小時收到 個諮詢,而第二個櫃檯每小時收到 個諮詢。假設 獨立,則兩個櫃檯每小時收到的諮詢數量服從 .

證明。

  • 兩個櫃檯每小時收到的諮詢數量是 .
  • 然後,結果來自 Poisson 隨機變數之和的命題。

Clipboard

練習。

第一個櫃檯兩個小時收到的諮詢數量服從什麼分佈?



順序統計量

[edit | edit source]

定義. (順序統計量) 設 個獨立同分布的隨機變數 (每個隨機變數的累積分佈函式為 )。定義 中最小值、第二小值、...、最大值。那麼,有序值 稱為 順序統計量

命題. (順序統計量的累積分佈函式) 的累積分佈函式 ( 是一個滿足 的整數) 為

證明。

  • 考慮事件 .
                          Possible positions of x
                      |<--------------------->
    *---*----...------*----*------...--------*
X  (1)  (2)          (k)  (k+1)             (n)
                      |----------------------> when x moves RHS like this, >=k X_i are at the LHS of x
  • 從上圖可以看出 .
  • 令小於等於 的個數為 .
  • 因為 (因為對於每個 ,我們可以將 視為伯努利試驗的兩個結果),
  • cdf 是

示例。 為獨立同分布的隨機變數,服從 。那麼, 的累積分佈函式為

Clipboard

練習。

計算 .

0.000665
0.000994
0.036296
0.963704
0.999335




泊松過程

[編輯 | 編輯原始碼]

定義。

泊松過程的示意圖。每個圓圈表示一次到達。到達事件以共同速率 發生,並且連續的到達間隔時間是獨立的。

如果不可預測事件的連續 到達間隔 時間是 獨立 的隨機變數,並且每個變數都服從以共同速率 指數 分佈,那麼到達事件的過程就是一個速率為 泊松過程

泊松過程有一些重要的性質。

命題。(泊松過程中第 個事件的時間)泊松過程中第 個事件的時間服從 分佈。

證明。

  • 個事件發生的時間為 ,其中每個事件遵循 分佈。
  • 我們只需要證明 ,然後我們就可以透過歸納法得出結論。
這是 分佈的機率密度函式,證畢。

注: 個事件發生的時間也是第 個相繼到達時間之和,在第 個事件之前。

命題:(固定時間間隔內的到達次數)固定時間間隔內到達事件的次數,其時間長度為 ,服從 分佈。

Proof. For each nonnegative integer , let be the interarrival time between the -th and -th arrival, and be the time to th event, starting from the beginning of the fixed time interval (we can treat the start to be time zero because of the memoryless property). The joint pdf of is Let the number of arrivals within the fixed time interval. The pmf of is which is the pmf of . The result follows.

命題。 (第一個到達時間, 個獨立的泊松過程)設 是獨立的隨機變數,且 ,其中 。如果我們定義 (這是 個獨立泊松過程的第一個到達時間),則 .

證明。 對於每個

示例. 假設有兩個服務櫃檯,櫃檯 A 和 B,它們的服務時間獨立,服從速率為 的指數分佈。在過去的 10 分鐘裡,約翰和彼得分別在櫃檯 A 和 B 接受服務。

首先,你需要等待的服務時間(即約翰或彼得中一人離開櫃檯的時間)是從現在開始算起的約翰和彼得的服務時間的最小值,它們相互獨立,服從速率為 的指數分佈。因此,你的 等待時間 服從 速率為 指數分佈

假設現在約翰離開櫃檯 A,而你正在櫃檯 A 接受服務。那麼,你比彼得先離開櫃檯的機率,根據 無記憶性對稱性(彼得和你先離開櫃檯的機率由相同的隨機機制控制),這看似違反直覺。

Clipboard

練習. 假設汽車事故的到達過程是一個速率為 1 的泊松過程。令 為第 起汽車事故的時間, 為第 起和第 起事故之間的間隔時間。

1 以下哪些是正確的?

2 以下哪些是正確的?

3 以下哪些是正確的?

在固定時間長度為的區間內,到達次數的機率質量函式為 .



華夏公益教科書