機率論/條件機率

基礎和乘法公式

定義 3.1（條件機率）:

令 $(\Omega ,{\mathcal {F}},P)$ 為一個機率空間，並令 $A\in {\mathcal {F}}$ 為一個固定集合，使得 $P(A)>0$。如果 $B\in {\mathcal {F}}$ 是另一個集合，則事件 $B$ 在事件 $A$ 已經發生（或必然發生）時的條件機率定義為

$P_{A}(B):={\frac {P(B\cap A)}{P(A)}}$.

使用乘法符號，我們可以寫成

$P_{A}(B):={\frac {P(BA)}{P(A)}}$

代替。

這個定義很直觀，因為以下引理成立

引理 3.2:

$A\subseteq B\Rightarrow P_{A}(B)=1$

引理 3.3:

$P_{A}(B+C)=P_{A}(B)+P_{A}(C)$

每個引理都直接來自於定義和對 $P$ 的公理（定義 2.1）。

從這些引理中，我們得到對於每個 $A\in {\mathcal {F}}$，$(\Omega ,{\mathcal {F}},P_{A})$ 滿足機率空間的定義公理（定義 2.1）。

有了這個定義，我們有以下定理

定理 3.4（乘法公式）:

$P(A_{1}A_{2}\cdots A_{n})=P_{A_{1}\cdots A_{n-1}}(A_{n})P_{A_{1}\cdots A_{n-2}}(A_{n-1})\cdots P_{A_{1}}(A_{2})P(A_{1})$,

其中 $(\Omega ,{\mathcal {F}},P)$ 是一個機率空間，並且 $A_{1},\ldots ,A_{n}$ 都屬於 ${\mathcal {F}}$.

證明:

根據定義，我們有

$P_{A}(B)P(A)=P(AB)$

對於所有 $A,B\in {\mathcal {F}}$。 因此，由於 ${\mathcal {F}}$ 是一個代數，我們可以透過歸納法得到

${\begin{aligned}P(A_{1}A_{2}\cdots A_{n})&=P((A_{1}A_{2}\cdots A_{n-1})A_{n})\\&=P_{A_{1}\cdots A_{n-1}}(A_{n})P(A_{1}\cdots A_{n-1})\\&=P_{A_{1}\cdots A_{n-1}}(A_{n})P_{A_{1}\cdots A_{n-2}}(A_{n-1})\cdots P_{A_{1}}(A_{2})P(A_{1}).\end{aligned}}$$\Box$

貝葉斯定理

定理 3.5 (全機率公式):

令 $(\Omega ,{\mathcal {F}},P)$ 是一個機率空間，並假設

$\Omega =A_{1}+\cdots +A_{n}$

(注意，透過使用 $+$-符號，我們假設並集是不相交的)，其中 $A_{1},\ldots ,A_{n}$ 都包含在 ${\mathcal {F}}$ 中。那麼

$\forall B\in {\mathcal {F}}:P(B)=\sum _{j=1}^{n}P(A_{j})P_{A_{j}}(B)$.

證明:

${\begin{aligned}\sum _{j=1}^{n}P(A_{j})P_{A_{j}}(B)&=\sum _{j=1}^{n}P(A_{j}){\frac {P(A_{j}\cap B)}{P(A_{j})}}\\&=\sum _{j=1}^{n}P(A_{j}B)\\&=P\left(\sum _{j=1}^{n}A_{j}B\right)\\&=P\left(\left(\sum _{j=1}^{n}A_{j}\right)B\right)\\&=P(\Omega B)\\&=P(B),\end{aligned}}$

這裡我們使用了集合 $A_{1}B,\ldots ,A_{n}B$ 都是不相交的，代數 ${\mathcal {F}}$ 和 $\Omega \cap B=B$ 的分配律。$\Box$

定理 3.6 (延遲貝葉斯定理):

令 $(\Omega ,{\mathcal {F}},P)$ 是一個機率空間，且 $A,B\in {\mathcal {F}}$。那麼

$P_{B}(A)={\frac {P(A)P_{A}(B)}{P(B)}}$.

證明:

${\frac {P(A)P_{A}(B)}{P(B)}}={\frac {P(A){\frac {P(A\cap B)}{P(A)}}}{P(B)}}=P_{B}(A)$.$\Box$

這個公式可能看起來有點抽象，但它實際上有一個很好的幾何意義。假設我們有兩個集合 $A,B\in {\mathcal {F}}$，已經知道 $P(A)$，$P(B)$ 和 $P_{A}(B)$，並希望計算 $P_{B}(A)$。這種情況在下面的圖片中描繪：

我們知道 $A\cap B$ 與 $A$ 的大小比率，但我們真正想知道的是 $A\cap B$ 與 $B$ 的比較情況。因此，我們透過乘以 $P(A)$（舊的參考量級）併除以 $P(B)$（新的參考量級）來改變“比較物件”。

定理 3.7（貝葉斯定理）:

令 $(\Omega ,{\mathcal {F}},P)$ 是一個機率空間，並假設

$\Omega =A_{1}+\cdots +A_{n}$,

其中 $A_{1},\ldots ,A_{n}$ 都在 ${\mathcal {F}}$ 中。那麼對於所有 $B\in {\mathcal {F}}$

$\forall j\in \{1,\ldots ,n\}:P_{B}(A_{j})={\frac {P_{A_{j}}(B)P(A_{j})}{\sum _{k=1}^{n}P(A_{k})P_{A_{k}}(B)}}}$.

證明:

根據定理的基本形式，我們得到

$P_{B}(A_{j})={\frac {P_{A_{j}}(B)P(A_{j})}{P(B)}}$.

利用全機率公式，我們得到

$P_{B}(A_{j})={\frac {P_{A_{j}}(B)P(A_{j})}{\sum _{k=1}^{n}P(A_{k})P_{A_{k}}(B)}}$.$\Box$