機率/隨機變數

隨機變數

動機

在許多實驗中，樣本空間中可能存在太多可能的結果，因此我們可能希望改為使用這些結果的“彙總變數”。例如，假設對 100 個人進行民意調查，詢問他們是否同意某項提案。然後，為了完全跟蹤這 100 個人的答案，我們可以先用數字表示他們的回答。

• 數字“1”表示“同意”。
• 數字“0”表示“不同意”。

(為了簡單起見，我們假設只有這兩個答案可用。)然後，為了記錄每個人對哪個答案的回答，我們使用一個包含 100 個數字的向量進行記錄。例如，$(1,0,1,0,0,\dotsc ,1,0,0)$，等等。由於向量中的每個座標都有兩個選擇：“0”或“1”，因此樣本空間中總共有 $2^{100}\approx 1.268\times 10^{30}$ 個不同的向量（用 $\Omega$ 表示）！因此，處理樣本空間中如此多的結果非常繁瑣和複雜 $\Omega$。相反，我們通常只關心有多少人“同意”和“不同意”，而不是每個人對哪個答案的回答，因為“同意”和“不同意”的數量決定了提案是否得到了他們中大多數人的同意，因此抓住了民意調查的本質。

因此，定義一個變數 $X$ 更方便，它給出樣本空間中每個結果的 100 個座標中的“1”的數量 $\Omega$。然後，$X$ 只能取 101 個可能的值：0, 1, 2, ..., 100，這遠少於原始樣本空間中的結果數。

透過這樣做，我們可以將原始實驗更改為一個新實驗，其中變數 $X$ 根據一定的機率取 101 個可能的值中的一個。對於這個新實驗，樣本空間變為 $\{0,1,\dotsc ,100\}$。

在定義變數 $X$（稱為 隨機變數）的過程中，我們實際上（隱式地）定義了一個函式，其定義域是原始樣本空間，值域是 $\{0,1,\dotsc ,100\}$。通常，我們將隨機變數的陪域取為所有實數的集合 $\mathbb {R}$。也就是說，我們定義了隨機變數 $X:\Omega \to \mathbb {R}$，其中 $$X(\omega )={\text{number of 1s in the coordinates of }}\omega$$ 對於每一個 $\omega \in \Omega$ 都成立。

定義

為了正式定義隨機變數，我們需要可測函式的概念。

定義。（可測函式）令 $(A,\Sigma _{1})$ 和 $(B,\Sigma _{2})$ 是可測空間（也就是說，$\Sigma _{1}$ 和 $\Sigma _{2}$ 分別是 $\sigma$-代數 $A$ 和 $B$）。一個函式 $f:A\to B$ 是 ($\Sigma _{1}$-)可測，如果對於每一個 $Y\in \Sigma _{2}$，$f$ 下 $Y$ 的逆像 $$f^{-1}(Y)=\{x\in A:f(x)\in Y\}\in \Sigma _{1}.$$

備註。

• 如果 $f:A\to B$ 是 $\Sigma _{1}$-可測的，那麼我們也可以寫成 $f:(A,\Sigma _{1})\to (B,\Sigma _{2})$ 來強調對 $\sigma$-代數 $\Sigma _{1}$ 和 $\Sigma _{2}$ 的依賴。
• 我們只考慮集合 $Y$ 在 $\sigma$-代數 $\Sigma _{2}$ 中的原像，因為只有 $\Sigma _{2}$ 中的集合是“良好行為”的，因此它們是“感興趣的”。然後，$f$ 的可測性確保原像也是“良好行為”的。

• 因此，可測函式在某種程度上保留了集合的“良好行為”。
• 事實證明，在定義中使用原像（而不是像）更有用。

定義。 (隨機變數)

隨機變數的圖形說明。

令 $(\Omega ,{\mathcal {F}},\mathbb {P} )$ 是一個機率空間。一個 隨機變數 是一個 ${\mathcal {F}}$-可測函式 $X:(\Omega ,{\mathcal {F}})\to (\mathbb {R} ,{\mathcal {B}})$.

備註。

• 通常，用大寫字母來表示隨機變數，用對應的小寫字母來表示隨機變數的實現值（即，從樣本點對映的數值）。例如，我們說隨機變數 $X$ 的實現值為 $x$.
• $\sigma$-代數 ${\mathcal {B}}$ 是 $\mathbb {R}$ 上的 Borel $\sigma$-代數。我們在這裡將不會詳細討論它的定義。
• 由於 $X$ 是 ${\mathcal {F}}$-可測的，對於每個集合 $B\in {\mathcal {B}}$，原像 $X^{-1}(B)=\{\omega :X(\omega )\in B\}\in {\mathcal {F}}$。

• 通常用 $\{X\in B\}$ 來表示 $X^{-1}(B)$。此外，我們用 $\{X\leq x\},\{X=x\}$ 等來表示 $X^{-1}((-\infty ,x]),X^{-1}(\{x\})$ 等。

• 我們要求隨機變數是 ${\mathcal {F}}$-可測的，以便機率 $\mathbb {P} (\{X\in B\})$（通常寫成 $\mathbb {P} (X\in B)$）對於每個 $B\in {\mathcal {B}}$ 是 定義的。（機率測度的定義域是 ${\mathcal {F}}$，並且 $\{X\in B\}\in {\mathcal {F}}$ 是因為隨機變數 $X$ 的 ${\mathcal {F}}$-可測性。）
• 一般而言，大多數我們能想到的函式（應該為隨機變數）都是 ${\mathcal {F}}$-可測的。因此，我們假設這裡構建的隨機變數是 ${\mathcal {F}}$-可測的，因此實際上是有效的，無需證明。

透過定義一個從機率空間 $(\Omega ,{\mathcal {F}},\mathbb {P} )$ 到實數空間的隨機變數 $X:\Omega \to \mathbb {R}$，我們實際上 誘導 出一個新的機率空間 $({\mathcal {X}},{\mathcal {F}}_{X},\mathbb {P} _{X})$，其中

• 誘導的樣本空間 ${\mathcal {X}}$ 是隨機變數 $X$ 的 值域：${\mathcal {X}}=\{X(\omega ):\omega \in \Omega \}\subseteq \mathbb {R}$。
• 誘導的事件空間 ${\mathcal {F}}_{X}$ 是 $\sigma$-代數 ${\mathcal {X}}$。（這裡我們遵循之前的慣例：當 ${\mathcal {X}}$ 可數時，${\mathcal {F}}_{X}={\mathcal {P}}({\mathcal {X}})$。）
• 誘導的機率測度 $\mathbb {P} _{X}:{\mathcal {F}}_{X}\to [0,1]$ 定義為

$$\mathbb {P} _{X}(E)=\mathbb {P} (\{X\in E\})$$

對於每個 $E\in {\mathcal {F}}_{X}$。

結果證明，誘導的機率測度滿足所有機率公理

例： 證明誘導機率測度 $\mathbb {P} _{X}$ 滿足所有機率公理，因此是有效的。

證明： 非負性： 對於任何事件 $E\in {\mathcal {F}}_{X}$，$$\mathbb {P} _{X}(E)=\underbrace {\mathbb {P} (\{X\in E\})\geq 0} _{{\text{nonnegativity of }}\mathbb {P} }.$$ 單位性： 我們有 $$\mathbb {P} _{X}({\mathcal {X}})=\mathbb {P} (\{\omega \in \Omega :\underbrace {X(\omega )\in {\mathcal {X}}} _{\text{always true}}\})=\underbrace {\mathbb {P} (\Omega )=1} _{{\text{unitarity of }}\mathbb {P} }.$$ 特別地，對於任何 $\omega \in \Omega$，我們始終有 $X(\omega )\in {\mathcal {X}}$（因為 ${\mathcal {X}}$ 是隨機變數 $X$ 的取值範圍）。

可數可加性：對於任意一個兩兩不相交事件的無限序列 $E_{1},E_{2},\dotsc$（每個事件都屬於 ${\mathcal {F}}_{X}$），$${\begin{aligned}\mathbb {P} \left(\bigcup _{i=1}^{\infty }E_{i}\right)&=\mathbb {P} \left(\left\{\omega \in \Omega :X(\omega )\in \bigcup _{i=1}^{\infty }E_{i}\right\}\right)\\&=\mathbb {P} \left(\bigcup _{i=1}^{\infty }\left\{\omega \in \Omega :X(\omega )\in E_{i}\right\}\right)\\&=\mathbb {P} \left({\color {blue}\bigcup _{i=1}^{\infty }}\bigcup _{x_{j}\in E_{i}}\left\{\omega \in \Omega :X(\omega )=x_{j}\right\}\right)\\&={\color {blue}\sum _{i=1}^{\infty }}\mathbb {P} \left(\bigcup _{x_{j}\in E_{i}}\left\{\omega \in \Omega :X(\omega )=x_{j}\right\}\right)&({\text{countable additivity of }}\mathbb {P} )\\&=\sum _{i=1}^{\infty }\mathbb {P} \left(\left\{\omega \in \Omega :X(\omega )\in E_{i}\right\}\right)\\&=\sum _{i=1}^{\infty }\mathbb {P} _{X}(E_{i}).\\\end{aligned}}$$

$\Box$

證明了這個結果後，可以得出之前討論的所有機率測度的性質也適用於誘導的機率測度 $\mathbb {P} _{X}$。因此，我們可以利用機率測度的性質來計算機率 $\mathbb {P} _{X}(E)$，從而計算出 $\mathbb {P} (X\in E)$，對於任意集合 $E\in {\mathcal {F}}_{X}$。更一般地，為了計算機率 $\mathbb {P} (X\in B)$ 對於任意 $B\in {\mathcal {B}}$ ($B$ 不一定屬於 ${\mathcal {F}}_{X}$)，我們注意到 $\{X\in B\}=\{X\in B\cap {\mathcal {X}}\}$，並且發現 $B\cap {\mathcal {X}}\in {\mathcal {F}}_{X}$。因此，我們可以透過考慮 $\mathbb {P} _{X}(B\cap {\mathcal {X}})$ 來計算 $\mathbb {P} (X\in B)$。

示例。 假設我們拋擲一枚公平的硬幣兩次。那麼，樣本空間可以用 $\{{\text{HH, HT, TH, TT}}\}$ 表示。現在，我們將隨機變數 $X$ 定義為樣本點拋擲中獲得的正面數（這意味著 $X$ 將樣本空間中的每個樣本點對映到該樣本點中獲得的正面數）。那麼，我們有 $${\begin{array}{ccccc}\omega &{\text{HH}}&{\text{HT}}&{\text{TH}}&{\text{TT}}\\\hline X(\omega )&2&1&1&0\\\end{array}}$$ 因此，$\{X=0\}=\{{\text{TT}}\},\{X=1\}=\{{\text{HT}},{\text{TH}}\},\{X=2\}=\{{\text{HH}}\}$。因此，我們有 $${\begin{array}{cccc}x&0&1&2\\\hline \mathbb {P} (X=x)&{\frac {1}{4}}&{\frac {2}{4}}&{\frac {1}{4}}\\\end{array}}$$ （樣本空間中的四個結果應該是等機率的。）（通常用 $\mathbb {P} (X=x)$ 代替 $\mathbb {P} (\{X=x\})$，$\mathbb {P} (X\leq x)$ 代替 $\mathbb {P} (\{X\leq x\})$ 等等。）

練習。 假設我們拋擲一枚公平的硬幣三次，並定義隨機變數 $X$ 為樣本點拋擲中獲得的正面次數。那麼，${\mathcal {X}}=\{0,1,2,3\}$。計算機率 $\mathbb {P} (X=x)$ 對於每個 $x\in {\mathcal {X}}$。因此，計算機率 $\mathbb {P} (X\leq x)$ 對於每個 $x\in {\mathcal {X}}$。(提示: 我們可以寫 $\mathbb {P} (X\leq x)=\mathbb {P} (X\in (-\infty ,x])$。現在，考慮 $\mathbb {P} _{X}((-\infty ,x]\cap {\mathcal {X}})$。）

解答

首先，我們有 $${\begin{array}{ccccc}\omega &{\text{HHH}}&{\text{HHT}}&{\text{HTH}}&{\text{THH}}&{\text{TTH}}&{\text{THT}}&{\text{HTT}}&{\text{TTT}}\\\hline X(\omega )&3&2&2&2&1&1&1&0\\\end{array}}$$ 因此，我們有 $${\begin{array}{cccc}x&0&1&2&3\\\hline \mathbb {P} (X=x)&{\frac {1}{8}}&{\frac {3}{8}}&{\frac {3}{8}}&{\frac {1}{8}}\\\end{array}}$$ 由於 $\mathbb {P} (X\leq x)=\mathbb {P} _{X}((-\infty ,x]\cap {\mathcal {X}})=\mathbb {P} _{X}(\{0,1,\dotsc ,x\})=\sum _{y=0}^{x}\mathbb {P} _{X}(\{y\})=\sum _{y=0}^{x}\mathbb {P} (X=y)$，因此，我們有 $${\begin{array}{cccc}x&0&1&2&3\\\hline \mathbb {P} (X\leq x)&{\frac {1}{8}}&{\frac {4}{8}}&{\frac {7}{8}}&{\frac {8}{8}}\\\end{array}}$$

有時，即使不可能列出樣本空間中的所有樣本點，我們也可以確定與隨機變數相關的機率。

示例。 考慮關於動機部分中討論的民意調查的示例。我們將隨機變數定義為給出“1”的數量。這裡，我們假設樣本空間中的每個樣本點都是等可能的。證明 $\mathbb {P} (X=x)={\frac {\binom {100}{x}}{2^{100}}}$ 對於每個 $x\in {\mathcal {X}}=\{0,1,2,\dotsc ,100\}$。

證明。 由於有 ${\binom {100}{x}}$ 個樣本點包含 $x$ 個“1”（將此視為將 $x$ 個不可區分的“1”放置到 100 個可區分的單元格中），結果隨之而來。

$\Box$

備註。

• 例如，$\mathbb {P} (X=3)\approx 1.276\times 10^{-25}$，$\mathbb {P} (X=50)\approx 0.07958924$ 和 $\mathbb {P} (X=79)\approx 1.6107\times 10^{-9}$。
• 繪製不同 $x$ 值下 $\mathbb {P} (X=x)$ 的值。

一類非常有用的特殊隨機變數是指示隨機變數，它是 指示函式 的特例。

定義. （指示函式）

指示函式的圖形說明。 “凸起部分” 是集合 $A$，整個紅色正方形是集合 $X$。

集合 $X$ 的子集 $A$ 的指示函式是一個函式 $\mathbf {1} _{A}:X\to \{0,1\}$，定義為 $$\mathbf {1} _{A}(x)={\begin{cases}1&{\text{if }}x\in A\\0&{\text{if }}x\in X\setminus A.\end{cases}}$$

備註。

• 特例：我們可以透過稍微修改一下指示函式，將其視為一個隨機變數。

• 設 $(\Omega ,{\mathcal {F}},\mathbb {P} )$ 為一個機率空間，而 $A\in {\mathcal {F}}$ 為一個事件。 然後，事件 $A$ 的指示隨機變數是 $\mathbf {1} _{A}:\Omega \to \mathbb {R}$（這裡，我們將陪域改為 $\mathbb {R}$，以符合隨機變數的定義）定義為

$$\mathbf {1} _{A}(\omega )={\begin{cases}1&{\text{if }}\omega \in A\\0&{\text{if }}\omega \in \Omega \setminus A.\end{cases}}$$

示例： 假設我們從某個城市中隨機選擇一名市民，並記錄該市民的年收入 $\omega$（以該城市使用的貨幣單位計）。在這種情況下，我們可以將樣本空間定義為 $\Omega =[0,\infty )$。假設該城市制定了一項稅收政策，規定年收入超過 10000（與 $\omega$ 相同的貨幣單位）則為 應稅收入。現在，我們令 $X$ 表示記錄的年收入的應稅部分。更準確地說，$X:\Omega \to \mathbb {R}$ 定義為 $$X(\omega )={\begin{cases}0,&{\text{if }}\omega \leq 10000\\\omega -10000,&{\text{if }}\omega >10000.\end{cases}}$$，對於每個 $\omega \in \Omega$。也就是說，$X(\omega )=\max\{\omega -c,0\}$，表示為 $(\omega -c)_{+}$，對於每個 $\omega \in \Omega$。

示例。 假設我們擲兩個不同的骰子，並定義 $X$ 為擲骰結果的數字之和。 那麼，樣本空間為 $\Omega =\{(1,1),(1,2),\dotsc ,(6,6)\}$。 這裡我們可以看到 $X$ 的取值範圍是 ${\mathcal {X}}=\{\underbrace {2} _{1+1},3,4,\dotsc ,\underbrace {12} _{6+6}\}$。 計算每個 $x\in {\mathcal {X}}$ 的 $\mathbb {P} (X=x)$。

解。 注意，在樣本空間中，有 1、2、3、4、5、6、5、4、3、2、1 個樣本點，分別對應於 $X=2,3,\dotsc ,12$。 因此，我們有 $${\begin{aligned}\mathbb {P} (X=2)&={\frac {1}{36}}\\\mathbb {P} (X=3)&={\frac {2}{36}}\\\mathbb {P} (X=4)&={\frac {3}{36}}\\\mathbb {P} (X=5)&={\frac {4}{36}}\\\mathbb {P} (X=6)&={\frac {5}{36}}\\\mathbb {P} (X=7)&={\frac {6}{36}}\\\mathbb {P} (X=8)&={\frac {5}{36}}\\\mathbb {P} (X=9)&={\frac {4}{36}}\\\mathbb {P} (X=10)&={\frac {3}{36}}\\\mathbb {P} (X=11)&={\frac {2}{36}}\\\mathbb {P} (X=12)&={\frac {1}{36}}.\\\end{aligned}}$$

練習。 計算 $\mathbb {P} (X\geq 8)$ 的機率。 (答案：${\frac {5}{12}}$)

解答

該機率為 $$\mathbb {P} (X\geq 8)=\mathbb {P} _{X}(\{8,9,10,11,12\})=\sum _{x=8}^{12}\mathbb {P} _{X}(\{x\})=\sum _{x=8}^{12}\mathbb {P} (X=x)={\frac {5+4+3+2+1}{36}}={\frac {5}{12}}.$$

累積分佈函式

對於每個隨機變數 $X$，都存在一個與之相關的函式，稱為 累積分佈函式 (cdf) 的 $X$

定義。

三個累積分佈函式的例子，用紅色線和點表示在兩條藍色線之間。

(累積分佈函式) 隨機變數 $X$ 的 累積分佈函式 (cdf)，記為 $F_{X}(x)$ (或 $F(x)$) 是 $$F_{X}(x)=\mathbb {P} (X\leq x)$$ 對於每個 $x\in \mathbb {R}$。

示例。 考慮之前的一個練習，我們拋一枚公平的硬幣三次，隨機變數 $X$ 被定義為樣本點中獲得的正面次數。我們已經計算出 $\mathbb {P} (X\leq 0)={\frac {1}{8}},\quad \mathbb {P} (X\leq 1)={\frac {4}{8}},\quad \mathbb {P} (X\leq 2)={\frac {7}{8}},\quad \mathbb {P} (X\leq 3)={\frac {8}{8}}$。因此，隨機變數 $X$ 的累積分佈函式由 $$F_{X}(x)={\begin{cases}0,&{\text{if }}x<0\\{\frac {1}{8}},&{\text{if }}0\leq x<1\\{\frac {4}{8}},&{\text{if }}1\leq x<2\\{\frac {7}{8}},&{\text{if }}2\leq x<3\\{\frac {8}{8}},&{\text{if }}x\geq 3.\\\end{cases}}$$ 圖表上，累積分佈函式是一個階梯函式，每個 $x\in {\mathcal {X}}=\{0,1,2,3\}$ 都有一個跳躍，跳躍的大小為 $\mathbb {P} (X=x)$。

累積分佈函式中“跳躍”的示意圖。

從上面的例子中的累積分佈函式可以看出，累積分佈函式不一定是連續的。在跳躍點處有幾個不連續點。但我們可以注意到，在每個跳躍點，累積分佈函式取跳躍的頂端的值，這是根據累積分佈函式的定義（所涉及的不等式也包含等式）。簡單來說，這表明累積分佈函式是右連續的。但是，累積分佈函式一般來說不是左連續的。

下面，我們將討論累積分佈函式的三個定義屬性。

定理。（累積分佈函式的定義屬性）函式 $F$ 是隨機變數 $X$ 的累積分佈函式當且僅當

(i) $0\leq F(x)\leq 1$ 對於每個實數 $x$。

(ii) $F$ 是單調不減的。

(iii) $F$ 是右連續的。

證明。 充分性（$F$ 是累積分佈函式 $\Rightarrow$ 這三個屬性）

(i) 它遵循機率公理，因為 $F$ 被定義為機率。

(ii) $${\begin{aligned}x\leq y&\Rightarrow \{X\leq x\}\subseteq \{X\leq y\}\\&\Rightarrow \mathbb {P} (X\leq x)\leq \mathbb {P} (X\leq y)&\qquad {\text{by monotonicity}}\\&\Rightarrow F(x)\leq F(y)&\qquad {\text{by definition}}\\\end{aligned}}$$

(iii) 固定一個任意的正數列 $\epsilon _{1}>\epsilon _{2}>\cdots$，其中 $\lim _{n\to \infty }\epsilon _{n}=0$。對每個正數 $n$，定義 $E_{n}=\{X\leq x+\epsilon _{n}\}$。因此，$E_{1}\supset E_{2}\supset \cdots$。然後，$$\mathbb {P} (X\leq x)=\mathbb {P} \underbrace {\left(\lim _{n\to \infty }E_{n}\right)} _{\{X\leq x+0\}}=\mathbb {P} \left(\lim _{n\to \infty }E_{1}\cap E_{2}\cap \cdots E_{n}\right)=\lim _{n\to \infty }\mathbb {P} (E_{1}\cap \cdots \cap E_{n})=\lim _{n\to \infty }\mathbb {P} (E_{n})=\lim _{n\to \infty }\mathbb {P} (X\leq x+\epsilon _{n})$$ 因此 $$F(x)=\lim _{n\to \infty }F(x+\epsilon _{n})$$ 對每個 $\epsilon _{1}>\epsilon _{2}>\cdots$ 其中 $\epsilon _{n}\to 0$ 當 $n\to \infty$。也就是說，$$\lim _{h\to 0^{+}}F(x+h)=F(x)$$，這就是右連續性的定義。

如果部分更復雜。以下內容是可選的。概述

1. 繪製任意一條滿足這三個性質的曲線。
2. 無限次拋擲一枚公平的硬幣。
3. 將每次結果編碼成二進位制數，例如 $HHT\cdots \to 0.110\ldots$
4. 將每個二進位制數轉換為十進位制數，例如$0.110\ldots \to 1(2^{-1})+1(2^{-2})=0.75\ldots$。然後，十進位制數是一個隨機變數$U\in [0,1]$。
5. 使用此十進位制數作為任意繪製曲線反函式的輸入，我們得到一個值，該值也是一個隨機變數，比如$X$。
6. 然後，我們得到了隨機變數$X$ 的累積分佈函式$F(x)=\mathbb {P} (X\leq x)=\mathbb {P} (U\leq F(x))$，如果我們無限次地拋一枚公平的硬幣。

$\Box$

有時，我們只對$x$ 這樣使得$\mathbb {P} (X=x)\neq 0$ 的值感興趣，這些值更為“重要”。粗略地說，這些值實際上是$X$ 的支撐集 的元素，該集合將在下文中定義。

定義。（隨機變數的支撐集）隨機變數$X$ 的支撐集，$\operatorname {supp} (X)$，是最小的閉集$S$，使得$\mathbb {P} (X\in S)=1$。

備註。

• 例如，閉區間是閉集。
• 本書不會重點強調閉合性。
• 實際上，$\operatorname {supp} (X)=\{x\in \mathbb {R} :f(x)>0\}$（這是最小的閉集）。

• $f(x)$ 是離散隨機變數的機率質量函式；
• $f(x)$ 是連續隨機變數的機率密度函式。
• 上述術語將在後面定義。

示例. 如果 $$\mathbb {P} (X=x)={\begin{cases}1/4,\quad &x=0;\\1/8,\quad &x=3;\\5/8,\quad &x=6;\\0&{\text{otherwise}},\\\end{cases}}$$ 那麼 $\operatorname {supp} (X)=\{0,3,6\}$，因為 $\mathbb {P} (X\in \{0,3,6\})=1$，並且該集合是滿足此要求的所有集合中最小的集合。

備註. $\mathbb {R} ,\{0,1,2,3,4,5,6\},$等等也滿足要求，但它們不是最小的集合。

練習。

假設我們拋擲一枚不公平的硬幣。定義 $X=1$ 如果正面朝上， $X=-1$ 否則。令 $F(x)$ 為 $X$ 的累積分佈函式。

1 求 $\operatorname {supp} (\mathbf {1} \{X=1\})$。

	$\{-1,1\}$
	$\{0,1\}$
	$\{\mathbf {1} \{X=1\}=0,\mathbf {1} \{X=1\}=1\}$
	由於沒有給出正面朝上的機率，因此無法確定。

2 假設 $\mathbb {P} (X=1)=0.7$，計算 $F(0)$。

	0
	0.3
	0.5
	0.7
	1

3 假設 $\mathbb {P} (X=1)=p\in (0,1)$。以下哪些陳述是正確的？

	$F(1)=1$
	$F(-1)=0$
	$F(0)+F(-1)=F(1)$
	$F(1)=2F(0.5)$ 如果硬幣是公平的。
	$\lim _{x\to -1^{-}}F(x)=F(-1)$

離散隨機變數

定義。 （離散隨機變數） 如果 $\operatorname {supp} (X)$ 是 可數的 （即“可列舉的”或“可列出的”），則隨機變數 $X$ 是一個 離散 隨機變數。

例子。 令 $X$ 是 $n$ 次伯努利試驗中成功的次數。 那麼，$X$ 是一個離散隨機變數，因為 $\operatorname {supp} (X)=\{0,1,\ldots ,n\}$ 是可數的。

另一方面，如果我們讓 $Y$ 是攝氏溫度，$Y$ 不是離散的，因為 $\operatorname {supp} (Y)=[\underbrace {-273.15} _{\text{absolute zero}},\underbrace {1.417\times 10^{32}} _{\text{Planck temperature}}]$ 是不可數的。

練習。

以下哪些是（是）離散隨機變數？

	拋擲一枚硬幣三次出現的正面次數。
	介於 0 和 1 之間（包括 0 和 1）的數字。
	多項選擇題中正確選項的數量，其中最多有三個正確選項。
	對要求數值答案的簡短問題的答案。
	隨機變數為離散隨機變數的機率。

通常，對於離散隨機變數，我們感興趣的是隨機變數取特定值的機率。因此，我們有一個函式可以給出每個特定值所對應的機率，即 機率質量函式。

定義。

pmf 的一個例子。該函式稱為機率質量函式，因為每個點的值可以解釋為位於該點的點的質量。

(機率質量函式) 令 $X$ 為離散隨機變數。 $X$ 的機率質量函式 (pmf) 是 $$f({\color {green}x})=\mathbb {P} (X={\color {green}x}).$$

備註。

• 其他名稱包括質量函式和機率函式。
• 如果隨機變數 $X$ 是離散的，那麼 $\operatorname {supp} (X)=\{x\in \mathbb {R} :f(x)>0\}$ (它是封閉的)。
• 隨機變數 $X$ 的累積分佈函式 (cdf) 為 $F(x)=\mathbb {P} (X\leq x)=\sum _{\{y:y\leq x\}}f(y)$。 因此，pmf 在支援內每個 $x$ 處的值的總和等於 1。
• 離散隨機變數 $X$ 的 cdf 是一個階梯函式，在 $\operatorname {supp} (X)$ 中的點處跳躍，每個跳躍的大小定義了 $X$ 在 $\operatorname {supp} (X)$ 中對應點的 pmf。

例如。 假設我們擲一個公平的六面骰子一次。 令 $X$ 為朝上的數字。 那麼，$X$ 的 pmf 是 $$f(x)={\begin{cases}1/6,\quad &x=1,2,3,4,5{\text{ or }}6;\\0&{\text{otherwise}}.\end{cases}}$$

練習。

1 以下哪些是 (是) pmf？

	$f(x)={\begin{cases}1/2^{n},\quad &n\in \mathbb {N} \\0&{\text{otherwise}}\end{cases}}$. 給定$\mathbb {N} =\{1,2,\ldots \}$是可數的。
	$f(x)={\begin{cases}1,\quad &0\leq x\leq 1\\0&{\text{otherwise}}\end{cases}}$
	$f(x)={\begin{cases}0.2,\quad &x=2\\0.3,\quad &x=6\\0.4,\quad &x=8\\0&{\text{otherwise}}\end{cases}}$
	$f(x)={\begin{cases}0.2,\quad &x=2\\0.3,\quad &x=6\\0.4,\quad &x=8\\0.1&{\text{otherwise}}\end{cases}}$
	$f(x)={\frac {\mathbf {1} \{x=2\cup x=3\cup x=4\}}{3}}$

2 計算$k$，使得函式$f(x)=\mathbf {1} \{x=k\}k+2(\mathbf {1} \{x=2k\}k)+3(\mathbf {1} \{x=3k\}k)$ 是一個機率質量函式。

	$1/12$
	$1/6$
	$1/3$
	$1$

連續隨機變數

假設 $X$ 是一個離散隨機變數。將 $S$ 分割成小的不相交的區間 $[x_{1},x_{1}+\Delta x_{1}],\dotsc$ 得出 $$\mathbb {P} (X\in S)=\mathbb {P} \left(X\in \bigcup _{i}[x_{i}+\Delta x_{i}]\right)=\sum _{i}\mathbb {P} {\big (}X\in [x_{i}+x_{i}+\Delta x_{i}]{\big )}=\sum _{i}\underbrace {\frac {\mathbb {P} {\big (}X\in [x_{i}+x_{i}+\Delta x_{i}]{\big )}}{\Delta x_{i}}} _{\text{probability per unit}}\cdot \Delta x_{i}.$$ 特別地，每單位的機率可以被解釋為 $X$ 在該區間上的機率密度。(密度越高，分配給該區間的機率就越多)。

取極限，$$\lim _{\Delta x_{i}\to 0}\sum _{i}\underbrace {\frac {\mathbb {P} {\big (}X\in [x_{i}+x_{i}+\Delta x_{i}]{\big )}}{\Delta x_{i}}} _{\text{density}}\cdot \Delta x_{i}=\int _{S}\underbrace {f(x)} _{\text{density}}\,dx,$$ 其中，直觀且非嚴格地，$f(x)\,dx$ 可以理解為在“無窮小”區間 $[x,x+dx]$ 上的機率，即 $\mathbb {P} (X\in [x,dx])$，而 $f(x)$ 可以理解為在這個“無窮小”區間上的機率密度，即 ${\frac {\mathbb {P} (X\in [x,dx])}{dx}}$.

這些促使我們給出如下定義。

定義. (連續型隨機變數) 隨機變數 $X$ 為 連續型，如果對於每個（可測）集合 $S\subseteq \mathbb {R}$ 以及某個 非負 函式 $f$，有 $$\mathbb {P} (X\in S)=\int _{S}f(x)\,dx$$ 成立。

備註。

• 函式 $f$ 被稱為 機率密度函式 (pdf)，密度函式，或機率函式（很少見）。
• 如果 $X$ 為連續型，則 pdf 在每個 單點值 上的值為零，即 $\mathbb {P} (X=x)=0$ 對每個實數 $x$ 成立。

• 可以透過設定 $S=\{x\}$ 來證明這一點，則 $\int _{S}f(u)\,du=\int _{x}^{x}f(u)\,du=0$（啞變數已更改）。

• 透過設定 $S=(-\infty ,x]$，累積分佈函式 $F(x)=\mathbb {P} {\big (}X\in (-\infty ,x]{\big )}=\int _{-\infty }^{x}f(u)\,du$。
• 可測性不會被強調。本書中遇到的集合都是可測的。
• $\int _{S}f(x)\,dx$ 是 pdf 在 $S$ 下的面積，它表示機率（透過將密度函式在集合 $S$ 上積分得到的）。

名稱 連續 隨機變數來自這樣的結果，即這種隨機變數的累積分佈函式是連續的。

命題。（連續隨機變數的累積分佈函式的連續性）如果隨機變數 $X$ 是連續的，它的累積分佈函式 $F$ 也是連續的（不僅僅是右連續）。

證明。 由於 $\lim _{h\to 0}F(x+h)=\lim _{h\to 0}\int _{-\infty }^{x+h}f(u)\,du=\int _{-\infty }^{x}f(x)\,dx=F(x)$（黎曼積分是連續的），累積分佈函式是連續的。

$\Box$

示例。（指數分佈）函式 $F(x)=(1-e^{-\lambda x})\mathbf {1} \{x\geq 0\}$ 是連續隨機變數的累積分佈函式，因為

• 它是非負的。
• $\int _{-\infty }^{\infty }(1-e^{-\lambda x})\mathbf {1} \{x\geq 0\}\,dx=\int _{0}^{\infty }(1-e^{-\lambda x})\,dx=1-(1-\underbrace {e^{0}} _{1})=1$. 因此，$\lim _{x\to \infty }F(x)=1$.
• 它是不減的。
• 它是右連續的（也是連續的）。

練習。

1 以下哪些是機率密度函式（PDF）？

	$f(x)=\mathbf {1} \{x\geq 0\}/x$
	$f(x)=\mathbf {1} \{x\geq 0\}/x^{2}$
	$f(x)=\mathbf {1} \{3\leq x\leq 8\}/5$
	$f(x)=\mathbf {1} \{0\leq x\leq 1\}x$
	$f(x)=\mathbf {1} \{0\leq x\leq {\sqrt {2}}\}({\sqrt {2}}-x)$

2 計算 $k$ 使得函式 $f(x)=k\mathbf {1} \{0\leq x\leq k/4\}x$ 為機率密度函式。

	$1$
	$2^{1/3}$
	${\sqrt {2}}$
	$2$
	不存在這樣的 $k$.

3 計算 $k$ 使得函式 $F(x)=k\mathbf {1} \{0\leq x\leq k/4\}x$ 是一個累積分佈函式。

	$1$
	$2^{1/3}$
	${\sqrt {2}}$
	$2$
	不存在這樣的 $k$.

4 以下哪些是正確的？

	如果一個隨機變數的支撐集是可數的，那麼它是離散的。
	如果一個隨機變數的支撐集是不可數的，那麼它是連續的。
	如果一個隨機變數的支撐集是不可數的，那麼它不是離散的。

命題。 (用累積分佈函式求機率密度函式) 如果連續隨機變數的累積分佈函式 $F(x)$ 可微，那麼機率密度函式 $f(x)=F'(x)$.

證明。 這是由微積分基本定理得到的：$$F'(x)={\frac {d}{dx}}\int _{-\infty }^{x}f(u)\,du=f(x).$$

$\Box$

備註。 由於 $F(x)$ 是單調不減的，$F'(x)\geq 0\Rightarrow f(x)\geq 0$。 這表明如果 $F$ 可微，則 $f(x)$ 始終是非負的。 這是我們定義機率密度函式為非負的動機。

在沒有進一步假設的情況下，機率密度函式 不 是唯一的，即一個隨機變數可能有多個機率密度函式，例如，我們可以在其支撐集之外的單個點上將機率密度函式的值設定為一個實數（不會影響機率，因為機率密度函式在單個點的值為零，無論其值如何），這將為一個隨機變數建立另一個有效的機率密度函式。 為了解決這個問題，我們通常將 $f(x)=0$ 設定為每個 $x\notin \operatorname {supp} (X)$，以使機率密度函式變得唯一，並使計算更方便。

示例：（均勻分佈）已知 $$f(x)=\mathbf {1} \{1\leq x\leq 5\}/4$$ 是連續隨機變數 $X$ 的機率密度函式，則機率 ${\displaystyle \mathbb {P} (2$

練習。

已知函式 $f(x)=\mathbf {1} \{1\leq x\leq 6\}e^{x}/(e^{6}-e)$ 是連續隨機變數 $X$ 的機率密度函式。

1 計算 $\mathbb {P} (X>3)$.

	${\frac {e^{6}-e^{3}}{e^{6}-e}}$
	${\frac {e^{3}-e}{e^{6}-e}}$
	${\frac {e^{3}}{e^{6}-e}}$
	$e^{3}-e$
	$e^{6}-e^{3}$

2 計算 $\mathbb {P} (X>3|X<4)$.

	${\frac {e^{4}-e}{e^{4}-e^{3}}}$
	${\frac {e^{3}-e}{e^{4}-e^{3}}}$
	${\frac {e^{4}-e^{3}}{e^{4}-e}}$
	${\frac {e^{3}-e}{e^{4}-e}}$
	$1$

3 計算 $\mathbb {P} (X>3|X\geq 4)$.

	$1-{\frac {e^{4}-e}{e^{4}-e^{3}}}$
	$1-{\frac {e^{3}-e}{e^{4}-e^{3}}}$
	$1-{\frac {e^{4}-e^{3}}{e^{4}-e}}$
	$1-{\frac {e^{3}-e}{e^{4}-e}}$
	$0$

混合隨機變數

在閱讀了前兩節之後，你可能會認為隨機變數要麼是離散的，要麼是連續的。實際上，這是錯誤的。隨機變數可以既不是離散的也不是連續的。這種隨機變數的一個例子是本節討論的 混合 隨機變數。

定理。 (cdf 分解) 每個隨機變數 $X$ 的 cdf $F(x)$ 可以分解為三個部分的總和： $$F(x)=\alpha _{d}F_{d}(x)+\alpha _{c}F_{c}(x)+\alpha _{s}F_{s}(x)$$ 其中 $\alpha _{d},\alpha _{c},\alpha _{s}$ 是非負常數，使得 $\alpha _{d}+\alpha _{c}+\alpha _{s}=1$，其中 $x$ 是一個實數，$F_{d},F_{c},F_{s}$ 分別是離散、連續和奇異隨機變數的 cdf。

備註。

• 如果 $\alpha _{d}\neq 0$ 且 $\alpha _{c}\neq 0$，則 $X$ 是一個混合隨機變數。
• 我們不會在本書中討論奇異隨機變數，因為它比較高階。
• 這個公式的一種解釋是： $$X={\begin{cases}{\text{discrete random variable having cdf }}F_{d}{\text{ with probability }}\alpha _{d};\\{\text{continuous random variable having cdf }}F_{c}{\text{ with probability }}\alpha _{c};\\{\text{singular random variable having cdf }}F_{s}{\text{ with probability }}\alpha _{s}.\end{cases}}$$
• 如果 $X$ 是離散（連續）隨機變數，那麼 $\alpha _{c}=\alpha _{s}=0$ ($\alpha _{d}=\alpha _{s}=0$ )。
• 我們也可以類似地分解pdf，但我們有不同的方法從相應的cdf中找到離散和連續隨機變數的pdf。

奇異隨機變數的一個例子是 康托爾分佈函式（有時稱為魔鬼的樓梯），如下圖所示。當您放大圖形時，圖形模式會不斷重複。

康托爾分佈函式

例： 令 $F_{d}(x)={\frac {1}{3}}\mathbf {1} \{x\geq 3\}+{\frac {2}{3}}\mathbf {1} \{x\geq 7\}$。令 $F_{c}(x)=\mathbf {1} \{x\geq 1\}(x-1)/(x+1)$。那麼，$F(x)=(1/2)F_{d}(x)+(1/2)F_{c}(x)$ 是一個混合隨機變數 $X$ 的 cdf，它以機率 $1/2$ 為離散，以機率 $1/2$ 為連續，因為它是非負的、非遞減的、右連續的，並且 $\lim _{x\to \infty }F(x)=(1/2)\left[\lim _{x\to \infty }(F_{d}(x)+F_{c}(x)\right]=(1/2)(1+1)=1$。

練習： 考慮函式 $F(x)={\frac {\mathbf {1} \{x\geq 8\}+(1-1/x)\mathbf {1} \{x\geq 1\}}{k}}$。已知 $F(x)$ 是隨機變數 $X$ 的 cdf。

(a) 證明 $k=2$。

(b) 證明 $X$ 的 pdf 為 $$f(x)={\frac {1}{2}}(\mathbf {1} \{x=8\}+x^{-2}\mathbf {1} \{x\geq 1\}).$$

(c) 證明 $X$ 為連續型隨機變數的機率為 $1/k$。

(d) 證明 $\mathbb {P} (X\geq 3|X\leq 8)$ 等於 $2/3$。

(e) 證明事件 $\{X\geq 3\}$ 和 $\{X\leq m\}$ 在 $m\geq 8$ 時相互獨立。

證明。

(a) 由於 $F$ 是累積分佈函式，且當 $x\to \infty$ 時，$\mathbf {1} \{x\geq 8\}=\mathbf {1} \{x\geq 1\}=1$，因此，$$\lim _{x\to \infty }F(x)=1\implies {\frac {1+1}{k}}=1\implies k=2.$$

(b) 由於 $X$ 是混合型隨機變數，對於離散型隨機變數部分，機率密度函式為 $$f_{d}(x)=\mathbf {1} \{x=8\}/2.$$ 另一方面，對於連續型隨機變數部分，機率密度函式為 $$f_{c}(x)=\mathbf {1} \{x\geq 1\}x^{-2}/2.$$ 因此，$X$ 的機率密度函式為 $$f(x)={\frac {1}{2}}(\mathbf {1} \{x=8\}+x^{-2}\mathbf {1} \{x\geq 1\})$$

(c) 可以看到 $F(x)$ 可以分解如下：$$F(x)={\frac {1}{2}}(\mathbf {1} \{x\geq 8\})+{\frac {1}{2}}((1-1/x)\mathbf {1} \{x\geq 1\}).$$ 因此，$X$ 為連續變數的機率為 $1/k=1/2$。

(d) $$\mathbb {P} (X\geq 3|X\leq 8)={\frac {\mathbb {P} (3\leq X\leq 8)}{\mathbb {P} (X\leq 8)}}={\frac {\mathbb {P} (X\leq 8)-\mathbb {P} (X\leq 3)+\overbrace {\mathbb {P} (X=3)} ^{0}}{1}}=1-\overbrace {(1-1/3)/2} ^{1/3}=2/3.$$

(e) 如果 $m\geq 8$，$\mathbb {P} (X\leq m)=1$。 因此，$$\mathbb {P} (X\geq 3\cap X\leq m)=\mathbb {P} (X\leq m)-\mathbb {P} (X\leq 3)+\underbrace {\mathbb {P} (X=3)} _{0}=1-\mathbb {P} (X\leq 3)=\mathbb {P} (X>3)=\mathbb {P} (X>3)+\underbrace {\mathbb {P} (X=3)} _{0}=\mathbb {P} (X\geq 3)=\mathbb {P} (X\geq 3)\underbrace {\mathbb {P} (X\leq m)} _{1},$$ 也就是說 $\{X\geq 3\}$ 和 $\{X\leq m\}$ 是相互獨立的。

$\Box$