機率/重要分佈

離散隨機變數的分佈

初步概念：伯努利試驗

定義。（伯努利試驗）伯努利試驗是一種只有兩個可能結果的實驗，即成功和失敗。

備註。

• '成功'和'失敗'僅作為標籤，即我們可以將實驗中的任意一個結果定義為'成功'。

定義。（伯努利試驗的獨立性）令$S_{i}$為事件$\{i{\text{th Bernoulli trial is a success}}\},\quad i=1,2,\dotsc$。如果$S_{1},S_{2},\dotsc$是獨立的，則相應的伯努利試驗是獨立的。

示例。如果我們將拋硬幣的結果解釋為'正面朝上'和'反面朝上'，則拋硬幣是一個伯努利試驗。

練習。

如果我們將拋硬幣的結果解釋為'正面朝上'、'反面朝上'和'硬幣立起來'，那麼拋硬幣是一個伯努利試驗嗎？

	是。
	否。

備註。

• 我們通常將拋硬幣的結果解釋為'正面朝上'和'反面朝上'。

二項分佈

動機

考慮${\color {blue}n}$個獨立的伯努利試驗，每個試驗的成功機率為${\color {darkgreen}p}$。我們希望計算機率$\mathbb {P} (\{{\color {darkgreen}r}{\text{ successes in }}{\color {blue}n}{\text{ trials}}\})$。

令 $S_{i}$ 表示事件 $\{i{\text{th Bernoulli trial is a success}}\},\quad i=1,2,\dotsc$，如上一節所述。現在考慮一個特定的結果序列，其中在 ${\color {blue}n}$ 次試驗中有 ${\color {darkgreen}r}$ 次成功：$${\color {darkgreen}\underbrace {S\cdots S} _{r{\text{ successes}}}}{\color {red}\overbrace {F\cdots F} ^{{\color {blue}n}-{\color {darkgreen}r}{\text{ failures}}}}$$ 它的機率是 $$\mathbb {P} ({\color {darkgreen}S_{1}\cap \dotsb S_{r}}\cap {\color {red}S_{r+1}^{c}\cap \dotsb \cap S_{\color {blue}n}^{c}}){\overset {\text{ indpt. }}{=}}{\color {darkgreen}\mathbb {P} (S_{1})\dotsb \mathbb {P} (S_{r})}{\color {red}\mathbb {P} (S_{r+1}^{c})\cdots \mathbb {P} (S_{\color {blue}n}^{c})}={\color {darkgreen}p^{r}}{\color {red}(1-{\color {darkgreen}p})^{{\color {blue}n}-{\color {darkgreen}r}}}$$ 由於其他一些具有 ${\color {darkgreen}r}$ 次成功的序列在其他試驗中出現的機率是 相同的，並且有 ${\binom {\color {blue}n}{\color {darkgreen}r}}$ 個不同的可能序列，$$\mathbb {P} (\{{\color {darkgreen}r}{\text{ successes in }}{\color {blue}n}{\text{ trials}}\})={\binom {\color {blue}n}{\color {darkgreen}r}}{\color {darkgreen}p}^{\color {darkgreen}r}{\color {red}(1-{\color {darkgreen}p})^{{\color {blue}n}-{\color {darkgreen}r}}}.$$ 這是一個服從二項分佈的隨機變數的機率質量函式。

定義

定義. （二項分佈）

顯示了 ${\color {blue}\operatorname {Binom} (20,0.5)},{\color {green}\operatorname {Binom} (20,0.7)}$ 和 ${\color {red}\operatorname {Binom} (40,0.5)}$ 的機率質量函式。

一個隨機變數 $X$ 服從 二項分佈，它有 ${\color {blue}n}$ 次獨立的伯努利試驗，每次試驗成功的機率為 ${\color {darkgreen}p}$，記作 $X\sim \operatorname {Binom} ({\color {blue}n},{\color {darkgreen}p})$，如果它的機率質量函式是 $$f({\color {darkgreen}x};{\color {blue}n},{\color {darkgreen}p})={\binom {\color {blue}n}{\color {darkgreen}x}}{\color {darkgreen}p^{x}}{\color {red}(1-{\color {darkgreen}p})^{{\color {blue}n}-{\color {darkgreen}x}}},\quad {\color {darkgreen}x}\in \operatorname {supp} (X)=\{0,1,2,\dotsc ,{\color {blue}n}\}.$$

顯示了 ${\color {blue}\operatorname {Binom} (20,0.5)},{\color {green}\operatorname {Binom} (20,0.7)}$ 和 ${\color {red}\operatorname {Binom} (40,0.5)}$ 的累積分佈函式。

備註。

• 機率質量函式中的 "$;n,p$" 強調了分佈的 引數（即描述分佈的量）的值是 $n$ 和 $p$。我們也可以對機率密度函式使用類似的記號。

• 還有一些其他方法來強調引數值。例如，當引數值為 $\theta$ 時，機率密度函式/機率質量函式可以記作 $f(\cdot |\theta ),f_{\theta }(\cdot ),\dotsc$
• 當然，這些內容並非機率密度函式/機率質量函式的必要組成部分，但它們可以使涉及的引數值更加明確和清晰。

• 機率質量函式包含一個 二項式 係數，因此被稱為 '二項分佈'。
• 每個分佈的一般說明:

• 我們也可以直接寫下分佈的記號來表示分佈本身，例如 $\operatorname {Binom} {({\color {blue}n},{\color {darkgreen}p})}$ 代表二項分佈。
• 為了簡便起見，我們有時會說分佈的 pmf、pdf 或支撐，指的是遵循該分佈的隨機變數的 pmf、pdf 或支撐（分別）。（這也適用於分佈的其他性質（將在後面的章節中討論），例如均值、方差等）。

伯努利分佈

伯努利分佈只是二項式分佈的一個特例，如下所示

定義.（伯努利分佈）

${\color {red}\operatorname {Ber} (0.8)},{\color {blue}\operatorname {Ber} (0.2)}$ 和 ${\color {darkgreen}\operatorname {Ber} (0.5)}$ 的 pmf。

隨機變數 $X$ 遵循成功機率為 ${\color {darkgreen}p}$ 的伯努利分佈，表示為 $X\sim \operatorname {Ber} ({\color {darkgreen}p})$，如果其 pmf 為 $$f({\color {darkgreen}x};{\color {darkgreen}p})={\color {darkgreen}p^{x}}{\color {red}(1-{\color {darkgreen}p})^{1-{\color {darkgreen}x}}},\quad {\color {darkgreen}x}\in \operatorname {supp} (X)=\{0,1\}.$$

${{\color {blue}\operatorname {Ber} (1)},\color {red}\operatorname {Ber} (0.8)},{\color {darkorange}\operatorname {Ber} (0.5)}$ 和 ${\color {darkgreen}\operatorname {Ber} (0.3)}$ 的 cdf。

備註。

• $\operatorname {Ber} ({\color {darkgreen}p})=\operatorname {Binom} (1,{\color {darkgreen}p})$.
• 這裡只涉及一次伯努利試驗，因此稱為“伯努利分佈”。

泊松分佈

動機

泊松分佈可以被視為二項式分佈的“極限情況”。

考慮 ${\color {blue}n}$ 個獨立的伯努利試驗，每次試驗成功的機率為 ${\color {darkgreen}p}=\lambda /{\color {blue}n}$。根據二項分佈，$$\mathbb {P} ({\color {darkgreen}r}{\text{ successes in }}{\color {blue}n}{\text{ trials}})={\binom {\color {blue}n}{\color {darkgreen}r}}{\color {darkgreen}(\lambda /{\color {blue}n})^{r}}{\color {red}(1-\lambda /{\color {blue}n})^{{\color {blue}n}-{\color {darkgreen}r}}}.$$

After that, consider an unit time interval, with (positive) occurrence rate $\lambda$ of a rare event (i.e. the mean of number of occurrence of the rare event is $\lambda$). We can divide the unit time interval to ${\color {blue}n}$ time subintervals of time length $1/{\color {blue}n}$ each. If ${\color {blue}n}$ is large and ${\color {darkgreen}p}$ is relatively small, such that the probability for occurrence of two or more rare events at a single time interval is negligible, then the probability for occurrence of exactly one rare event for each time subinterval is ${\color {darkgreen}p}=\lambda /{\color {blue}n}$ by definition of mean. Then, we can view the unit time interval as a sequence of ${\color {blue}n}$ Bernoulli trials with success probability ${\color {darkgreen}p}=\lambda /{\color {blue}n}$. After that, we can use $\operatorname {Binom} {({\color {blue}n},\lambda /{\color {blue}n})}$ to model the number of occurrences of rare event. To be more precise, $${\begin{aligned}\mathbb {P} (\underbrace {{\color {darkgreen}r}{\text{ successes in }}{\color {blue}n}{\text{ trials}}} _{{\color {darkgreen}r}{\text{ rare events in the unit time}}})&={\binom {\color {blue}n}{\color {darkgreen}r}}{\color {darkgreen}(\lambda /{\color {blue}n})^{r}}{\color {red}(1-\lambda /{\color {blue}n})^{{\color {blue}n}-{\color {darkgreen}r}}}\\&={\frac {{\color {blue}n}({\color {blue}n}-1)\dotsb ({\color {blue}n}-{\color {darkgreen}r}+1)}{{\color {darkgreen}r}!}}(\lambda ^{\color {darkgreen}r}/{\color {blue}n}^{\color {darkgreen}r})(1-\lambda /{\color {blue}n})^{{\color {blue}n}-{\color {darkgreen}r}}\\&=(\lambda ^{\color {darkgreen}r}/{\color {darkgreen}r}!)\overbrace {(1-\underbrace {1/{\color {blue}n}} _{\to 0{\text{ as }}n\to \infty })\dotsb {\big (}1-\underbrace {({\color {darkgreen}r-1})/{\color {blue}n}} _{\to 0{\text{ as }}n\to \infty }{\big )}} ^{\to 1{\text{ as }}n\to \infty }\underbrace {(1-\lambda /{\color {blue}n})^{\overbrace {{\color {blue}n}-{\color {darkgreen}r}} ^{\to n{\text{ as }}n\to \infty }}} _{\to e^{-\lambda }{\text{ as }}n\to \infty }\\&\to e^{-\lambda }\lambda ^{\color {darkgreen}r}/{\color {darkgreen}r}!{\text{ as }}n\to \infty .\end{aligned}}$$ This is the pmf of a random variable following the Poisson distribution, and this result is known as the Poisson limit theorem (or law of rare events). We will introduce it formally after introducing the definition of Poisson distribution.

定義

定義。 （泊松分佈）

${\color {darkorange}\operatorname {Pois} (1)},{\color {purple}\operatorname {Pois} (4)}$ 和 ${\color {royalblue}\operatorname {Pois} (10)}$ 的機率質量函式。

一個隨機變數 $X$ 服從引數為正數 $\lambda$ 的 泊松分佈，記為 $X\sim \operatorname {Pois} (\lambda )$，如果它的機率質量函式為 $$f({\color {darkgreen}x};\lambda )=e^{-\lambda }\lambda ^{\color {darkgreen}x}/{\color {darkgreen}x}!,\quad {\color {darkgreen}x}\in \operatorname {supp} (X)=\{0,1,2,\dotsc \}.$$

${\color {darkorange}\operatorname {Pois} (1)},{\color {purple}\operatorname {Pois} (4)}$ 和 ${\color {royalblue}\operatorname {Pois} (10)}$ 的累積分佈函式。

備註。

• 它以法國數學家 西蒙·德尼·泊松 的名字命名。

定理。（泊松極限定理）一個服從 $\operatorname {Binom} {({\color {blue}n},\lambda /{\color {blue}n}})$ 分佈收斂 於一個服從 $\operatorname {Pois} {(\lambda )}$ 的隨機變數，當 ${\color {blue}n}\to \infty$.

證明。 該結果源於上面證明的結果：$\operatorname {Binom} ({\color {blue}n},\lambda /{\color {blue}n})$ 的機率質量函式隨著 ${\color {blue}n}\to \infty$ 趨近於 $\operatorname {Pois} {(\lambda )}$ 的機率質量函式。

$\Box$

備註。

• 因此，對於較大的 ${\color {blue}n}$ 和相對較小的 ${\color {darkgreen}p}=\lambda /{\color {blue}n}$，可以使用泊松分佈來近似二項分佈。

幾何分佈

動機

假設有一系列獨立的伯努利試驗，成功機率為${\color {darkgreen}p}$。我們希望計算機率$\mathbb {P} (\{{\color {red}x}{\text{ failures before first success}}\})$。透過考慮以下結果序列：$${\color {red}\underbrace {F\cdots F} _{{\color {red}x}{\text{ failures}}}}{\color {darkgreen}S},$$ 我們可以計算得到$$\mathbb {P} (\{{\color {red}x}{\text{ failures before first success}}\})={\color {red}(1-{\color {darkgreen}p})^{x}}{\color {darkgreen}p},\quad {\color {red}x}\in \operatorname {supp} (X)=\{0,1,2,\dotsc \}$$ 這是遵循幾何分佈的隨機變數的機率質量函式。

定義

定義.（幾何分佈）

${\color {green}\operatorname {Geo} (0.2)},{\color {blue}\operatorname {Geo} (0.5)}$ 和 ${\color {red}\operatorname {Geo} (0.8)}$ 的機率質量函式。

如果隨機變數 $X$ 遵循 幾何分佈，且其 成功機率 為 ${\color {darkgreen}p}$，記作 $X\sim \operatorname {Geo} ({\color {darkgreen}p})$，那麼它的機率質量函式為$$f({\color {red}x};{\color {darkgreen}p})={\color {red}(1-{\color {darkgreen}p})^{x}}{\color {darkgreen}p},\quad {\color {red}x}\in \operatorname {supp} (X)=\{0,1,2,\dotsc \}.$$

${\color {green}\operatorname {Geo} (0.2)},{\color {blue}\operatorname {Geo} (0.5)}$ 和 ${\color {red}\operatorname {Geo} (0.8)}$ 的累積分佈函式。

備註。

• 從 $f(0;{\color {darkgreen}p})$ 開始的機率序列，隨著輸入值 ${\color {red}x}$ 一次又一次地增加（即 ${\color {darkgreen}p},{\color {red}(1-{\color {darkgreen}p})}{\color {darkgreen}p},{\color {red}(1-{\color {darkgreen}p})^{2}}{\color {darkgreen}p},\dotsc$）是一個 等比數列，因此得名 “幾何 分佈”。
• 對於另一種定義，pmf 則為 $(1-p)^{x-1}p$，這是機率 $\mathbb {P} (\{x{\text{ trials before first success}}\})$，其支援為 $\operatorname {supp} (X)=\{1,2,\dotsc \}$.

命題。（幾何分佈的無記憶性）如果 $X\sim \operatorname {Geo} (p)$，則 $$\mathbb {P} (X>m+n|X\geq m)=\mathbb {P} (X>n)$$ 對於每個 非負 整數 $m$ 和 $n$ 成立。

證明。 $${\begin{aligned}\mathbb {P} (X>m+n|X\geq m)&{\overset {\text{ def }}{=}}{\frac {\mathbb {P} (\overbrace {X>m+n\cap X\geq m)} ^{=X>m+n}}{\mathbb {P} (X\geq m)}}\\&{\overset {\text{ def }}{=}}{\frac {{\cancel {p}}\left((1-p)^{m+n+1}+(1-p)^{m+n+2}+\dotsb \right)}{{\cancel {p}}\left((1-p)^{m}+(1-p)^{m+1}+\dotsb \right)}}\\&={\frac {(1-p)^{{\cancel {m}}+n+1}{\cancel {/{\big (}1-(1-p){\big )}}}}{{\cancel {(1-p)^{m}}}{\cancel {/{\big (}1-(1-p){\big )}}}}}&{\text{by geometric series formula}}\\&=(1-p)^{n+1}\cdot {\frac {\color {darkgreen}p}{\color {blue}p}}\\&={\color {darkgreen}p}\cdot {\frac {(1-p)^{n+1}}{\color {blue}1-(1-p)}}\\&={\color {darkgreen}p}\left((1-p)^{n+1}+(1-p)^{n+2}+\dotsb \right)&{\text{by geometric series formula}}\\&{\overset {\text{ def }}{=}}\mathbb {P} (X>n)&{\text{since }}X>n\Leftrightarrow X=n+1,n+2,\dotsc .\\\end{aligned}}$$

• 特別地，$X>m+n\cap X\geq m=X>m+n$ 因為 $\underbrace {X>m+n} _{X=m+n+1,m+n+2,\dotsc }\subsetneq \underbrace {X\geq m} _{X=m,m+1,\dotsc }$.

$\Box$

備註。

• $X>m+n$ 可以解釋為'在第一次成功之前有超過 $m+n$ 次失敗'。
• $X\geq m$ 可以解釋為“$m$ 次失敗已經發生，所以第一次成功之前至少有 $m$ 次失敗”。
• 這意味著條件 $X\geq m$ 不會 影響第一次成功之前剩餘失敗次數的分佈（它仍然遵循具有相同成功機率的幾何分佈）。
• 因此，我們可以假設在發生失敗的任意試驗之後，試驗從頭開始。

• 例如，如果第一次試驗失敗，那麼第一次成功之前剩餘失敗次數的分佈不受影響。
• 同樣，如果第一次試驗成功，那麼條件變為$X=0$，而不是$X\geq m$，所以上述公式在這種情況下不適用。

• 事實上，$\mathbb {P} (X>m+n|X=0)=0$，因為給定$X=0$，$X$ 不能超過零。

負二項分佈

動機

Consider a sequence of independent Bernoulli trials with success probability ${\color {darkgreen}p}$. We would like to calculate the probability $\mathbb {P} (\{{\color {red}x}{\text{ failures before }}{\color {darkgreen}k}{\text{th success}}\})$. By considering this sequence of outcomes: $$\overbrace {{\color {red}\underbrace {F\cdots F} _{x_{1}{\text{ failures}}}}{\color {darkgreen}S}{\color {red}\underbrace {F\cdots F} _{x_{2}{\text{ failures}}}}{\color {darkgreen}S}\cdots {\color {red}\underbrace {F\cdots F} _{x_{k}{\text{ failures}}}}} ^{{\color {red}x}+{\color {darkgreen}k}-1{\text{ trials}}}{\color {darkgreen}\overbrace {S} ^{k{\text{th success}}}},\quad {\color {red}x_{1}}+{\color {red}x_{2}}+\dotsb +{\color {red}x_{k}}={\color {red}x},$$ we can calculate that $$\mathbb {P} (\{{\color {red}x}{\text{ failures before }}{\color {darkgreen}k}{\text{th success}}\})={\color {red}(1-{\color {darkgreen}p})^{x}}{\color {darkgreen}p^{k}},\quad {\color {red}x}\in \operatorname {supp} (X)=\{0,1,2,\dotsc \}.$$ Since the probability of other sequences with some of ${\color {red}x}$ failures occuring in other trials (and some of ${\color {darkgreen}k}-1$ successes (excluding the ${\color {darkgreen}k}$th success, which must occur in the last trial) occuring in other trials), is the same, and there are ${\binom {{\color {red}x}+{\color {darkgreen}k}-1}{\color {red}x}}$ (or ${\binom {{\color {red}x}+{\color {darkgreen}k}-1}{{\color {green}k}-1}}$, which is the same numerically) distinct possible sequences , $$\mathbb {P} (\{{\color {red}x}{\text{ failures before }}{\color {darkgreen}k}{\text{th success}}\})={\binom {{\color {red}x}+{\color {darkgreen}k}-1}{\color {red}x}}{\color {red}(1-{\color {darkgreen}p})^{x}}{\color {darkgreen}p^{k}},\quad {\color {red}x}\in \operatorname {supp} (X)=\{0,1,2,\dotsc \}.$$ This is the pmf of a random variable following the negative binomial distribution.

定義

定義. (負二項分佈)

${\color {darkblue}\operatorname {NB} (10,0.9)},{\color {red}\operatorname {NB} (10,0.8)},{\color {darkorange}\operatorname {NB} (10,0.5)}$ 和 ${\color {darkgreen}\operatorname {NB} (10,0.3)}$ 的機率質量函式。

一個隨機變數 $X$ 遵循 負二項分佈，其 成功機率 為 ${\color {darkgreen}p}$，記為 $X\sim \operatorname {NB} ({\color {darkgreen}k,p})$，如果其機率質量函式（pmf）為 $$f({\color {red}x};{\color {darkgreen}k,p})={\binom {{\color {red}x}+{\color {darkgreen}k}-1}{\color {red}x}}{\color {red}(1-{\color {darkgreen}p})^{x}}{\color {darkgreen}p^{k}},\quad {\color {red}x}\in \operatorname {supp} (X)=\{0,1,2,\dotsc \}.$$

${\color {royalblue}\operatorname {NB} (10,0.9)},{\color {red}\operatorname {NB} (10,0.8)},{\color {darkorange}\operatorname {NB} (10,0.5)}$ 和 ${\color {darkgreen}\operatorname {NB} (10,0.3)}$ 的累積分佈函式（cdf）。

備註。

• 負二項 係數參與其中，因此稱為“負二項 分佈”。

超幾何分佈

動機

考慮從一個大小為 $N$ 的總體中，不放回地抽取大小為 $n$ 的樣本，該總體包含 $K$ 個型別 1 的物體和 $N-K$ 個其他型別的物體。那麼，$$\mathbb {P} (\{k{\text{ type 1 objects are found when }}n{\text{ objects are drawn from }}N{\text{ objects}}\})=\underbrace {\binom {K}{k}} _{\text{type 1}}\overbrace {\binom {N-K}{n-k}} ^{\text{another type}}{\bigg /}\underbrace {\binom {N}{n}} _{\text{all outcomes}},\quad k\in {\big \{}\max\{n-N+K,0\},\dotsc ,\min {\{K,n\}}{\big \}}$$ .

• ${\binom {K}{k}}$: 從 $K$ 個（可區分的）型別 1 的物件中，無放回地選擇 $k$ 個物件的無序選擇。
• ${\binom {N-K}{n-k}}$: 從 $N-K$ 個（可區分的）其他型別的物件中，無放回地選擇 $n-k$ 個物件的無序選擇。
• ${\binom {N}{n}}$: 從 $N$ 個（可區分的）物件中，無放回地選擇 $n$ 個物件的無序選擇。

這是遵循 超幾何分佈 的隨機變數的機率質量函式。

定義

定義。 （超幾何分佈）

${\color {blue}\operatorname {HypGeo} (500,50,100)},{\color {darkgreen}\operatorname {HypGeo} (500,60,200)}$ 和 ${\color {red}\operatorname {HypGeo} (500,70,300)}$ 的機率質量函式。

隨機變數 $X$ 服從 超幾何分佈，從包含 $K$ 個型別 1 的物件和 $N-K$ 個其他型別物件的集合中抽取 $n$ 個物件，記為 $X\sim \operatorname {HypGeo} (N,K,n)$，如果它的機率質量函式是 $$f(k;N,K,n)={\binom {K}{k}}{\binom {N-K}{n-k}}{\bigg /}{\binom {N}{n}},\quad k\in \operatorname {supp} (X)={\big \{}\max\{n-N+K,0\},\dotsc ,\min {\{K,n\}}{\big \}}.$$

${\color {blue}\operatorname {HypGeo} (500,50,100)},{\color {darkgreen}\operatorname {HypGeo} (500,60,200)}$ 和 ${\color {red}\operatorname {HypGeo} (500,70,300)}$ 的累積分佈函式。

備註。

• 機率質量函式有點類似於 超幾何 級數 ，因此得名 “超幾何 分佈”。

有限離散分佈

這種型別的分佈是所有具有有限支撐的離散分佈的推廣，例如伯努利分佈和超幾何分佈。

這種型別的分佈的另一個特例是 離散均勻分佈，它類似於 連續均勻分佈（將在後面討論）。

定義。 （有限離散分佈）隨機變數 $X$ 遵循 有限離散分佈，其向量為 $\mathbf {x} =(x_{1},\dotsc ,x_{n})^{T}$，機率向量為 $\mathbf {p} =(p_{1},\dotsc ,p_{n})^{T},\quad p_{1},\dotsc ,{\text{ and }}p_{n}\geq 0,p_{1}+\dotsb +p_{n}=1$，表示為 $X\sim \operatorname {FD} (\mathbf {x} ,\mathbf {p} )$，如果其機率質量函式為 $$f(x_{i};\mathbf {p} )=p_{i},\quad i=1,\dotsc ,{\text{ or }}n.$$

備註。

• 對於均值和方差，我們可以直接根據定義進行計算。有限離散分佈沒有特殊的公式。

定義。 （離散均勻分佈）離散均勻分佈，表示為 $\operatorname {D} {\mathcal {U}}\{x_{1},\dotsc ,x_{n}\}$，是 $\operatorname {FD} (\mathbf {x} ,\mathbf {p} ),\quad \mathbf {p} ={\bigg (}\underbrace {{\frac {1}{n}},\dotsc ,{\frac {1}{n}}} _{n{\text{ times}}}{\bigg )}^{T}$.

備註。

• 其機率質量函式為 $f(x_{i})={\frac {1}{n}},\quad i=1,\dotsc ,{\text{ or }}n.$

示例。 假設隨機變數 $X\sim \operatorname {FD} {\big (}(1,2,3)^{T},(0.2,0.3,0.5)^{T}{\big )}$。那麼，$$\mathbb {P} (X=1)=0.2,\mathbb {P} (X=2)=0.3,{\text{ and }}\mathbb {P} (X=3)=0.5.$$ 機率質量函式的圖形

|
|              *
|              |
|         *    |
|    *    |    |
|    |    |    |
*----*----*----*-------
     1    2    3

示例。 假設一個隨機變數 $X\sim \operatorname {D} {\mathcal {U}}\{1,2,3\}$. 那麼，$$\mathbb {P} (X=1)=\mathbb {P} (X=2)=\mathbb {P} (X=3)={\frac {1}{3}}.$$ 機率質量函式的示例

|
|               
|               
|    *    *    *
|    |    |    |
|    |    |    |
*----*----*----*-------
     1    2    3

練習

練習。

正確答案加一分
錯誤答案減分
忽略問題係數

1 以下哪個分佈應該用於模擬城鎮每天發生的交通事故數量？

	二項分佈。
	泊松分佈。
	幾何分佈。
	負二項分佈。
	超幾何分佈。

2 在 200 人中，每個人獨立地有 0.1 的機率是吸菸者。我們從他們中隨機抽取一個人，直到抽到吸菸者為止。以下哪個分佈應該用於模擬在抽到吸菸者之前需要的抽取次數？

	二項分佈。
	泊松分佈。
	幾何分佈。
	負二項分佈。
	超幾何分佈。

3 已知 1000 名計程車司機中，80% 的司機購買了某保險公司的保險。從他們中隨機抽取 30 名計程車司機，不放回。以下哪個分佈應該用於模擬抽取的未購買保險的司機人數？

	二項分佈。
	泊松分佈。
	幾何分佈。
	負二項分佈。
	超幾何分佈。

4 一家保險公司銷售了 500 份保單。精算師確定，每份保單都有 0.1 的機率需要向被保險人支付索賠款，並且彼此獨立。以下哪個分佈應該用於模擬需要向被保險人支付索賠款的保單數量？

	二項分佈。
	泊松分佈。
	幾何分佈。
	負二項分佈。
	超幾何分佈。

5 一家保險公司銷售了 500 份保單。精算師確定，每份保單都有 0.1 的機率需要向被保險人支付索賠款，並且彼此獨立。以下哪個分佈應該用於模擬在向被保險人支付了 10 次索賠款之前檢查的保單數量？

	二項分佈。
	泊松分佈。
	幾何分佈。
	負二項分佈。
	超幾何分佈。

6 以下哪個分佈應該用於模擬城鎮中患有罕見疾病的人數？

	二項分佈。
	泊松分佈。
	幾何分佈。
	負二項分佈。
	超幾何分佈。

7 一個盒子裡有 100 個紅球，300 個藍球和 250 個綠球。從盒子裡抽取 100 個球。從盒子裡抽取的非藍球數量服從哪個分佈？

	$\operatorname {HypGeo} (650,100,300)$
	$\operatorname {HypGeo} (650,350,100)$
	$\operatorname {HypGeo} (650,250,100)$
	$\operatorname {HypGeo} (650,100,100)$
	$\operatorname {HypGeo} (650,100,350)$

8 以下哪個（些）分佈恰好有兩個引數？

	二項分佈。
	伯努利分佈。
	泊松分佈。
	幾何分佈。
	負二項分佈。
	超幾何分佈。

9 一家制造商銷售了 200 個燈泡，每個燈泡售價 100 美元。製造商承諾，如果買家購買的燈泡在購買後的第一週內失效，將全額退款給買家。假設每個燈泡在第一週內失效的機率為 0.001，並且彼此獨立，那麼支付的退款數量服從哪個分佈？

	$\operatorname {Binom} (200,0.001)$
	$\operatorname {Binom} (200,0.999)$
	$\operatorname {Binom} (20000,0.001)$
	$\operatorname {Binom} (20000,0.999)$
	$\operatorname {Binom} (2,0.001)$

連續隨機變數的分佈

均勻分佈 (連續)

連續均勻分佈 是對“無偏好”的建模，即其支援域上所有相同長度的區間都是 等機率 （可以從對應連續均勻分佈的機率密度函式 (pdf) 中看出）。 此外還有 離散 均勻分佈，但它不像 連續 均勻分佈那麼重要。因此，從現在開始，簡稱為“均勻分佈”指的是 連續 均勻分佈，而不是離散均勻分佈。

定義。 (均勻分佈)

${\color {dodgerblue}{\mathcal {U}}[a,b]}$ 的機率密度函式 (pdf)。

一個隨機變數 $X$ 遵循 均勻分佈，記為 $X\sim {\mathcal {U}}[a,b]$，如果其機率密度函式 (pdf) 為 $$f(x)=1/(b-a),\quad x\in \operatorname {supp} (X)=[a,b],{\text{ and }}a\leq b.$$

備註。

• ${\mathcal {U}}[a,b]$ 的支援域也可以是 $[a,b),(a,b]$ 或 $(a,b)$，而不會影響事件的機率，因為使用 pdf 在 單個 點上計算的機率無論如何都是 零。
• 分佈 ${\mathcal {U}}[0,1]$ 是 標準均勻分佈。

命題。

${\color {dodgerblue}{\mathcal {U}}[a,b]}$ 的累積分佈函式 (cdf)。

(均勻分佈的累積分佈函式) ${\mathcal {U}}[a,b]$ 的累積分佈函式為 $$F(x)={\begin{cases}0,&x<a;\\(x-a)/(b-a),&a\leq x\leq b;\\1,&x>b.\end{cases}}$$

證明： $$F(x)=\int _{-\infty }^{x}{\frac {\mathbf {1} \{a\leq x\leq b\}}{b-a}}\,dy={\frac {1}{b-a}}\int _{a}^{x}\mathbf {1} \{a\leq x\leq b\}\,dy={\begin{cases}0/(b-a),&x<a;\\[][y]_{a}^{x}/(b-a),&a\leq x\leq b;\\[][y]_{a}^{b}/(b-a),&x>b.\end{cases}}$$ 因此，結果成立。

$\Box$

指數分佈

具有速率引數 $\lambda$ 的指數分佈通常用於描述速率為 $\lambda$ 的罕見事件的到達間隔時間。

將此與泊松分佈進行比較，指數分佈描述了罕見事件的到達間隔時間，而泊松分佈描述了固定時間間隔內罕見事件的發生次數。

根據速率的定義，當速率 $\uparrow$ 時，到達間隔時間 $\downarrow$（即罕見事件的頻率$\uparrow$）。

因此，我們希望當 $\lambda \uparrow$（即 pdf 在較小的 $x$ 處具有更高的值，當 $\lambda \uparrow$）時，pdf 在包含較小 $x$ 值的區間的面積 $\uparrow$ 當 $\lambda \uparrow$。

此外，由於在固定速率 $\lambda$ 下，到達時間間隔越長髮生的可能性越小。因此，直觀地，我們也希望 pdf 是一個嚴格的 遞減 函式，這樣發生的機率（pdf 在某個區間內的面積） $\downarrow$ 當 $x\uparrow$。

我們可以看到，指數分佈的 pdf 滿足這兩個性質。

定義。（指數分佈）

${\color {darkorange}\operatorname {Exp} (0.5)},{\color {purple}\operatorname {Exp} (1)}$ 和 ${\color {royalblue}\operatorname {Exp} (1.5)}$ 的 pdf。

一個隨機變數 $X$ 服從引數為正 速率 $\lambda$ 的 指數分佈，記為 $X\sim \operatorname {Exp} (\lambda )$，如果其 pdf 為 $$f(x)=\lambda e^{-\lambda x},\quad x\in \operatorname {supp} (X)=[0,\infty ).$$

命題。（指數分佈的 cdf）

${\color {darkorange}\operatorname {Exp} (0.5)},{\color {purple}\operatorname {Exp} (1)}$ 和 ${\color {royalblue}\operatorname {Exp} (1.5)}$ 的累積分佈函式 (CDF)。

$\operatorname {Exp} (\lambda )$ 的累積分佈函式 (CDF) 為 $$F(x)=1-e^{-\lambda x},\quad x\geq 0.$$

證明： 假設 $X\sim \operatorname {Exp} (\lambda )$。 $X$ 的累積分佈函式 (CDF) 為 $${\begin{aligned}F(x)&=\int _{-\infty }^{x}\lambda e^{-\lambda y}\mathbf {1} \{y\geq 0\}\,dy\\&={\begin{cases}\int _{0}^{x}\lambda e^{-\lambda y}\,dy,&x\geq 0;\\0,&x<0\\\end{cases}}&\left({\text{當 }}x<0,x\notin \operatorname {supp} (X),{\text{ 因此 }}F(x)=\mathbb {P} (X\leq x)=0\right)\\&=\mathbf {1} \{x\geq 0\}\lambda \int _{0}^{x}e^{-\lambda y}\,dy\\&=\mathbf {1} \{x\geq 0\}{\frac {\lambda }{-\lambda }}[e^{-\lambda }y]_{0}^{x}\\&=-\mathbf {1} \{x\geq 0\}(e^{-\lambda x}-1)\\&=(1-e^{-\lambda x})\mathbf {1} \{x\geq 0\}.\\\end{aligned}}$$

$\Box$

命題。 （指數分佈的無記憶性）如果 $X\sim \operatorname {Exp} (\lambda )$，則 $$\mathbb {P} (X>s+t|X>s)=\mathbb {P} (X>t)$$ 對每個 非負 數 $s$ 和 $t$ 成立。

證明。 $$\mathbb {P} (X>s+t|X>s){\overset {\text{ def }}{=}}{\frac {\mathbb {P} (X>s+t\cap X>s)}{\mathbb {P} (X>s)}}={\frac {\mathbb {P} (X>s+t)}{\mathbb {P} (X>s)}}={\frac {1-(1-e^{-\lambda (s+t)})}{1-(1-e^{-\lambda s})}}={\frac {e^{-\lambda (s+t)}}{e^{-\lambda s}}}=e^{-\lambda t}=\mathbb {P} (X>t).$$

$\Box$

備註。

• $X>s+t$ 可以解釋為“罕見事件將在接下來的 $t$ 個時間單位內不會發生”；
• $X>s$ 可以解釋為“罕見事件在過去的 $s$ 個時間單位內沒有發生”。
• 這意味著條件 $X>s$ 不會影響 剩餘 等待罕見事件的等待時間的分佈（它仍然遵循具有相同引數的指數分佈）。
• 因此，我們可以假設事件的到達過程在觀察的任意時間點 重新開始。

伽馬分佈

伽馬 分佈是廣義的 指數 分佈，從某種意義上說，我們也可以改變 形狀 的 指數 分佈的 pdf。

定義。 （伽馬分佈）

${\color {red}\operatorname {Gamma} (1,1)},{\color {green}\operatorname {Gamma} (2,1)},{\color {blue}\operatorname {Gamma} (3,1)}$ 和 ${\color {magenta}\operatorname {Gamma} (3,0.5)}$ 的 PDF。

隨機變數 $X$ 服從 伽瑪分佈，其中 形狀 引數為正數 $\alpha$，速率 引數為正數 $\lambda$，記為 $X\sim \operatorname {Gamma} (\alpha ,\lambda )$，如果其 PDF 為 $$f(x)={\frac {\lambda ^{\alpha }x^{\alpha -1}e^{-\lambda x}}{\Gamma (\alpha )}},\quad x\in \operatorname {supp} (X)=[0,\infty ).$$

${\color {red}\operatorname {Gamma} (1,1)},{\color {green}\operatorname {Gamma} (2,1)},{\color {blue}\operatorname {Gamma} (3,1)}$ 和 ${\color {magenta}\operatorname {Gamma} (3,0.5)}$ 的 CDF。

備註。

• $\operatorname {Gamma} (1,\lambda )\equiv \operatorname {Exp} (\lambda )$，因為 $\operatorname {Gamma} (1,\lambda )$ 的 PDF 為

$$f(x)={\frac {\lambda x^{1-1}e^{-\lambda }}{\underbrace {\Gamma (1)} _{=0!=1}}}\mathbf {1} \{x\geq 0\}=\lambda e^{-\lambda x},$$

這是 $\operatorname {Exp} (\lambda )$ 的 PDF。

貝塔分佈

貝塔 分佈是 ${\mathcal {U}}[0,1]$ 的推廣，因為我們可以透過使用 兩個形狀引數 來改變 PDF 的 形狀。

定義。 （貝塔分佈）

以下為 ${\color {red}\operatorname {Beta} (0.5,0.5)},{\color {royalblue}\operatorname {Beta} (5,1)},{\color {green}\operatorname {Beta} (1,3)}$，${\color {purple}\operatorname {Beta} (2,2)}$ 和 ${\color {darkorange}\operatorname {Beta} (2,5)}$ 的 pdf 檔案。

隨機變數 $X$ 服從 beta 分佈，其正形狀引數為 $\alpha$ 和 $\beta$，記為 $X\sim \operatorname {Beta} (\alpha ,\beta )$，如果其 pdf 為 $$f(x)={\frac {\Gamma (\alpha +\beta )}{\Gamma (\alpha )\Gamma (\beta )}}x^{\alpha -1}(1-x)^{\beta -1},\quad x\in \operatorname {supp} (X)=[0,1].$$

以下為 ${\color {red}\operatorname {Beta} (0.5,0.5)},{\color {royalblue}\operatorname {Beta} (5,1)},{\color {green}\operatorname {Beta} (1,3)}$，${\color {purple}\operatorname {Beta} (2,2)}$ 和 ${\color {darkorange}\operatorname {Beta} (2,5)}$ 的 cdf 檔案。

備註。

• $\operatorname {Beta} (1,1)\equiv {\mathcal {U}}[0,1]$，因為 $\operatorname {Beta} (1,1)$ 的 pdf 為

$$f(x)={\frac {\overbrace {\Gamma (2)} ^{=1!=1}}{\underbrace {\Gamma (1)} _{=0!=1}\Gamma (1)}}x^{1-1}(1-x)^{1-1}\mathbf {1} \{0\leq x\leq 1\}=\mathbf {1} \{0\leq x\leq 1\},$$

它是 ${\mathcal {U}}[0,1]$ 的機率密度函式。

柯西分佈

柯西分佈是 重尾 分佈 。因此，它是一個“病態”分佈，因為它具有一些反直覺的性質，例如，儘管它的均值和方差從其影像直接看似乎是定義好的，但實際上它的均值和方差是未定義的。

定義。 （柯西分佈）

機率密度函式 和 累積分佈函式 $\operatorname {Cauchy} (0)$。

隨機變數 $X$ 服從 柯西分佈，其 位置 引數為 $\theta$，記作 $X\sim \operatorname {Cauchy} (\theta )$，如果它的機率密度函式為 $$f(x)={\frac {1}{\pi (1+(x-\theta )^{2})}},\quad x\in \operatorname {supp} (X)=\mathbb {R} .$$

備註。

• 這個定義指的是柯西分佈的 特例。更準確地說，柯西分佈的完整定義中還包含一個 尺度 引數，這裡機率密度函式中的尺度引數被設定為 1。

• 為了簡化起見，這裡採用此定義。

• 由於 $f(\theta +x)=f(\theta -x)$，所以機率密度函式關於 $\theta$ 對稱。

正態分佈（非常重要）

正態分佈或高斯分佈是自然界中常見的現象，非常奇妙。這可能是因為根據 中心極限定理，樣本均值或樣本總和通常 近似 服從 正態 分佈。因此，正態分佈在統計學中非常重要。

定義。 （正態分佈）

${\color {blue}{\mathcal {N}}(0,0.2)},{\color {red}{\mathcal {N}}(0,1)},{\color {darkorange}{\mathcal {N}}(0,5)}$ 和 ${\color {darkgreen}{\mathcal {N}}(-2,0.5)}$ 的 PDF 檔案。

如果一個隨機變數 $X$ 服從 正態分佈，其均值 為 $\mu$，方差 為 $\sigma ^{2}$，記為 $X\sim {\mathcal {N}}(\mu ,\sigma ^{2})$，則其 PDF 為 $$f(x)={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp \left(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right),\quad x\in \operatorname {supp} (X)=\mathbb {R} .$$

${\color {blue}{\mathcal {N}}(0,0.2)},{\color {red}{\mathcal {N}}(0,1)},{\color {darkorange}{\mathcal {N}}(0,5)}$ 和 ${\color {darkgreen}{\mathcal {N}}(-2,0.5)}$ 的 CDF 檔案。

備註。

• 分佈 ${\mathcal {N}}(0,1)$ 是 標準 正態分佈。

• 對於 ${\mathcal {N}}(0,1)$，其 PDF 通常記為 $\varphi (\cdot )$，其 CDF 通常記為 $\Phi (\cdot )$。
• 當 ${\mathcal {N}}(0,1)$ 為機率密度函式時，$\varphi (x)={\frac {1}{\sqrt {2\pi }}}e^{-x^{2}/2}$.
• 因此，${\mathcal {N}}(\mu ,\sigma ^{2})$ 的機率密度函式為 $(1/\sigma )\varphi (x-\mu /\sigma )$.

• 我們將會證明 $\mu$ 實際上是 均值，而 $\sigma$ 實際上是 方差.
• 該機率密度函式關於 $\mu$ 對稱，因為 $f(\mu +x)=f(\mu -x)$.

命題. (正態分佈隨機變數的線性變換分佈) 如果 $X\sim {\mathcal {N}}(\mu ,\sigma ^{2})$，並且 ${\color {blue}a}$ 和 ${\color {red}b}$ 是常數，那麼 $Y={\color {blue}a}X+{\color {red}b}\sim {\mathcal {N}}({\color {blue}a}\mu +{\color {red}b},{\color {blue}a^{2}}\sigma ^{2})$.

證明。 假設 $a>0$ . 令 $F_{X}$ 和 $F_{Y}$ 分別為 $X$ 和 $Y$ 的累積分佈函式。由於 $$F_{Y}(y)=\mathbb {P} (Y\leq y)=\mathbb {P} ({\color {blue}a}X+{\color {red}b}\leq y)=\mathbb {P} (X\leq (y-{\color {red}b})/{\color {blue}a})=F_{X}{\big (}(y-{\color {red}b})/{\color {blue}a}{\big )},$$ 透過微分，$${\begin{aligned}f_{Y}(y)&={\frac {1}{\color {blue}a}}f_{X}{\big (}(y-{\color {red}b})/{\color {blue}a}{\big )}\\&={\frac {1}{{\color {blue}a}{\sqrt {2\pi \sigma ^{2}}}}}\exp \left(-{\big (}(y-{\color {red}b})/{\color {blue}a}-\mu {\big )}^{2}/2\sigma ^{2}\right)\\&={\frac {1}{\sqrt {2\pi {\color {blue}a^{2}}\sigma ^{2}}}}\exp \left(-{\big (}y-({\color {blue}a}\mu +{\color {red}b}){\big )}^{2}/2{\color {blue}a^{2}}\sigma ^{2}\right)&\quad {\text{since }}a>0,\\\end{aligned}}$$ 這是 ${\mathcal {N}}({\color {blue}a}\mu +{\color {red}b},{\color {blue}a^{2}}\sigma ^{2})$ 的機率密度函式。

$\Box$

備註。

• 一個特殊情況是當 $a=1/\sigma$ 且 $b=-\mu /\sigma$，$Y=aX+b=(X-\mu )/\sigma \sim {\mathcal {N}}(0,1)$，因為
• $a\mu +b=(1/\sigma )\mu -\mu /\sigma =0$;
• $a^{2}\sigma ^{2}=\sigma ^{2}/\sigma ^{2}=1$.
• 這表明我們可以將每個服從正態分佈的隨機變數轉換為服從標準正態分佈的隨機變數。
• 這可以簡化與正態分佈隨機變數相關的機率計算，因為我們有 標準正態分佈表，其中給出了不同 $x$ 下 $\Phi (x)$ 的值。
• 對於某些型別的標準正態分佈表，只給出了不同 非負 $x$ 下 $\Phi (x)$ 的值。
• 然後，我們可以使用以下公式計算不同負 $x$ 下的值：

$$\Phi (-x)=1-\Phi (x).$$

• 此公式成立，因為 $${\begin{aligned}&&\phi (-y)&=\phi (y)\\&\Leftrightarrow &\int _{-\infty }^{x}\phi (-y)\,dy&=\int _{-\infty }^{x}\phi (y)\,dy\\&\Leftrightarrow &-\int _{\infty }^{-x}\phi (u)\,du&=\Phi (x)&{\text{let }}u=-y\Rightarrow dy=-dy.\\&\Leftrightarrow &[\Phi (u)]_{-x}^{\infty }&=\Phi (x)\\&\Leftrightarrow &\underbrace {\Phi (\infty )} _{=\mathbb {P} (\Omega )=1}-\Phi (-x)&=\Phi (x).\end{aligned}}$$

統計學中重要的分佈，尤其是

以下分佈在統計學中尤為重要，它們都與正態分佈相關。我們將簡要介紹它們。

卡方分佈

卡方分佈是伽馬分佈的一個特例，也與標準正態分佈相關。

定義. （卡方分佈）

的機率密度函式 ${\color {darkorange}\chi _{1}^{2}},{\color {green}\chi _{2}^{2}},{\color {royalblue}\chi _{3}^{2}},{\color {blue}\chi _{4}^{2}},{\color {purple}\chi _{6}^{2}}$ 和 ${\color {red}\chi _{9}^{2}}$.

具有正的自由度 ${\color {blue}\nu }$ 的卡方分佈，記為 $\chi _{\color {blue}\nu }^{2}$，是 $Z_{1}^{2}+\dotsb +Z_{\color {blue}\nu }^{2}$ 的分佈，其中 $Z_{1},\dotsc ,Z_{\color {blue}\nu }$ 獨立同分布，且它們都服從 ${\mathcal {N}}(0,1)$.

的累積分佈函式 ${\color {darkorange}\chi _{1}^{2}},{\color {green}\chi _{2}^{2}},{\color {royalblue}\chi _{3}^{2}},{\color {blue}\chi _{4}^{2}},{\color {purple}\chi _{6}^{2}}$ 和 ${\color {red}\chi _{9}^{2}}$.

備註。

• 可以證明 $\chi _{\color {blue}\nu }^{2}\equiv \operatorname {Gamma} ({\color {blue}\nu }/2,1/2)$，因此 $\operatorname {Gamma} (\alpha ,\lambda )\equiv {\frac {1}{2\lambda }}\chi _{2\alpha }^{2}$。（然後，我們可以透過這個推匯出 $\chi _{\nu }^{2}$ 的機率密度函式。）
• 這意味著對於隨機變數 $X\sim \chi _{2\alpha }^{2}$，${\frac {X}{2\lambda }}\sim \operatorname {Gamma} (\alpha ,\lambda )$.
• 一個隨機變數 $X$ 遵循具有 ${\color {blue}\nu }$ 個自由度的 卡方 分佈，表示為 $X\sim \chi _{\color {blue}\nu }^{2}$.

學生 t 分佈

學生 $t$-分佈 與 卡方 分佈和 正態 分佈有關。

定義。（學生 $t$-分佈）

的 pdf ${\color {darkorange}t_{1}},{\color {purple}t_{2}},{\color {royalblue}t_{5}}$ 和 $t_{\infty }$.

具有 ${\color {blue}\nu }$ 個自由度的 學生 $t$-分佈，表示為 $t_{\color {blue}\nu }$，是 ${\frac {Z}{\sqrt {Y/{\color {blue}\nu }}}}$ 的分佈，其中 $Y\sim \chi _{\color {blue}\nu }^{2}$ 和 $Z\sim {\mathcal {N}}(0,1)$.

${\color {darkorange}t_{1}},{\color {purple}t_{2}},{\color {royalblue}t_{5}}$ 和 $t_{\infty }$ 的累積分佈函式。

備註。

• $t_{1}=\operatorname {Cauchy} (0)$ 和 $t_{\infty }={\mathcal {N}}(0,1)$ （$\infty$ 是擴充套件實數）。
• 當 ${\color {blue}\nu }\downarrow$ 時，pdf 的尾部更重。
• 一個隨機變數 $X$ 服從 (學生) $t$-分佈 ，自由度為 ${\color {blue}\nu }$ ，記為 $X\sim t_{\color {blue}\nu }$。
• 可以證明，$t_{\color {blue}\nu }$ 的pdf 為

$$f(x;{\color {blue}\nu })={\frac {\Gamma {\big (}({\color {blue}\nu }+1)/2{\big )}}{{\sqrt {{\color {blue}\nu }\pi }}\Gamma ({\color {blue}\nu }/2)}}\left({\frac {\color {blue}\nu }{x^{2}+{\color {blue}\nu }}}\right)^{({\color {blue}\nu }+1)/2}.$$

F-分佈

F 分佈是廣義的學生 t 分佈，因為它的引數比學生 t 分佈多一個自由度。

定義. ($F$-分佈) 帶有 ${\color {red}\nu _{1}}$ 和 ${\color {blue}\nu _{2}}$ 個自由度的 $F$-分佈，記為 $F_{{\color {red}\nu _{1}},{\color {blue}\nu _{2}}}}$，是 ${\frac {X_{1}/{\color {red}\nu _{1}}}{X_{2}/{\color {blue}\nu _{2}}}}$ 的分佈，其中 $X_{1}\sim \chi _{\color {red}\nu _{1}}^{2}$ 和 $X_{2}\sim \chi _{\color {blue}\nu _{2}}^{2}$.

${\color {red}F_{1,1}},F_{2,1},{\color {blue}F_{5,2}},{\color {green}F_{10,1}}$ 和 ${\color {dimgray}F_{100,100}}$ 的機率密度函式。

${\color {red}F_{1,1}},F_{2,1},{\color {blue}F_{5,2}},{\color {green}F_{10,1}}$ 和 ${\color {dimgray}F_{100,100}}$ 的累積分佈函式。

備註。

• $F_{1,\nu }=t_{\nu }^{\color {purple}2}$.
• 服從 $F$-分佈 的隨機變數 $X$，其自由度分別為 ${\color {red}\nu _{1}}$ 和 ${\color {blue}\nu _{2}}$，記為 $X\sim F_{{\color {red}\nu _{1}},{\color {blue}\nu _{2}}}$.
• 可以證明，$F_{{\color {red}\nu _{1}},{\color {blue}\nu _{2}}}$ 的機率密度函式為

$$f(x;{\color {red}\nu _{1}},{\color {blue}\nu _{2}})={\frac {\Gamma {\big (}({\color {red}\nu _{1}}+{\color {blue}\nu _{2}})/2{\big )}{\color {red}\nu _{1}}^{{\color {red}\nu _{1}}/2}{\color {blue}\nu _{2}}^{{\color {blue}\nu _{2}}/2}}{\Gamma ({\color {red}\nu _{1}}/2)\Gamma ({\color {blue}\nu _{2}}/2)}}\cdot {\frac {x^{{\color {red}\nu _{1}}/2-1}}{({\color {blue}\nu _{2}}+{\color {red}\nu _{1}}x)^{({\color {red}\nu _{1}}+{\color {blue}\nu _{2}})/2}}}.$$

如果您想知道 卡方分佈、學生 $t$-分佈 和 $F$-分佈 在統計學中的應用，可以參考 Statistics/Interval Estimation（置信區間構建中的應用）和 Statistics/Hypothesis Testing（假設檢驗中的應用）。

聯合分佈

多項式分佈

動機

多項式分佈是 推廣的 二項式分佈，區別在於每次試驗的結果不止兩種。

假設有 $n$ 個物體要分配到 $k$ 個單元格中，每個物體獨立分配到 一個且只有一個 單元格，分配到第 $i$ 個單元格的機率為 $p_{i}$ ($i=1,2,\dotsc ,k$) 。令 $X_{i}$ 為分配到第 $i$ 個單元格的物體數量。我們想計算機率 $\mathbb {P} {\big (}\mathbf {X} {\overset {\text{ def }}{=}}(X_{1},\dotsc ,X_{k})^{T}=\mathbf {x} {\overset {\text{ def }}{=}}(x_{1},\dotsc ,x_{k})^{T}{\big )}$，即第 $i$ 個單元格有 $x_{i}$ 個物體的機率。

我們可以將每次分配視為一個獨立的試驗，有 $k$ 種結果（因為它可以分配到 $k$ 個單元格中的一個且只有一個）。我們可以認識到，分配 $n$ 個物體是將 $n$ 個物體劃分成 $k$ 組。因此，有 ${\binom {n}{x_{1},\dotsc ,x_{k}}}$ 種分配方式。

所以，$\mathbb {P} (\mathbf {X} =\mathbf {x} )={\binom {n}{x_{1},\dotsc ,x_{k}}}p_{1}^{x_{1}}\dotsb p_{k}^{x_{k}}.$ 尤其，分配給$x_{i}$個物件的機率$i$個單元格是$p_{i}^{x_{i}}$，這是由於獨立性，因此分配給$n$個物件到$k$個單元格的特定情況的機率是$p_{1}^{x_{1}}\dotsb p_{k}^{x_{k}}$，這是由於獨立性。

定義

定義。（多項式分佈）隨機向量 $\mathbf {X} =(X_{1},\dotsc ,X_{k})^{T}$服從多項式分佈，其中有$n$次試驗和機率向量$\mathbf {p} =(p_{1},\dotsc ,p_{k})^{T}$，記為$\mathbf {X} \sim \operatorname {Multinom} (n,\mathbf {p} )$，如果它的聯合機率質量函式為$$f_{\mathbf {X} }(x_{1},\dotsc ,x_{k};n,\mathbf {p} )={\binom {n}{x_{1},\dotsc ,x_{k}}}p_{1}^{x_{1}}\dotsb p_{k}^{x_{k}},\quad x_{1},\dotsc ,x_{k}\geq 0,{\text{ and }}x_{1}+\dotsb +x_{k}=n.$$

備註。

• $\operatorname {Multinom} (n,\mathbf {p} )\equiv \operatorname {Binom} (n,p)$ 如果 $\mathbf {p} =(p,1-p)^{T}$.

• 在這種情況下，如果 $(X_{1},X_{2})^{T}\sim \operatorname {Multinom} (n,\mathbf {p} )$，$X_{1}$ 是二項分佈的成功次數（而 $X_{2}(=n-X_{1})$ 是失敗次數）。

• 此外，$X_{i}\sim \operatorname {Binom} (n,p_{i})$。透過將物件分配到 $i$ 個單元格中，並將每個單一物件的分配視為“成功”，可以看出這一點。然後，成功機率是 $p_{i}$.

多元正態分佈

多元 正態分佈正如其名稱所暗示的那樣，是正態分佈（單變數）的多變數（也是廣義）版本。

Definition. (Multivariate normal distribution) A random vector $\mathbf {X} =(X_{1},\dotsc ,X_{k})^{T}$ follows the $k$-dimensional normal distribution with mean vector ${\boldsymbol {\mu }}$ and covariance matrix ${\boldsymbol {\Sigma }}$, denoted by $\mathbf {X} \sim {\mathcal {N}}_{k}({\boldsymbol {\mu }},{\boldsymbol {\Sigma }})$ if its joint pdf is $$f_{\mathbf {X} }(x_{1},\dotsc ,x_{k};{\boldsymbol {\mu }},{\boldsymbol {\Sigma }})={\frac {\exp \left(-(\mathbf {x} -{\boldsymbol {\mu }})^{T}{\boldsymbol {\Sigma }}^{-1}(\mathbf {x} -{\boldsymbol {\mu }})/2\right)}{\sqrt {(2\pi )^{k}\det {\boldsymbol {\Sigma }}}}},\quad \mathbf {x} =(x_{1},\dotsc ,x_{k})^{T}\in \mathbb {R} ^{k}$$ in which ${\boldsymbol {\mu }}=(\mu _{1},\dotsc ,\mu _{k})^{T}=(\mathbb {E} [X_{1}],\dotsc ,\mathbb {E} [X_{k}])^{T}$ is the mean vector, and ${\boldsymbol {\Sigma }}={\begin{pmatrix}\operatorname {Cov} (X_{1},X_{1})&\cdots &\operatorname {Cov} (X_{1},X_{k})\\\vdots &\ddots &\vdots \\\operatorname {Cov} (X_{k},X_{1})&\cdots &\operatorname {Cov} (X_{k},X_{k})\end{pmatrix}}={\begin{pmatrix}\sigma _{1}^{2}&\cdots &\operatorname {Cov} (X_{1},X_{k})\\\vdots &\ddots &\vdots \\\operatorname {Cov} (X_{k},X_{1})&\cdots &\sigma _{k}^{2}\end{pmatrix}}$ is the covariance matrix (with size $k\times k$).

備註。

• 對於 $k=2$ 的情況，通常使用更常用的分佈，稱為 雙變數正態 分佈。
• 另一種等效的定義是 $\mathbf {X} =(X_{1},\dotsc ,X_{k})^{T}\sim {\mathcal {N}}_{k}({\boldsymbol {\mu }},{\boldsymbol {\Sigma }})$ 如果

$${\begin{aligned}X_{1}&=a_{11}Z_{1}+\dotsb +a_{1n}Z_{n}+\mu _{1};\\\vdots \\X_{k}&=a_{k1}Z_{1}+\dotsb +a_{kn}Z_{n}+\mu _{k},\\\end{aligned}}$$

對於某些常數 $a_{11},\dotsc ,a_{1n},\dotsc ,a_{k1},\dotsc ,a_{kn},\mu _{1},\dotsc ,\mu _{k}$，而 $Z_{1},\dotsc ,Z_{n}$ 是 $n$ 個獨立同分布的標準正態隨機變數。

• 利用上述結果，邊際分佈，$X_{i}$ 遵循 ${\mathcal {N}}(\mu _{i},\sigma _{i}^{2}),\quad i=1,2,\dotsc ,{\text{ or }}k$，正如人們所期望的那樣。

• 根據關於獨立正態隨機變數之和和正態隨機變數線性變換分佈的命題（參見機率/隨機變數變換章），均值為$0+\dotsb +0+\mu _{i}=\mu _{i}$，方差為$a_{i1}^{2}+\dotsb +a_{in}^{2}$（根據定義，它等於$\sigma _{i}^{2}$）。

命題。（雙變數正態分佈的聯合機率密度函式）${\mathcal {N}}_{2}({\boldsymbol {\mu }},{\boldsymbol {\Sigma }})$ 的聯合機率密度函式為 $$f(x,y)={\frac {1}{2\pi \sigma _{X}\sigma _{Y}{\sqrt {1-\rho ^{2}}}}}\exp \left(-{\frac {1}{2(1-\rho ^{2})}}\left(\left({\frac {x-\mu _{X}}{\sigma _{X}}}\right)^{2}-2\rho \left({\frac {x-\mu _{X}}{\sigma _{X}}}\right)\left({\frac {y-\mu _{Y}}{\sigma _{Y}}}\right)+\left({\frac {y-\mu _{Y}}{\sigma _{Y}}}\right)^{2}\right)\right),\quad (x,y)^{T}\in \mathbb {R} ^{2}$$

其中 $\rho =\rho (X,Y)$ 且 $\sigma _{X},\sigma _{Y}$ 為正數。

雙變數正態分佈示例的圖形

證明。對於雙變數正態分佈，

• 均值向量 為 ${\boldsymbol {\mu }}=(\mu _{X},\mu _{Y})$；
• 該 協方差矩陣 為 ${\boldsymbol {\Sigma }}={\begin{pmatrix}\operatorname {Cov} (X,X)&\operatorname {Cov} (X,Y)\\\operatorname {Cov} (Y,X)&\operatorname {Cov} (Y,Y)\end{pmatrix}}={\begin{pmatrix}\operatorname {Var} (X)&\operatorname {Cov} (X,Y)\\\operatorname {Cov} (X,Y)&\operatorname {Var} (Y)\\\end{pmatrix}}={\begin{pmatrix}\sigma _{X}^{2}&\rho \sigma _{X}\sigma _{Y}\\\rho \sigma _{X}\sigma _{Y}&\sigma _{Y}^{2}\\\end{pmatrix}}.$
• 因此，

$${\begin{aligned}(\mathbf {x} -{\boldsymbol {\mu }})^{T}{\boldsymbol {\Sigma }}^{-1}(\mathbf {x} -{\boldsymbol {\mu }})&={\frac {1}{\det {\boldsymbol {\Sigma }}}}\left((x-\mu _{X},y-\mu _{Y})^{T}\right)^{T}{\begin{pmatrix}\sigma _{Y}^{2}&-\rho \sigma _{X}\sigma _{Y}\\-\rho \sigma _{X}\sigma _{Y}&\sigma _{X}^{2}\\\end{pmatrix}}(x-\mu _{X},y-\mu _{Y})^{T})\\&={\frac {1}{\det {\boldsymbol {\Sigma }}}}{\begin{pmatrix}{\color {blue}x-\mu _{X}}&{\color {red}y-\mu _{Y}}\end{pmatrix}}{\begin{pmatrix}{\color {darkgreen}\sigma _{Y}^{2}}&{\color {darkorange}-\rho \sigma _{X}\sigma _{Y}}\\{\color {purple}-\rho \sigma _{X}\sigma _{Y}}&{\color {maroon}\sigma _{X}^{2}}\\\end{pmatrix}}{\begin{pmatrix}x-\mu _{X}\\y-\mu _{Y}\end{pmatrix}}\\&={\frac {1}{\det {\boldsymbol {\Sigma }}}}{\begin{pmatrix}{\color {blue}(x-\mu _{X})}{\color {darkgreen}\sigma _{Y}^{2}}{\color {purple}-}{\color {red}(y-\mu _{Y})}{\color {purple}\rho \sigma _{X}\sigma _{Y}}&{\color {darkorange}-}{\color {blue}(x-\mu _{X})}{\color {darkorange}\rho \sigma _{X}\sigma _{Y}}+{\color {red}(y-\mu _{Y})}{\color {maroon}\sigma _{X}^{2}}\end{pmatrix}}{\begin{pmatrix}{\color {deeppink}x-\mu _{X}}\\{\color {deeppink}y-\mu _{Y}}\end{pmatrix}}\\&={\frac {1}{\underbrace {\det {\boldsymbol {\Sigma }}} _{\sigma _{X}^{2}\sigma _{Y}^{2}-(\rho \sigma _{X}\sigma _{Y})^{2}}}}{\big (}(x-\mu _{X})^{\color {deeppink}2}\sigma _{Y}^{2}\underbrace {-{\color {deeppink}(x-\mu _{X})}(y-\mu _{Y})\rho \sigma _{X}\sigma _{Y}-(x-\mu _{X}){\color {deeppink}(y-\mu _{Y})}\rho \sigma _{X}\sigma _{Y}} _{=-2\rho (x-\mu _{X})(y-\mu _{Y})\sigma _{X}\sigma _{Y}}+(y-\mu _{Y})^{\color {deeppink}2}\sigma _{X}^{2}{\big )}\\&={\frac {(x-\mu _{X})^{2}\sigma _{Y}^{2}-2\rho (x-\mu _{X})(y-\mu _{Y})\sigma _{X}\sigma _{Y}+(y-\mu _{Y})^{2}\sigma _{X}^{2}}{\sigma _{X}^{2}\sigma _{Y}^{2}(1-\rho )^{2}}}\\&={\frac {1}{1-\rho ^{2}}}\left(\left({\frac {x-\mu _{X}}{\sigma _{X}}}\right)^{2}-2\rho \left({\frac {(x-\mu _{X})(y-\mu _{Y})}{\sigma _{X}\sigma _{Y}}}\right)+\left({\frac {y-\mu _{Y}}{\sigma _{Y}}}\right)^{2}\right).\end{aligned}}$$

• 由此可知，聯合機率密度函式為

$${\begin{aligned}f(x,y)&={\frac {1}{\sqrt {(2\pi )^{2}\det {\boldsymbol {\Sigma }}}}}\exp \left(-{\frac {1}{2}}\cdot {\frac {1}{1-\rho ^{2}}}\left(\left({\frac {x-\mu _{X}}{\sigma _{X}}}\right)^{2}-2\rho \left({\frac {(x-\mu _{X})(y-\mu _{Y})}{\sigma _{X}\sigma _{Y}}}\right)+\left({\frac {y-\mu _{Y}}{\sigma _{Y}}}\right)^{2}\right)\right)\\&={\frac {1}{2\pi {\sqrt {\sigma _{X}^{2}\sigma _{Y}^{2}(1-\rho ^{2})}}}}\exp \left({\frac {-1}{2(1-\rho ^{2})}}\left(\left({\frac {x-\mu _{X}}{\sigma _{X}}}\right)^{2}-2\rho \left({\frac {(x-\mu _{X})(y-\mu _{Y})}{\sigma _{X}\sigma _{Y}}}\right)+\left({\frac {y-\mu _{Y}}{\sigma _{Y}}}\right)^{2}\right)\right)\\&={\frac {1}{2\pi \sigma _{X}\sigma _{Y}{\sqrt {1-\rho ^{2}}}}}\exp \left({\frac {-1}{2(1-\rho ^{2})}}\left(\left({\frac {x-\mu _{X}}{\sigma _{X}}}\right)^{2}-2\rho \left({\frac {x-\mu _{X}}{\sigma _{X}}}\right)\left({\frac {y-\mu _{Y}}{\sigma _{Y}}}\right)+\left({\frac {y-\mu _{Y}}{\sigma _{Y}}}\right)^{2}\right)\right).\\\end{aligned}}$$

$\Box$