通訊與控制中的隨機過程/M-Sep14

上次

PMF $P[X=x]=P[s:X(s)=x]\!\,$

a) $P_{X}(x)\geq 0\forall x\in S_{x}\!\,$

b) $\sum _{x\in S_{X}}P_{X}(x)=1\!\,$

c) 事件 $B\subset S_{X}\!\,$

$P[B]=\sum _{x\in B}P_{X}(x)\!\,$

一些有用的隨機變數

伯努利隨機變數

$P_{X}(x)={\begin{cases}1-p&x=0\\p&x=1\\0&o.w.\end{cases}}\!\,$

$0\leq p\leq 1\!\,$ 成功機率

示例

1) 拋硬幣 $X=\!\,$ H 的數量

2) 製造晶片 $X=\!\,$ 合格晶片的數量

3) 調變解調器成功傳輸的位數

幾何隨機變數

對於基礎伯努利，直到（包括）成功為止的試驗次數

$P_{X}(x)=p(1-p)^{x-1}\quad x=1,2,3,\ldots \!\,$

示例

1) 重複拋硬幣 $X=\!\,$ 直到出現正面所拋的次數

2) 製造晶片 $X=\!\,$ 直到生產出合格晶片為止所生產的晶片數量

二項式隨機變數

"n次試驗中的成功次數"

$P_{x}(x)={n \choose x}p^{x}(1-p)^{n-x}\quad x=0,1,\ldots n\!\,$

示例

1) 拋一枚硬幣n次。 $X=\!\,$ 正面出現的次數。

2) 製造n個晶片。 $X=\!\,$ 合格晶片的個數。

注意：二項式 $X=Y_{1}+Y_{2}+Y_{3}+\ldots +Y_{n}\!\,$ 其中 $Y_{1}+Y_{2}+Y_{3}\ldots +Y_{n}\!\,$ 是獨立的伯努利試驗

注意：n=1；二項式=伯努利； $X=Y_{1}\!\,$

帕斯卡隨機變數

"在基礎伯努利試驗中，直到（包括）第k次成功所進行的試驗次數"

$P_{X}(x)={x-1 \choose k-1}p^{k}(1-p)^{x-k}\quad x=k,k+1,k+2,\ldots \!\,$

其中 ${x-1 \choose k-1}\!\,$ 是 $k-1\!\,$ 次成功，在 $x-1\!\,$ 次試驗中

注意：帕斯卡 $X=Y_{1}+Y_{2}+\ldots +Y_{k}\!\,$ 其中 $Y_{1},Y_{2},\ldots Y_{k}\!\,$ 是幾何隨機變數。

注意：K=1 帕斯卡=幾何

示例

$X=\!\,$ 直到第 k 個 H 出現的翻轉次數

離散均勻隨機變數

$P_{X}(x)={\begin{cases}{\frac {1}{b-a+1}}&x=a,a+1,\ldots ,b\\0&{\mbox{otherwise}}\end{cases}}\!\,$

示例

1) 擲骰子。 $a=1,b=6\!\,$

$P_{X}(x)={\begin{cases}{\frac {1}{6}}&x=1,\ldots ,6\\0&{\mbox{otherwise}}\end{cases}}\!\,$

2) 翻轉一枚公平的硬幣。 $X\!\,$ =H 的數量

$P_{X}(x)={\begin{cases}{\frac {1}{2}}&x=0\\{\frac {1}{2}}&x=1\\0&{\mbox{ otherwise }}\end{cases}}\!\,$

泊松隨機變數

$P_{X}(x)=e^{-\alpha }{\frac {\alpha ^{x}}{x!}}\quad x=0,1,2\ldots \!\,$

(練習) 二項分佈的極限情況，當 $n\rightarrow \infty ,p\rightarrow 0,np=\alpha \!\,$

PMF 是隨機變數的完整模型

累積分佈函式

$F_{X}(x)=P[X\leq x]=\sum _{x'\leq x}P_{X}(X=x')\!\,$

與 PMF 一樣，CDF 是隨機變數的完整描述。

示例

擲硬幣 $X=\!\,$ 正面朝上的次數

$P_{X}(x)={\begin{cases}{\frac {1}{4}}&x=0\\{\frac {1}{2}}&x=1\\{\frac {1}{2}}&x=2\\0&{\mbox{otherwise}}\end{cases}}\!\,$

${\begin{aligned}P[X\leq 0]&=P[X=0]\\P[X\leq 0.5]&=P[X=0]\\P[X\leq 1]&=\underbrace {P[X=0]} _{\frac {1}{4}}+\underbrace {P[X=1]} _{\frac {1}{2}}\\\end{aligned}}\!\,$

CDF 的性質

a) $F_{X}(-\infty )=0\Leftarrow F_{X}(-\infty )=P[X\leq -\infty ]=0\!\,$

$F_{X}(\infty )=1\Leftarrow F_{X}(\infty )=P[X\leq \infty ]=1\!\,$

"從 0 開始，到 1 結束"

b) 對於所有 $x'\geq x\!\,$ , $F_{X}(x')\geq F_{X}(x)\!\,$

"在 x 上單調不減"

${\begin{aligned}F_{X}(x')&\quad F_{X}(x)\\P[X\leq x']&\quad P[X\leq x]\\P[s:X(s)\leq x']&\quad P[s:X(s)\leq x]\\\{s:X(s)\leq x\}&\subset \{s:X(s)\leq x'\}\\P[X\leq x]&\leq P[X\leq x']\\F_{X}(x)&\leq F_{X}(x')\end{aligned}}\!\,$

c) 對於所有 $x,x'\!\,$

$P[x\leq X\leq x']=F_{X}(x')-F_{X}(x)\!\,$

"機率可以透過CDF的差值來求得"

$\{s:X(x)\leq x'\}=\{s:X(x)\leq x\}\cup \{s:x\leq X(s)\leq x'\}\!\,$

$P[X\leq x']=P[X\leq x]+P[x\leq X\leq x']\!\,$

d) 對於所有 $x\!\,$ ,

$\lim _{\epsilon \rightarrow 0}F_{X}(x+\epsilon )=F_{X}(x)\!\,$

"CDF是右連續的"

e) 對於 $x_{i}\in S_{X}\!\,$

$F_{X}(x_{i})-F_{X}(x_{i}-\epsilon )=P_{X}(x_{i})\!\,$

對於離散隨機變數，在每個取值 $x_{i}\in S_{X}\!\,$ 處，CDF 存在一個跳躍（不連續點）。這個跳躍的大小等於 $P_{X}(x_{i})\!\,$ 。

$P[x_{i}\leq x]-P[x_{i}\leq x_{i}-\epsilon ]=P[x_{i}-\epsilon <x<x_{i}]=P[X=x_{i}]\!\,$

f) $F_{X}(x)=F_{X}(x_{i})\!\,$ 對所有 $x_{i}\leq x\leq x_{i+1}\!\,$ 都成立。

換句話說，在兩個跳躍之間，CDF 是常數。

${\begin{aligned}P[X\leq x]&=P[X\leq x_{i}\cup x_{i}<X\leq x]\\&=P[X\leq x_{i}+\underbrace {P[x_{i}<X\leq x]} _{0}\\&=F_{X}(x_{i})\end{aligned}}$

g) $P[X>x]=1-\underbrace {F_{X}(x)} _{P[X\leq x]}\!\,$

連續隨機變數是指取值範圍為不可數無限多個的隨機變數。

例如：

示例

T: 粒子的到達時間

$S_{T}=\{t:0\leq t<\infty \}\!\,$

V: 電壓

$S_{V}=\{v:-\infty <v<\infty \}\!\,$

$\theta \!\,$ : 角度

$S_{\theta }=\{\theta :0\leq \theta \leq 2\pi \}\!\,$

$X\!\,$ : 距離

$S_{X}=\{X:0\leq x\leq 1\}\!\,$

$P[x\in A]={\frac {1}{n}}\rightarrow 0\!\,$

無 PMF， $P[X=x]=0\forall x\!\,$

定理

對於任何隨機變數（連續或離散）

a) $F_{X}(-\infty )=0\quad F_{X}(\infty )=1\!\,$

b) $F_{X}(x)\!\,$ 在 $X\!\,$ 中是非遞減的

c) $P[x<X\leq x']=F_{X}(x')-F_{X}(x)\!\,$

d) $F_{X}(x)\!\,$ 是右連續的

示例

$S_{X}=[0,1]\!\,$

$P_{[}x\in A]=P[x\ inB]\!\,$ 其中 A、B 是 [0,1] 中長度相同的區間

$P[X\leq 1]=1\Leftrightarrow F_{X}(1)=1\!\,$

$P[X\leq 0]=0\Leftrightarrow F_{X}(0)=0\!\,$

$P[x_{1}<x<x_{2}]=P[0<x<x_{2}-x_{1}]\!\,$

(練習) $F_{X}(x_{2})-F_{X}(x_{1})=F_{X}(x_{2}-x_{1})\rightarrow F_{x}(x)=x\!\,$

機率密度函式（PDF）

$f_{X}(x)={\frac {dF_{x}(x)}{dx}}\!\,$

離散：PMF <--> CDF（求和/求差）

連續 <--->（導數/積分）

定理：PDF 的性質

a) $f_{X}(x)\geq 0\!\,$ ( $F_{X}(x)\!\,$ 是非遞減的)

b) $F_{X}(x)=\int _{\infty }^{x}f_{X}(x)dx\quad (F_{X}(\infty )=0)\!\,$

c) $\int _{-\infty }^{\infty }f_{X}(x)dx=1\quad (F_{x}(\infty )=1)\!\,$

定理

${\begin{aligned}P[x_{1}\leq X\leq x_{2}]&=F_{X}(x_{2})-F_{X}(x_{1})\\&=\int _{-\infty }^{x_{2}}f_{X}(x)dx-\int _{-\infty }^{x_{1}}f_{X}(x)dx\\&=\int _{x_{1}}^{x_{2}}f_{X}(x)\end{aligned}}\!\,$