UMD 機率資格考試/2011 年 1 月 機率

問題 1

一個人玩一個無限的遊戲序列。他以機率$1/{\sqrt {n}}$贏得第$n$局遊戲，與其他遊戲無關。 (i) 證明對於任何$A$，玩家連續贏得兩局遊戲時每次獲得一美元，他將積累$A$美元的機率為 1。 (ii) 如果玩家只有在連續贏得三局遊戲時才獲得一美元，那麼 (i) 中的斷言是否成立？證明或反駁它。

解決方案

(i): 將玩家的遊戲定義為無限序列$\omega =\{\omega _{1},\omega _{2},...\}$，其中每個$\omega _{k}$等於 1（對應於獲勝）或 0（對應於失敗）。

定義隨機變數$\tau _{k}:\Omega \to \mathbb {N}$ 為

$\tau _{k}(\omega )=\{\#{\text{ times }}\omega _{j}=\omega _{j-1}=1,\,\forall 2\leq j\leq k\}$，即$\tau _{k}$計算玩家在前$k$局遊戲中獲得了多少次連續兩次勝利。因此，玩家在前$k$局遊戲中將贏得$\tau _{k}$美元。顯然，$\tau _{k}$是可測量的。此外，我們可以計算期望值

$E[\tau _{k}(\omega )]=\sum _{j=2}^{k}{\frac {1}{\sqrt {j}}}{\frac {1}{\sqrt {j-1}}}.$

現在觀察當我們傳送 $k\to \infty$ 時會發生什麼。

$E[\lim _{k\to \infty }\tau _{k}(\omega )]=\lim _{k\to \infty }\sum _{j=2}^{k}{\frac {1}{\sqrt {j}}}{\frac {1}{\sqrt {j-1}}}=\infty$

因此無限遊戲的預期收益也是無限的。這意味著玩家幾乎可以肯定地超過 $A$ 的收益。

(ii): 定義所有內容與之前相同，只是這次 $\tau _{k}(\omega )=\{\#{\text{ times }}\omega _{j}=\omega _{j-1}=\omega _{j-2}=1,\,\forall 3\leq j\leq k\}.$

然後 $E[\tau _{k}(\omega )]=\sum _{j=2}^{k}{\frac {1}{\sqrt {j}}}{\frac {1}{\sqrt {j-1}}}{\frac {1}{\sqrt {j-2}}}.$ 這給出了 $E\left[\lim _{k\to \infty }\tau _{k}(\omega )\right]<\infty .$ 因此我們不能斷言超過任何給定收益的機率將等於1。

問題 2

一個袋子裡有10枚硬幣。其中5枚是普通硬幣，一枚硬幣有兩面都是正面，四枚硬幣有兩面都是反面。你從袋子裡取出一枚硬幣，看它的一面，發現是反面。請問這枚硬幣是普通硬幣的機率是多少？

解決方案

這只是一個直接應用貝葉斯定理的問題。令 $N$ 表示你取出一枚普通硬幣的事件。令 $T$ 表示你得到反面的事件。

根據貝葉斯定理，

$P(N|T)={\frac {P(N\cap T)}{P(T)}}={\frac {5/20}{13/20}}=5/13.$

在普通硬幣上看到反面的機率， $P(N\cap T)$ 是 5/20，因為普通硬幣上有五枚反面，而所有正面共有 20 枚。看到反面的機率是 13/20（5枚普通硬幣 + 2*4 枚雙反面硬幣）。

問題 3

令 $X_{n}$ 為狀態空間為 $N$ 的馬爾可夫鏈，其轉移機率為 $P(z,z^{2})=P(z,z-1)=1/2$ 對於 $z\geq 2$，$P(z,z+1)=1$ 對於 $z=1$. (i) 找到一個嚴格單調遞減的非負函式 $f:\mathbb {N} \to \mathbb {R} ^{+}$ 使得 $f(X_{n})$ 是一個上鞅。 (ii) 證明對於每個初始分佈 $P\left(\lim _{n\to \infty }X_{n}=+\infty \right)$

解決方案

(i) 令 $P$ 為馬爾可夫轉移矩陣。我認為對於任何初始機率分佈 $\mu$，那麼 $E[\mu ]\leq E[\mu P]$.

證明：考慮初始分佈為奇異的情況，即 $\mu =\chi _{n}$。顯然我們可以看到 $n=E[\chi _{n}]$。然後 $E[\chi _{n}P]=2$ 如果 $n=1$，並且對於 $n\geq 2$ 我們有 $E[\chi _{n}P]=1/2(n-1)+1/2(n^{2})\geq n$.

現在令 $f(n)=1/n$. 我們想計算 $E[f(X_{t})-f(X_{s})|{\mathcal {F}}_{s}]$ 對於 $t>s$.

$E[f(X_{t})-f(X_{s})|{\mathcal {F}}_{s}]=E[f(X_{s}P^{t-s})]-E[f(X_{s})]=E[1/(X_{s}P^{t-s})]-E[1/(X_{s})]\geq 0$ 其中最後一個不等式來自我們上面的論點。這表明 $f(X_{s})$ 是一個上鞅。

問題 4

令 $\xi _{n}$ 是獨立同分布的隨機變數，滿足 $P(\xi _{n}=-1)=P(\xi _{n}=1)=1/2$. (i) 證明級數 $\sum _{n=1}^{\infty }e^{-n}\xi _{n}$ 以機率 1 收斂。 (ii) 證明 $\xi =\sum _{n=1}^{\infty }e^{-n}\xi _{n}$ 的分佈是奇異的，即集中在勒貝格測度為零的集合上。

解決方案

(i) 注意到

$\left|\sum _{n=1}^{\infty }e^{-n}\xi _{n}\right|\leq \sum _{n=1}^{\infty }e^{-n}={\frac {1}{1-e}}.$ 因此該級數是有界的。此外，它必須是柯西序列。實際上，對於任何$\epsilon >0$，我們可以選擇足夠大的$N$，使得對於每一個$n,m>N$，$\sum _{k=n}^{m}e^{-k}<\epsilon .$ 因此，級數$\sum _{n=1}^{\infty }e^{-n}\xi _{n}$ 幾乎處處收斂。

(ii) 為了證明$\xi$ 的支撐集是零測度的勒貝格集，首先回顧一下關於康託集的一些事實。

康託集 $C$ 是所有 $x\in [0,1]$ 的集合，其三進位制展開為 $x=.a_{1}a_{2}\cdots ,\,a_{j}=0{\text{ or }}2$（以 3 為底）。這對應於通常的康託集，可以被認為是具有 1/3 收縮率的完美對稱集。

相反，考慮集合 $E$，它包含所有 $x\in [0,1]$，其在 $e$ 進位制下的展開式為 $x=.a_{1}a_{2}\cdots ,\,a_{j}=0{\text{ or }}2$。在 $E$ 的元素和 $\xi$ 之間存在一個明顯的雙射。由於 $E$ 的勒貝格測度為 $\lim _{n\to \infty }\left({\frac {2}{e}}\right)^{n}=0$。因此，$\xi$ 在勒貝格測度為零的集合上具有支撐。

問題 5

令 $\xi _{n}$ 為一列獨立的隨機變數，其中 $\xi _{n}$ 在 $[0,n^{2}]$ 上服從均勻分佈。求 $a_{n}$ 和 $b_{n}$ 使得 $\left(\sum _{i=1}^{n}\xi _{i}-a_{n}\right)/b_{n}$ 在分佈上收斂於一個非退化的極限，並確定該極限。

解決方案

這是一個直接應用 中心極限定理，林德伯格條件 的例子。

我們知道每個隨機變數 $\xi _{i}$ 的期望值為 $i^{2}/2$，方差為 $i^{4}/12$。

那麼 $a_{n}=\sum _{i=1}^{n}i^{2}/2={\frac {n(n+1)(2n+1)}{12}}$ 和 $b_{n}^{2}=\sum _{i=1}^{n}i^{4}/12$。 那麼 $\left(\sum _{i=1}^{n}\xi _{i}-a_{n}\right)/b_{n}$ 在分佈上收斂於標準正態分佈，前提是 Lindeberg 條件成立。

因此，我們需要檢查 $\lim _{n\to \infty }{\frac {1}{b_{n}^{2}}}\sum _{i=1}^{n}\int _{\{x:|x-m_{i}|\geq \epsilon b_{n}\}}(x-m_{i})^{2}\,dF_{i}(x)=0$

由於 $b_{n}$ 的增長速度快於 $n^{2}$，那麼對於足夠大的 $n$，每個積分的域都是空的。因此，當 $n\to \infty$ 時，上述等式趨於 0。因此，Lindeberg 條件滿足，CLT 成立。

問題 6

(i) 設 $X_{t},t>0$ 是定義在機率空間 $(\Omega ,{\mathcal {F}},P)$ 上的隨機變數。假設對於所有 $t$，$E|X_{t}|^{2}=E|X|^{2}<\infty$，證明 $P\left(\lim _{t\to 0}X_{t}=X\right)=1$ 意味著 $\lim _{t\to 0}E|X_{t}-X|^{2}=0$，即在上述假設下，幾乎必然收斂意味著均方收斂。 (ii) 設 $X_{t},t\in \mathbb {R}$ 是一個隨機過程，具有性質 $EX_{t}$ 和 $C(h)=E(X_{t}X_{h+t})$ 是有限的並且不依賴於 $t$（這種過程被稱為寬平穩過程）。證明如果 $X_{t}$ 的軌跡是連續的，那麼自相關函式 $C(h)$ 是連續的。

解決方案

(i) 令 $A=\left\{\omega \in \Omega \mid \lim _{t\to 0}X_{t}(\omega )=X(\omega )\right\}$. 根據假設， $P(A)=1$. 現在我們計算 $L^{2}$ 範數

$\lim _{t\to 0}E|X_{t}-X|^{2}=\lim _{t\to 0}\int _{A}|X_{t}-X|^{2}\,d\omega +\lim _{t\to 0}\int _{\Omega \setminus A}|X_{t}-X|^{2}\,d\omega .$

讓我們評估右側的第一個積分。 我們可以寫 $\lim _{t\to 0}\int _{A}|X_{t}-X|^{2}\,d\omega =\lim _{t\to 0}\int _{A}|X_{t}|^{2}\,d\omega +\int _{A}|X|^{2}\,d\omega -2\lim _{t\to 0}\int _{A}|XX_{t}|^{2}\,d\omega$

$\quad \leq \lim _{t\to 0}E|X_{t}|^{2}+E|X|^{2}-2\int _{A}\lim _{t\to 0}|XX_{t}|^{2}\,d\omega$ 透過 Fatou 引理

$=E|X|^{2}+E|X|^{2}-2E|X|^{2}=0$ （因為 $E|X_{t}|^{2}=E|X|^{2}\,\forall t$）。

現在第二項

$\lim _{t\to 0}\int _{\Omega \setminus A}|X_{t}-X|^{2}\,d\omega \leq \int _{\Omega \setminus A}|X|^{2}\,d\omega +\lim _{t\to 0}\int _{\Omega \setminus A}|X_{t}|^{2}\,d\omega$ 由三角不等式得出。

$\leq (E|X|^{2}+E|X|^{2})P(\Omega \setminus A)=0$ 由於 $X,X_{t}$ 都具有有限的二階矩。

因此，我們已經證明，在上述假設下，幾乎必然收斂意味著均方收斂。

(ii)