馬里蘭大學機率資格考試/2010 年 8 月機率

問題 1

兩人 A 和 B 正在玩遊戲。如果 A 贏了一輪，他從 B 處獲得 4 美元，並以 0.7 的機率贏得下一輪。如果 A 輸掉了這一輪，他向 B 付款 5 美元，並以 0.5 的機率贏得下一輪。

(i) 寫下具有兩個狀態的馬爾可夫鏈的轉移矩陣，{A 贏得當前回合，B 贏得當前回合}，並找到狀態的平穩機率

(ii) 找出 $\lim _{n\to \infty }P(A{\text{ has more money after }}n{\text{ rounds than before the game}})$ .

解答

(i) 馬爾可夫轉移矩陣將是 2x2 矩陣 $Q=(q_{ij})$ ，其中 $i,j=1$ 對應於玩家 A 的勝利，而 $i,j=0$ 對應於玩家 A 的失敗。例如， $q_{11}$ 是玩家 A 在上一局獲勝後獲勝的機率； $q_{01}$ 是玩家 A 在上一局失敗後獲勝的機率；等等。這將給出

$Q=\left({\begin{array}{cc}0.7&0.3\\0.5&0.5\end{array}}\right)$

平穩分佈將是元組 $\pi =(a,b)$ ，使得 $\pi Q=\pi$ 。我們可以顯式地計算它

$(a,b)\left({\begin{array}{cc}0.7&0.3\\0.5&0.5\end{array}}\right)=(a,b)$ 得到以下方程組： $.7a+.5b=a;.3a+.5b=b$ 利用 $\pi$ 必須是機率（即 $a+b=1$ ）這一事實，我們得到 $a={\frac {5}{8}},b={\frac {3}{8}}$ .

(ii) 由於 $Q$ 是正的，因此是遍歷的，那麼任何初始機率分佈將收斂到剛剛計算的平穩分佈 $\pi$ 。因此，隨著 $n\to \infty$ ，玩家 A 將以機率 $5/8$ 獲勝。那麼玩家 A 可以預期獲得更多錢嗎？對於足夠大的 $n$ ，我們可以計算玩家 A 在一輪中的預期收益

$E[{\text{winnings}}]=5/8*4+3/8*(-5)=5/8>0$

因此，玩家 A 應該預期以 1 的機率比遊戲開始前擁有更多錢。

問題 2

(i) 令 $X$ 是一個均值為零且具有有限方差 $\sigma ^{2}$ 的隨機變數。證明對於任何 $c>0$

$P(X>c)\leq {\frac {\sigma ^{2}}{\sigma ^{2}+c^{2}}}$ .

(ii) 令 $\{X_{n},n\geq 1\}$ 是一個平方可積鞅，其中 $E(X_{1})=0$ 。證明對於任何 $c>0$

$P(\max _{1\leq i\leq n}X_{i}\geq c)\leq {\frac {var(X_{n})}{var(X_{n})+c^{2}}}$ .

解答

(i) $P(X\geq c)\leq P(|X|\geq c)=P(|X-E[x]|\geq c)\leq P(|X-E[X]|\geq c+\sigma )\leq {\frac {\sigma ^{2}}{c^{2}+2c\sigma +\sigma ^{2}}}\leq {\frac {\sigma ^{2}}{c^{2}+\sigma ^{2}}}$ ，其中倒數第二個不等式是標準的切比雪夫不等式。