馬里蘭大學機率資格考試/2006年8月機率

問題 1

考慮一個具有狀態空間 $\{1,2,3,4\}$、初始狀態 $X_{0}=1$ 和轉移機率矩陣的四狀態馬爾可夫鏈 ${\begin{pmatrix}1/4&1/4&1/4&1/4\\1/6&1/3&1/6&1/3\\0&0&1&0\\0&0&0&1\end{pmatrix}}$ (a) 計算 $\lim _{n\to \infty }P(X_{n}=3)$. (b) 令 $\tau =\inf\{n\geq 0:X_{n}\in \{3,4\}\}$。計算 $E(\tau )$.

問題 2

如果 $X_{1},...,X_{n}$ 是在 [0,1] 上獨立均勻分佈的隨機變數，則令 $X_{(2),n}$ 為這些數字中第二小的數字。找到一個非隨機序列 $a_{n}$，使得 $T_{n}=a_{n}-\log X_{(2),n}$ 在分佈上收斂，並計算極限分佈。

解決方案

${\begin{aligned}P(T_{n}\leq x)&=P(e^{a_{n}-\log X_{(2),n}}\leq e^{x})=P({\frac {e^{a_{n}}}{X_{(2),n}}}\leq e^{x})\\&=P(X_{(2),n}\geq e^{a_{n}-x})=n(1-e^{a_{n}-x})^{n-1}e^{a_{n}-x}+(1-e^{1_{n}-x})^{n}\end{aligned}}$

右側的兩項看起來像指數函式的極限定義。我們可以選擇 $a_{n}$ 使其滿足嗎？

令 $a_{n}=-\log n$。那麼 ${\begin{aligned}P(T_{n}\leq x)&=n(1-{\frac {1}{ne^{x}}})^{n-1}{\frac {1}{ne^{x}}}+(1-{\frac {1}{ne^{x}}})^{n}\\&\to e^{-e^{x}}e^{-x}+e^{-e^{x}}\end{aligned}}$

這是 $\lim _{n\to \infty }T_{n}$ 的分佈。

問題 3

假設實值隨機變數 $\xi ,\eta$ 是獨立的，$\xi$ 具有有界密度 $p(x)$ （對於 $x\in \mathbb {R}$，關於勒貝格測度），並且 $\eta$ 是整數值。 (a) 證明 $\zeta =\xi +\eta$ 具有密度。 (b) 計算 $\zeta$ 的密度，其中 $\xi \sim$ 均勻分佈[0,1] 且 $\eta \sim$ 泊松分佈(1)。

解決方案

(a)

${\begin{aligned}P(\zeta \leq x)&=P(\xi \leq x-\eta )=\sum _{n=-\infty }^{\infty }P(\eta =n)\int _{-\infty }^{x-n}p_{\xi }(t)\,dt\\&=\lim _{N\to \infty }\sum _{n=-N}^{N}P(\eta =n)\int _{-\infty }^{x-n}p_{\xi }(t)\,dt=\lim _{N\to \infty }\sum _{n=-N}^{N}P(\eta =n)\int _{-\infty }^{x}p_{\xi }(t-n)\,dt\\&=\lim _{N\to \infty }\int _{-\infty }^{x}\sum _{n=-N}^{N}P(\eta =n)p_{\xi }(t-n)\,dt=\int _{-\infty }^{x}\sum _{n=-\infty }^{\infty }P(\eta =n)p_{\xi }(t-n)\,dt\end{aligned}}$

其中最後一個等式由 單調收斂定理 得出。

因此，我們已經明確地證明了 $\zeta$ 具有密度，並且由 $q_{\zeta }(t)=\sum _{n=-\infty }^{\infty }P(\eta =n)p_{\xi }(t-n)$ 給出。

(b) 當 $\xi \sim$ Uniform[0,1] 且 $\eta \sim$ Poisson(1) 時，我們有 $p_{\xi }(x)=\mathrm {X} _{[0,1]}(x)$ 以及 $p_{\eta }(k)={\frac {1}{k!e}}$，其支撐集為 $k=0,1,2,...$.

然後從 (a) 部分，密度將是

$q_{\zeta }(x)=\sum _{n=-\infty }^{\infty }p_{\eta }(n)p_{\xi }(x-n)=\sum _{n=0}^{\infty }{\frac {1}{k!e}}\mathrm {X} _{[0,1]}(x)$.

問題 4

令 $(N(t),t\geq 0)$ 為單位速率的泊松過程，並令 $W_{m,n}=\sum _{k=1}^{n}I\{N({\frac {mk}{n}})-N({\frac {m(k-1)}{n}})\geq 2\}$ 其中 $I(A)$ 是事件 $A$ 的指示器。 (a) 求 $E(W_{m,n})$ 關於 $m,n$ 的表示式。 (b) 證明如果 $m=n^{\alpha }$，其中 $\alpha >1/2$ 為一個固定的常數，那麼 $W_{m,n}\to \infty$ 按機率收斂。

解決方案

(a)

我們知道 $N({\frac {mk}{n}})-N({\frac {m(k-1)}{n}})$ 服從引數為 $m/n$ 的泊松分佈。

$P(N({\frac {mk}{n}})-N({\frac {m(k-1)}{n}})\geq 2)=1-P(N({\frac {mk}{n}})-N({\frac {m(k-1)}{n}})=1{\text{ or }}2)=1-e^{-m/n}-{\frac {m}{n}}e^{-m/n}$

那麼 ${\begin{aligned}E(W_{m,n})&=E[\sum _{k=1}^{n}I(N({\frac {mk}{n}})-N({\frac {m(k-1)}{n}})\geq 2)\\&=\sum _{k=1}^{n}E(I(N({\frac {mk}{n}})-N({\frac {m(k-1)}{n}})\geq 2)){\text{ by linearity}}\\&=\sum _{k=1}^{n}P(N({\frac {mk}{n}})-N({\frac {m(k-1)}{n}})\geq 2)=n\left(1-e^{-m/n}-{\frac {m}{n}}e^{-m/n}\right)=n-e^{-m/n}(n+m)\end{aligned}}$

(b)

如果 $\lim _{n\to \infty }W_{n,n^{\alpha }}=\infty$，那麼我們必須有 $I(N({\frac {mk}{n}})-N({\frac {m(k-1)}{n}})\geq 2)=0$ 僅限於有限次。該事件的機率（來自部分 a）為 $e^{-n^{\alpha -1}}(1+n^{\alpha -1})$。

當 $\alpha >1$ 時，它衰減為 0。那麼顯然，我們可以看到 $\lim _{n\to \infty }W_{n,n^{\alpha }}=\infty$ 的機率等於 1。

我不知道如何證明 $1/2<\alpha <1$ 的結果...

問題 5

令 $X_{0}=0$ 並且對於 $n\geq 1,X_{n}=\sum _{j=1}^{n}\xi _{j}$，其中隨機變數 $\xi _{j}$ 是獨立同分布的，且 $P(\xi _{j}=-2)=1/4,P(\xi _{j}=1)=3/4$。 (a) 證明存在常數 $a,b$ 使得 $Y_{n}=X_{n}-an$ 和 $Z_{n}=\exp(bX_{n})$ 是鞅。 (b) 如果 $\tau =\inf\{n\geq 1:X_{n}=3\}$，那麼證明 $\tau <\infty$ 幾乎處處成立，並求出 $E(\tau )$。 (c) 證明 $\exp(bX_{n})$ 不是一致可積鞅。

解決方案

(a)

我們想要 $Y_{n}=E[Y_{n+1}|{\mathcal {F}}_{n}]$。我們可以明確地計算該方程的兩邊。

$X_{n}-an=E[X_{n+1}-a(n+1)|X_{n}]=(X_{n}-2){\frac {1}{4}}+(X_{n}+1){\frac {3}{4}}-a(n+1)=X_{n}+1/4-an-a$

因此，如果我們想要這個等式成立，我們必須有 $a=1/4$.

類似地，如果我們想要 $Z_{n}=E[Z_{n+1}|{\mathcal {F}}_{n}]$ 那麼

$e^{bX_{n}}=E[e^{bX_{n+1}}|X_{n}]={\frac {1}{4}}e^{b(X_{n}-2)}+{\frac {3}{4}}e^{b(X_{n}+1)}=e^{bX_{n}}({\frac {1}{4}}e^{-2b}+{\frac {3}{4}}e^{b})$

我們可以很容易地驗證 $b=0$ 為該方程的平凡解。使用替換 $x=e^{b}$ 我們可以找到 $b$ 的另一個解。我們應該得到 $b=\log(1+{\sqrt {13}})-\log(6)<0$.

(b)

我們已經證明 $Y_{n}=X_{n}-{\frac {1}{4}}n$ 是一個鞅。因此，$E[Y_{n}|Y_{0}]=E[Y_{0}]=0$。由於每個 $\xi$ 都是獨立同分布的，我們可以應用強大數定律來說明 $1/n(X_{n}-n/4)\to 0$ 幾乎必然成立。換句話說，$X_{n}\to \infty$ 幾乎必然成立，因此肯定 $\tau <\infty$ 幾乎必然成立。

現在計算 $E[\tau ]$。我們引入新的符號：令 $\tau _{k}(x)=\inf\{n\geq 1:X_{n}=k,X_{0}=x\}$。那麼 ${\begin{aligned}E[\tau _{n}(0)]&={\frac {3}{4}}(1+E[\tau _{n}(1)])+{\frac {1}{4}}(1+E[\tau _{n}(-2)])\\&={\frac {3}{4}}(1+E[\tau _{n-1}(0)])+{\frac {1}{4}}(1+E[\tau _{n+2}(0)])=1+{\frac {3}{4}}\tau _{n-1}(0)+{\frac {1}{4}}\tau _{n+2}(0)\end{aligned}}$

透過對稱性論證得出。

所以我們可以寫 $E[\tau _{1}(0)]=1+{\frac {3}{4}}0+{\frac {1}{4}}\tau _{3}(0)$。但我不知道如何計算 $E[\tau _{1}(0)]$....

(c)

回顧 (a) 部分，$b$ 的非平凡解必須是某個負數。那麼，根據 (a) 部分，$\lim _{n\to \infty }Z_{n}\to 1$ 幾乎必然成立。

然而，$Z_{n}=e^{bX_{n}}\neq 1=E[Z_{\infty }|{\mathcal {F}}_{n}]$。根據定義，這意味著鞅不是右閉的。一個鞅是右閉的當且僅當它是均勻可積的。因此，我們完成了證明。