統計學/點估計

引言

通常，來自隨機實驗的隨機變數$X$被假設服從某個具有未知（但固定）引數（向量） $\theta \in \mathbb {R} ^{k}$ （$k$ 是一個正整數，其值取決於分佈）的分佈，取值範圍為集合 $\Theta$，稱為引數空間。

備註。

• 在頻率統計學（此處討論的上下文）中，引數被視為固定的。
• 另一方面，在貝葉斯統計學的上下文中，引數被視為隨機變數。

例如，假設隨機變數$X$被假設服從正態分佈${\mathcal {N}}(\mu ,\sigma ^{2})$。那麼，在這種情況下，引數向量$\theta =(\mu ,\sigma )\in \Theta$是未知的，引數空間$\Theta =\{(\mu ,\sigma ):\mu \in \mathbb {R} ,\sigma >0\}$。通常，透過某些方法估計這些未知引數來“理解”隨機變數$X$更有幫助。我們希望確保估計足夠好，以便理解更準確。

直觀地說，隨機樣本的（實現）$X_{1},\dotsc ,X_{n}$應該是有用的。實際上，本章介紹的估計量在某種意義上都是基於隨機樣本的，這就是點估計的含義。更準確地說，讓我們定義點估計和點估計值。

定義。（點估計）點估計是一個使用統計量的值來給出未知引數的單一值估計（可以理解為一個點）的過程。

備註。

• 回想一下，統計量是隨機樣本的函式。
• 我們將未知引數稱為總體引數（因為與引數相對應的基礎分佈稱為總體）。
• 統計量稱為點估計量，其實現值稱為點估計值。

• 點估計量的符號通常帶有${\hat {}}$。

• 點估計將與區間估計形成對比，區間估計使用統計量的值來估計未知引數的區間可能值。

示例. 假設 $X_{1},\dotsc ,X_{n}$ 是從正態分佈 ${\mathcal {N}}(\mu ,\sigma ^{2})$ 中抽取的 $n$ 個隨機樣本。

• 我們可以使用 統計量 ${\overline {X}}={\frac {X_{1}+\dotsb +X_{n}}{n}}$ 來直觀地估計 $\mu$，${\overline {X}}$ 被稱為 點估計量，其實現值 ${\overline {x}}$ 被稱為 點估計。
• 或者，我們可以簡單地使用統計量 $X_{1}$（儘管它不涉及 $X_{2},\dotsc ,X_{n}$，但它仍然可以被視為 $X_{1},\dotsc ,X_{n}$ 的函式）來估計 $\mu$。也就是說，我們使用正態分佈的第一個隨機樣本的值作為該分佈均值的點估計！直觀地說，這種估計量似乎“很糟糕”。

• 這種僅直接取一個隨機樣本的估計量稱為 單觀測估計量。
• 我們稍後將討論如何評估點估計量的“好壞”。

接下來，我們將介紹兩個著名的點估計量，它們實際上“很好”，即 最大似然估計量 和 矩估計量。

最大似然估計量 (MLE)

顧名思義，這種估計量是 最大化某種“似然性”的估計量。現在，我們想知道為了以“良好”的方式估計未知引數（複數），應該最大化什麼樣的“似然性”。此外，如引言部分所述，估計量在某種意義上是基於隨機樣本的。因此，這種“似然性”也應該在某種意義上基於隨機樣本。

為了激發最大似然估計量的定義，請考慮以下示例。

示例. 在一個隨機實驗中，一枚（公平或不公平）硬幣被拋擲一次。設隨機變數$X=1$ 如果出現正面，則為$0$ 否則。那麼，$X$ 的機率質量函式為 $f(x;p)=p^{x}(1-p)^{1-x},\quad x\in \{0,1\}$，其中未知引數$p$ 表示出現正面的機率，並且$p\in \Theta =\{p:p\in (0,1)\}$。

現在，假設你得到一個隨機樣本$X_{1},X_{2},\dotsc ,X_{n}$，透過拋擲硬幣$n$次獨立試驗（這種隨機樣本稱為獨立隨機樣本，因為所涉及的隨機變數是獨立的），對應的實現值為$x_{1},x_{2},\dotsc ,x_{n}$。那麼，對於$X_{1}=x_{1},X_{2}=x_{2},\dotsc ,{\text{ and }}X_{n}=x_{n}$，即隨機樣本恰好具有這些實現值的機率為$${\begin{aligned}\mathbb {P} (X_{1}=x_{1}\cap X_{2}=x_{2}\cap \dotsb \cap X_{n}=x_{n})&=\mathbb {P} (X_{1}=x_{1})\mathbb {P} (X_{2}=x_{2})\dotsb \mathbb {P} (X_{n}=x_{n})&{\text{by independence}}\\&=f(x_{1};p)f(x_{2};p)\dotsb f(x_{n};p)\\&=p^{x_{1}}(1-p)^{1-x_{1}}p^{x_{2}}(1-p)^{1-x_{2}}\dotsb p^{x_{n}}(1-p)^{1-x_{n}}\\&=p^{x_{1}+x_{2}+\dotsb +x_{n}}(1-p)^{n-x_{1}-x_{2}-\dotsb -x_{n}}.\end{aligned}}$$

備註。

• 關於符號的說明：你可能會注意到在$X$的機率質量函式中有一個額外的"$;p$"。這種符號表示機率質量函式是引數值為$p$的”。它被包含在內是為了強調我們所指的引數值。
• 一般來說，我們用$f(\cdot ;\theta )$表示引數值為$\theta$（$\theta$可以是向量）的機率質量函式/機率密度函式。

• 對於相同的含義，存在一些備選的記號：$f(\cdot |\theta ),f_{\theta }(\cdot ),\dotsc$。

• 類似地，我們也有類似的記號，例如 $\mathbb {P} _{\theta }(A),\mathbb {P} (A|\theta ),\mathbb {P} (A;\theta ),\dotsc$，表示事件$A$發生的機率，引數值為$\theta$。（通常使用第一個記號：$\mathbb {P} _{\theta }(A)$。）
• 對於均值、方差、協方差等，我們也有類似的記號，例如 $\mathbb {E} _{\theta }[\cdot ],\operatorname {Var} _{\theta }(\cdot ),\operatorname {Cov} _{\theta }(\cdot ),\dotsc$。

直觀地，對於這些特定的實現（固定的），我們希望找到一個$p$的值，使該機率最大化，即使獲得的實現成為“最有可能”或“似然最大”的實現。現在，讓我們正式定義與最大似然估計相關的術語。

定義。（似然函式）設$X_{1},\dotsc ,X_{n}$ 是一個具有聯合機率質量函式（pmf）或機率密度函式（pdf）$f$ 的隨機樣本，引數（向量）$\theta \in \Theta$（$\Theta$ 是引數空間）。假設$x_{1},\dotsc ,x_{n}$ 是隨機樣本$X_{1},\dotsc ,X_{n}$ 的對應實現。那麼，似然函式，記為${\mathcal {L}}(\theta ;x_{1},\dotsc ,x_{n})$，是函式$\theta \mapsto f(x_{1},\dotsc ,x_{n};\theta )$（$\theta$ 是一個變數，$x_{1},\dotsc ,x_{n}$ 是固定的）。

備註。

• 為了簡便，我們可以使用符號${\mathcal {L}}(\theta ;\mathbf {x} )$ 代替${\mathcal {L}}(\theta ;x_{1},\dotsc ,x_{n})$。有時，為了方便起見，我們也可能只寫“${\mathcal {L}}(\theta ;\mathbf {x} )$”。

• 當我們將$x_{1},\dotsc ,x_{n}$替換為$X_{1},\dotsc ,X_{n}$時，得到的“似然函式”就變成了一個隨機變數，我們用${\mathcal {L}}(\theta ;X_{1},\dotsc ,X_{n})$或${\mathcal {L}}(\theta ;\mathbf {X} )$表示它。

• 似然函式與聯合機率質量函式或機率密度函式本身形成對比，在聯合機率質量函式或機率密度函式中，$\theta$是固定的，而$x_{1},\dotsc ,x_{n}$是變數。
• 當隨機樣本來自離散分佈時，似然函式的值就是引數向量$\theta$下機率$\mathbb {P} (X_{1}=x_{1}\cap \dotsb \cap X_{n}=x_{n})$。也就是說，獲得這個特定實現的精確機率。
• 當隨機樣本來自連續分佈時，似然函式的值不是機率。相反，它只是聯合機率密度函式在$(x_{1},\dotsc ,x_{n})$處的取值（可能大於1）。但是，該值仍然可以用來“反映”獲得“非常接近”這個特定實現的機率，其中機率可以透過對$(x_{1},\dotsc ,x_{n})$周圍“非常小”區域內的聯合機率密度函式進行積分來獲得。
• 似然函式的自然對數，$\ln {\mathcal {L}}(\theta ;\mathbf {x} )$（或有時為$\ln {\mathcal {L}}(\theta ;\mathbf {X} )$），稱為對數似然函式。
• 請注意，似然函式的“表示式”實際上與聯合機率密度函式的表示式相同，只是輸入不同。因此，人們仍然可以對似然函式關於$x_{1},\dotsc ,x_{n}$進行積分/求和（在某種意義上，在這種情況下，將似然函式轉換為聯合機率密度函式/機率質量函式），就像它是聯合機率密度函式/機率質量函式一樣，以獲得機率。

定義.（最大似然估計）給定一個似然函式${\mathcal {L}}(\theta ;\mathbf {x} )$，引數$\theta$ 的最大似然估計 是一個值${\hat {\theta }}(\mathbf {x} )$，在這個值處${\mathcal {L}}(\theta ;\mathbf {x} )$被最大化。

備註。

• $\theta$ 的最大似然估計量（MLE）是${\hat {\theta }}(\mathbf {X} )$（透過將${\hat {\theta }}(\mathbf {x} )$中的“$x$”替換為“$X$”而得到）。

• 在其他一些地方，根據上下文，縮寫 MLE 也可能表示最大似然估計。但是，在這裡我們僅在討論最大似然估計量時使用縮寫 MLE。

• 由於${\frac {d}{dy}}\ln y={\frac {1}{y}}>0$（自然對數函式的定義域是所有正實數的集合），自然對數函式是嚴格單調遞增的，即輸入越大，輸出越大。因此，當我們找到一個值，使得$\ln {\mathcal {L}}(\theta ;\mathbf {x} )$最大化時，${\mathcal {L}}(\theta ;\mathbf {x} )$在相同的值處也被最大化。

現在，讓我們找到之前拋硬幣示例中未知引數$p$ 的 MLE。

示例.（回顧激勵示例）回想一下，我們使用拋硬幣的例子來激發最大似然估計。$X$服從伯努利分佈，其成功機率為$p$。$X$的機率質量函式為$f(x;p)=p^{x}(1-p)^{1-x}$。$X_{1},\dotsc ,X_{n}$是從該分佈中抽取的隨機樣本。

• 似然函式${\mathcal {L}}(p)$ 是 $X_{1},\dotsc ,X_{n}$ 的聯合機率質量函式（pmf）。

$${\begin{aligned}\mathbb {P} (X_{1}=x_{1}\cap \dotsb \cap X_{n}=x_{n})&=\prod _{i=1}^{n}f(x_{i};p)&{\text{by independence}}\\&=\prod _{i=1}^{n}p^{x_{i}}(1-p)^{1-x_{i}}\\\end{aligned}}$$

• 因此，對數似然函式$\ln {\mathcal {L}}(p)$ 為

$${\begin{aligned}\ln {\mathcal {L}}(p)&=\sum _{i=1}^{n}\ln(p^{x_{i}}(1-p)^{1-x_{i}})\\&=\sum _{i=1}^{n}(\ln(p^{x_{i}})+\ln((1-p)^{1-x_{i}}))\\&=\sum _{i=1}^{n}(x_{i}\ln(p)+(1-x_{i})\ln(1-p))\\&=\sum _{i=1}^{n}(x_{i}\ln(p))+\sum _{i=1}^{n}((1-x_{i})\ln(1-p))\\&=\ln(p)\sum _{i=1}^{n}(x_{i})+\ln(1-p)\sum _{i=1}^{n}(1-x_{i})\\&=\ln(p)\sum _{i=1}^{n}(x_{i})+\ln(1-p)\left(n-\sum _{i=1}^{n}(x_{i})\right)\\\end{aligned}}$$

• 為了找到對數似然函式的最大值，我們可以使用微積分中學習的導數檢驗。對$\ln {\mathcal {L}}(p)$ 關於$p$ 求導，得到

$${\begin{aligned}{\frac {d\ln {\mathcal {L}}(p)}{dp}}&={\frac {1}{\color {blue}p}}\underbrace {\sum _{i=1}^{n}x_{i}} _{{\text{constant wrt }}p}-{\frac {1}{\color {red}1-p}}\underbrace {\left(n-\sum _{i=1}^{n}x_{i}\right)} _{{\text{constant wrt }}p}\\&={\frac {{\color {red}(1-p)}\sum _{i=1}^{n}x_{i}-n{\color {blue}p}+{\color {blue}p}\sum _{i=1}^{n}x_{i}}{{\color {blue}p}{\color {red}(1-p)}}}\\&={\frac {(1-p)n{\overline {x}}-np+pn{\overline {x}}}{p(1-p)}}&\left(\sum _{i=1}^{n}x_{i}=n{\overline {x}}=n\cdot {\frac {\sum _{i=1}^{n}x_{i}}{n}}\right)\\&={\frac {n({\overline {x}}-p)}{p(1-p)}}\end{aligned}}$$

• 為了找到$\ln {\mathcal {L}}(p)$ 的臨界點，我們令${\frac {d\ln {\mathcal {L}}(p)}{dp}}=0\implies {\frac {n({\overline {x}}-p)}{p(1-p)}}=0\implies p={\overline {x}}$（我們有$p(1-p)\neq 0$）。
• 為了驗證$\ln {\mathcal {L}}(p)$ 實際上在$p={\overline {x}}$ 處取得最大值（而不是最小值），我們需要進行導數檢驗。在本例中，我們使用一階導數檢驗。

• 我們可以看到，當$p<{\overline {x}}$時，${\frac {d\ln {\mathcal {L}}(p)}{dp}}>0$，這使得${\overline {x}}-p>0$，因此${\frac {d\ln {\mathcal {L}}(p)}{dp}}>0$。另一方面，當$p>{\overline {x}}$時，這使得${\overline {x}}-p<0$，因此${\frac {d\ln {\mathcal {L}}(p)}{dp}}<0$。結果，我們可以得出結論，$\ln {\mathcal {L}}(p)$在$p={\overline {x}}$處取得最大值。因此，$p$的最大似然估計是${\overline {X}}$（而不是${\overline {x}}$，後者是最大似然估計值！）。

練習。 使用二階導數檢驗來驗證$\ln {\mathcal {L}}(p)$在$p={\overline {x}}$處取得最大值。

解答

• 由於${\frac {d^{2}\ln {\mathcal {L}}(p)}{dp^{2}}}={\frac {-np(1-p)-n({\overline {x}}-p)(2p)}{p^{2}(1-p)^{2}}}$，其中分子為負，分母為正。因此，${\frac {d^{2}\ln {\mathcal {L}}(p)}{dp^{2}}}<0$。根據二階導數檢驗，這意味著$\ln {\mathcal {L}}(p)$在$p={\overline {x}}$處取得最大值。

有時，在求解引數的最大似然估計時，會對引數施加約束。在這種情況下，引數的最大似然估計稱為受限最大似然估計。我們將在以下示例中說明這一點。

示例： 繼續前面拋硬幣的例子。假設對$p$施加約束，其中$0\leq p\leq {\frac {1}{2}}$。在這種情況下，求$p$的最大似然估計。

解：關於推導似然函式和對數似然函式的步驟，在這種情況下是相同的。在沒有限制的情況下，$p$的最大似然估計是${\overline {X}}$。現在，在存在限制的情況下，$p$的最大似然估計為${\overline {X}}$，僅當${\overline {X}}\leq {\frac {1}{2}}$時（我們始終有${\overline {X}}\geq 0$，因為$X\geq 0$）。

If ${\overline {X}}>{\frac {1}{2}}$ (and thus ${\overline {x}}>1/2$), even though $\ln {\mathcal {L}}(p)$ is maximized at $p={\overline {x}}$, we cannot set the MLE to be ${\overline {X}}$ due to the restriction on $p$: $0\leq p\leq {\frac {1}{2}}$. Under this case, this means ${\frac {d\ln {\mathcal {L}}(p)}{dp}}>0$ when $p\leq {\frac {1}{2}}<{\overline {X}}$ (we have ${\frac {d\ln {\mathcal {L}}(p)}{dp}}>0$ when $p<{\overline {x}}$ from previous example), i.e., $\ln {\mathcal {L}}(p)$ is strictly increasing when $p\leq {\frac {1}{2}}$. Thus, $\ln {\mathcal {L}}(p)$ is maximized when $p={\frac {1}{2}}$ with the restriction. As a result, the MLE of $p$ is ${\frac {1}{2}}$ (the MLE can be a constant, which can still be regarded as a function of $X_{1},\dotsc ,X_{n}$).

因此，$p$ 的最大似然估計可以寫成一個分段函式：${\hat {\theta }}={\begin{cases}{\overline {X}},&{\overline {X}}\leq {\frac {1}{2}}\\{\frac {1}{2}},&{\overline {X}}>{\frac {1}{2}}\end{cases}}$，或者可以寫成${\hat {\theta }}=\min \left\{{\overline {X}},{\frac {1}{2}}\right\}$。

練習。 當${\frac {1}{2}}\leq p\leq 1$ 時，求$p$ 的最大似然估計。

解答

• 當${\overline {X}}<{\frac {1}{2}}$ 時，由於存在限制，我們不能將最大似然估計設定為${\overline {X}}$。在這種情況下，我們知道當$p\geq {\frac {1}{2}}>{\overline {X}}$ 時，${\frac {d\ln {\mathcal {L}}(p)}{dp}}<0$，即當${\frac {1}{2}}\leq p\leq 1$ 時，$\ln {\mathcal {L}}(p)$ 嚴格遞減。因此，$\ln {\mathcal {L}}(p)$ 在$p={\frac {1}{2}}$ 處取得最大值，因此$p$ 的最大似然估計為${\frac {1}{2}}$。

• 當${\overline {X}}\geq {\frac {1}{2}}$時，我們可以將最大似然估計設定為${\overline {X}}$，此時$\ln {\mathcal {L}}(p)$ 最大化，因此${\overline {X}}$ 是在這種情況下 $p$ 的最大似然估計。
• 因此，$p$ 的最大似然估計是${\hat {\theta }}=\max \left\{{\overline {X}},{\frac {1}{2}}\right\}$。

為了找到最大似然估計，我們有時會使用導數檢驗以外的方法，並且不需要找到對數似然函式。讓我們在下面的例子中說明這一點。

示例： 令$X_{1},\dotsc ,X_{n}$ 是來自均勻分佈${\mathcal {U}}[0,\beta ]$ 的一個隨機樣本。求$\beta$ 的最大似然估計。

解： 均勻分佈的機率密度函式為$f(x;\beta )={\frac {1}{\beta }}\mathbf {1} \{0\leq x\leq \beta \}$。因此，似然函式為${\mathcal {L}}(\beta )=\prod _{i=1}^{n}{\frac {1}{\beta }}\mathbf {1} \{0\leq x_{i}\leq \beta \}={\frac {1}{\beta ^{n}}}\prod _{i=1}^{n}\mathbf {1} \{0\leq x_{i}\leq \beta \}$。

為了使${\mathcal {L}}(\beta )$達到最大值，首先，我們需要確保對於每個$i\in \{1,\dotsc ,n\}$，都有$0\leq x_{i}\leq \beta$，這樣似然函式中指示函式的乘積才不為零（在這種情況下，值實際上為1）。除此之外，由於$\beta \mapsto {\frac {1}{\beta ^{n}}}$是$\beta$的嚴格遞減函式（因為${\frac {d}{d\beta }}\left({\frac {1}{\beta ^{n}}}\right)={\frac {-n}{\beta ^{n+1}}}<0$（我們有$n,\beta >0$）），我們應該選擇一個儘可能小的$\beta$，使得${\frac {1}{\beta ^{n}}}$，因此${\mathcal {L}}(\beta )$，儘可能大。

因此，我們應該選擇一個儘可能小的$\beta$，前提條件是對於每個$i\in \{1,\dotsc ,n\}$，都有$0\leq x_{i}\leq \beta$，這意味著$\beta \geq x_{i}$（無論$\beta$如何選擇，$x_{i}\geq 0$總是成立）。由此可知，當$\beta$是$x_{1},\dotsc ,x_{n}$的最大值時，${\mathcal {L}}(\beta )$達到最大值。因此，$\beta$的最大似然估計是${\hat {\beta }}=\max\{X_{1},\dotsc ,X_{n}\}$。

練習。證明如果均勻分佈變為${\mathcal {U}}[0,\beta )$，則$\beta$的最大似然估計不存在。

解答

Proof. In this case, the constraint from the indicator functions become $0\leq x_{i}<\beta$ for each $i\in \{1,\dotsc ,n\}$. With similar argument, for the MLE of $\beta$, we should choose a $\beta$ that is as small as possible subject to this constraint, which means $\beta >x_{i}$ for each $i\in \{1,\dotsc ,n\}$. However, in this case, we cannot set $\beta$ to be the maximum of $x_{1},\dotsc ,x_{n}$, or else the constraint will not be satisfied and the likelihood function becomes zero due to the indicator function. Instead, we should set $\beta$ to be slightly greater than the maximum of $x_{1},\dotsc ,x_{n}$, so that the constraint can still be satisifed, and $\beta$ is quite small. However, for each such $\beta >\max\{x_{1},\dotsc ,x_{n}\}$, we can always chooses a smaller $\beta$ that still satisfies the constraint. For example, for each $\beta$, the smaller beta, $\beta '$ can be selected as $\max\{x_{1},\dotsc ,x_{n}\}+{\frac {\beta -\max\{x_{1},\dotsc ,x_{n}\}}{2}}>\max\{x_{1},\dotsc ,x_{n}\}$ . Hence, we cannot find a minimum value of $\beta$ subject to this constraint. Thus, there is no maximum point for $\ln {\mathcal {L}}(p)$, and hence the MLE does not exist.

$\Box$

在下面的例子中，我們將找到引數向量的最大似然估計。

例。 令 $X_{1},\dotsc ,X_{n}$ 為來自均值為 $\theta _{1}$，方差為 $\theta _{2}$ 的正態分佈的隨機樣本，${\mathcal {N}}(\theta _{1},\theta _{2})$。求 $(\theta _{1},\theta _{2})$ 的最大似然估計。

解：令 $\theta =(\theta _{1},\theta _{2})$。似然函式為 ${\mathcal {L}}(\theta ;\mathbf {x} )=\prod _{i=1}^{n}{\frac {1}{\sqrt {2\pi \theta _{2}}}}\exp \left(-{\frac {(x_{i}-\theta _{1})^{2}}{2\theta _{2}}}\right)=(2\pi \theta _{2})^{-n/2}\exp \left(-\sum _{i=1}^{n}{\frac {(x_{i}-\theta _{1})^{2}}{2\theta _{2}}}\right)$，因此對數似然函式為 $\ln {\mathcal {L}}(\theta ;\mathbf {x} )=-{\frac {n}{2}}\ln(2\pi \theta _{2})-\sum _{i=1}^{n}{\frac {(x_{i}-\theta _{1})^{2}}{2\theta _{2}}}$。由於該函式是多元函式，我們可以使用多元微積分中的二階偏導數檢驗來尋找最大值點。但是，在本例中，我們實際上不需要使用這種檢驗。相反，我們可以逐個固定變數，使函式成為一元函式，這樣我們就可以使用一元函式的導數檢驗來尋找最大值點（在另一個變數固定的情況下）。

由於$${\frac {\partial \ln {\mathcal {L}}(\theta ;\mathbf {x} )}{\partial \theta _{1}}}={\frac {1}{\theta _{2}}}\sum _{i=1}^{n}(x_{i}-\theta _{1})$$ 和 ${\frac {\partial \ln {\mathcal {L}}(\theta ;\mathbf {x} )}{\partial \theta _{2}}}=-{\frac {2n\pi }{4\pi \theta _{2}}}+{\frac {1}{2\theta _{2}^{2}}}\sum _{i=1}^{n}(x_{i}-\theta _{1})^{2}=-{\frac {n}{2\theta _{2}}}+{\frac {1}{2\theta _{2}^{2}}}\sum _{i=1}^{n}(x_{i}-\theta _{1})^{2}$。

此外，$${\frac {\partial \ln {\mathcal {L}}(\theta ;\mathbf {x} )}{\partial \theta _{1}}}=0\implies \sum _{i=1}^{n}(x_{i}-\theta _{1})=0\implies -n\theta _{1}+\sum _{i=1}^{n}x_{i}=0\implies \theta _{1}={\frac {\sum _{i=1}^{n}x_{i}}{n}}={\overline {x}}$$，它與$\theta _{2}$ 無關（這對我們使用這種方法很重要）並且${\frac {\partial \ln {\mathcal {L}}(\theta ;\mathbf {x} )}{\partial \theta _{2}}}=0\implies {\frac {n}{2\theta _{2}}}={\frac {1}{2\theta _{2}^{2}}}\left(\sum _{i=1}^{n}(x_{i}-\theta _{1})^{2}\right)\implies n={\frac {1}{\theta _{2}}}\left(\sum _{i=1}^{n}(x_{i}-\theta _{1})^{2}\right)\implies \theta _{2}={\frac {\sum _{i=1}^{n}(x_{i}-\theta _{1})^{2}}{n}}$。

由於$${\frac {\partial ^{2}\ln {\mathcal {L}}(\theta ;\mathbf {x} )}{\partial \theta _{1}^{2}}}={\frac {\partial }{\partial \theta _{1}}}\left({\frac {1}{\theta _{2}}}\sum _{i=1}^{n}(x_{i}-\theta _{1})\right)={\frac {1}{\theta _{2}}}\sum _{i=1}^{n}(-1)={\frac {-n}{\theta _{2}}}<0$$，根據一元函式的二階導數檢驗，$\ln {\mathcal {L}}(\theta ;\mathbf {x} )$ 在 $\theta _{1}={\overline {x}}$ 處取得最大值，在任意固定的 $\theta _{2}$ 的情況下。

另一方面，由於$${\frac {\partial ^{2}\ln {\mathcal {L}}(\theta ;\mathbf {x} )}{\partial \theta _{2}^{2}}}={\frac {n}{2\theta _{2}^{2}}}-{\frac {1}{\theta _{2}^{3}}}\sum _{i=1}^{n}(x_{i}-\theta _{1})^{2}$$，因此$$\left.{\frac {\partial ^{2}\ln {\mathcal {L}}(\theta ;\mathbf {x} )}{\partial \theta _{2}^{2}}}\right\vert _{\theta _{2}={\frac {\sum _{i=1}^{n}(x_{i}-\theta _{1})^{2}}{n}}}={\frac {1}{2n\left(\sum _{i=1}^{n}(x_{i}-\theta _{1})^{2}\right)^{2}}}-{\frac {n^{3}}{\left(\sum _{i=1}^{n}(x_{i}-\theta _{1})^{2}\right)^{2}}}={\frac {1-2n^{4}}{2n\left(\sum _{i=1}^{n}(x_{i}-\theta _{1})^{2}\right)^{2}}}<0$$（因為 $2n^{4}>1$）。

因此，根據二階導數檢驗，$\ln {\mathcal {L}}(\theta ;\mathbf {x} )$ 在 $\theta _{2}={\frac {\sum _{i=1}^{n}(x_{i}-\theta _{1})^{2}}{n}}$ 處取得最大值，在任何給定的固定 $\theta _{1}$ 下。

因此，現在我們固定$\theta _{1}={\overline {x}}$，因此我們有$\ln {\mathcal {L}}(\theta ;\mathbf {x} )$ 在$\theta _{2}={\frac {\sum _{i=1}^{n}(x_{i}-{\overline {x}})^{2}}{n}}=s^{2}$ 處取得最大值，其中$s^{2}$ 是樣本方差$S^{2}$ 的取值。現在，固定$\theta _{2}$ 為$s^{2}$，並且我們知道$\ln {\mathcal {L}}(\theta ;\mathbf {x} )$ 在$\theta _{1}={\overline {x}}$ 處取得最大值，對於每個固定的$\theta _{2}$ 都是如此，包括這個固定的$\theta _{2}=s^{2}$。結果，$\ln {\mathcal {L}}(\theta ;\mathbf {x} )$ 在$(\theta _{1},\theta _{2})=({\overline {x}},s^{2})$ 處取得最大值。因此，$(\theta _{1},\theta _{2})$ 的最大似然估計是$({\overline {X}},S^{2})$。

練習。

(a) 計算 $\ln {\mathcal {L}}(\theta ;\mathbf {x} )$ 在 $(\theta _{1},\theta _{2})=({\overline {x}},s^{2})$ 處的 Hessian 矩陣的行列式，可以表示為 ${\frac {\partial ^{2}\ln {\mathcal {L}}}{\partial \theta _{1}^{2}}}({\overline {x}},s^{2}){\frac {\partial ^{2}\ln {\mathcal {L}}}{\partial \theta _{2}^{2}}}({\overline {x}},s^{2})-\left({\frac {\partial ^{2}\ln {\mathcal {L}}}{\partial \theta _{2}\partial \theta _{1}}}({\overline {x}},s^{2})\right)^{2}$。

(b) 因此，使用二階偏導數檢驗驗證 $(\theta _{1},\theta _{2})=({\overline {x}},s^{2})$ 是 $\ln {\mathcal {L}}(\theta ;\mathbf {x} )$ 的最大值點。

解答

(a) 首先，

• ${\frac {\partial ^{2}\ln {\mathcal {L}}}{\partial \theta _{1}^{2}}}({\overline {x}},s^{2}){\overset {\text{above}}{=}}\left.{\frac {-n}{\theta _{2}}}\right\vert _{\theta _{2}=s^{2}}={\frac {-n}{s^{2}}}$
• ${\frac {\partial ^{2}\ln {\mathcal {L}}}{\partial \theta _{2}^{2}}}({\overline {x}},s^{2}){\overset {\text{above}}{=}}\left.{\frac {n}{2\theta _{2}^{2}}}-{\frac {1}{\theta _{2}^{3}}}\sum _{i=1}^{n}(x_{i}-\theta _{1})^{2}\right\vert _{(\theta _{1},\theta _{2})=({\overline {x}},s^{2})}={\frac {n}{2(s^{2})^{2}}}-{\frac {1}{(s^{2})^{3}}}\cdot ns^{2}={\frac {n}{2(s^{2})^{2}}}-{\frac {n}{(s^{2})^{2}}}={\frac {-n}{2(s^{2})^{2}}}$
• ${\frac {\partial ^{2}\ln {\mathcal {L}}}{\partial \theta _{2}\partial \theta _{1}}}({\overline {x}},s^{2}){\overset {\text{above}}{=}}\left.{\frac {\partial }{\partial \theta _{2}}}\left({\frac {1}{\theta _{2}}}\sum _{i=1}^{n}(x_{i}-\theta _{1})\right)\right\vert _{(\theta _{1},\theta _{2})=({\overline {x}},s^{2})}=\left.-{\frac {\sum _{i=1}^{n}(x_{i}-\theta _{1})}{\theta _{2}^{2}}}\right\vert _{(\theta _{1},\theta _{2})=({\overline {x}},s^{2})}=-{\frac {\sum _{i=1}^{n}(x_{i}-{\overline {x}})}{(s^{2})^{2}}}=-{\frac {\sum _{i=1}^{n}(x_{i})-n{\overline {x}}}{(s^{2})^{2}}}=-{\frac {n{\overline {x}}-n{\overline {x}}}{(s^{2})^{2}}}=0$

因此，Hessian矩陣的行列式為${\frac {-n}{s^{2}}}\cdot {\frac {-n}{2(s^{2})^{2}}}={\frac {n^{2}}{2(s^{2})^{3}}}$。

(b) 從(a)可知，Hessian矩陣的行列式為正。此外，${\frac {\partial ^{2}\ln {\mathcal {L}}}{\partial \theta _{1}^{2}}}({\overline {x}},s^{2})=-{\frac {n}{s^{2}}}<0$。因此，根據二階偏導數檢驗，$\ln {\mathcal {L}}(\theta ;\mathbf {x} )$在$(\theta _{1},\theta _{2})=({\overline {x}},s^{2})$處取得最大值。

練習。 令$X_{1},\dotsc ,X_{n}$為來自速率引數為$\lambda$的指數分佈的隨機樣本，其機率密度函式為$f(x;\lambda )=\lambda e^{-\lambda x},\quad x\geq 0$，其中$\lambda >0$。證明$\lambda$的最大似然估計為${\frac {1}{\overline {X}}}$。

解答

證明。 似然函式為 ${\mathcal {L}}(\lambda )=\prod _{i=1}^{n}(\lambda e^{-\lambda x_{i}})=\lambda ^{n}\exp \left(-\lambda \sum _{i=1}^{n}x_{i}\right)$。因此，對數似然函式為 $\ln {\mathcal {L}}(\lambda )=n\ln \lambda -\lambda \sum _{i=1}^{n}x_{i}$。對對數似然函式關於 $\lambda$ 求導得到 ${\frac {d}{d\lambda }}\ln {\mathcal {L}}(\lambda )={\frac {n}{\lambda }}-\sum _{i=1}^{n}x_{i}$。令導數等於零，得到 ${\frac {n}{\lambda }}-\sum _{i=1}^{n}x_{i}=0\implies {\frac {n}{\lambda }}-n{\overline {x}}=0\implies {\frac {1}{\lambda }}={\overline {x}}\implies \lambda ={\frac {1}{\overline {x}}}$。還需要驗證 $\ln {\mathcal {L}}(\lambda )$ 在 $\lambda ={\frac {1}{\overline {x}}}$ 處取得最大值。由於 ${\frac {d^{2}}{d\lambda ^{2}}}\ln {\mathcal {L}}(\lambda )=-{\frac {n}{\lambda ^{2}}}<0$，這一點得到了驗證。因此，$\lambda$ 的最大似然估計為 ${\frac {1}{\overline {X}}}$。

$\Box$

示例。（最大似然估計的應用）假設你有一個盒子，裡面有四個球，紅色和黑色球的數量未知。現在，你從盒子裡抽取三個球，發現你得到了兩個紅球和一個黑球。使用最大似然估計，估計盒子裡紅球和黑球的數量。

解：根據抽取的球的顏色，我們知道盒子裡至少有兩個紅球和至少一個黑球。這意味著盒子中要麼有兩個紅球，要麼有三個紅球。設$r$ 為盒子裡紅球的數量。那麼，盒子裡黑球的數量為$4-r$。引數$r$ 的可能取值為 2 和 3。

現在，我們比較當$r=2$ 和 $r=3$ 時，從盒子裡抽取三個球得到這種結果的機率。

• 對於$r=2$，機率為${\frac {{\binom {2}{2}}{\binom {2}{1}}}{\binom {4}{3}}}={\frac {1}{2}}$（考慮超幾何分佈的機率質量函式）。
• 對於$r=3$，機率為${\frac {{\binom {3}{2}}{\binom {1}{1}}}{\binom {4}{3}}}={\frac {3}{4}}$。

因此，$r$ 的最大似然估計值為 3。因此，估計的紅球數量為 3，黑球數量為 1。

練習。假設盒子現在包含 100 個球，紅球和黑球的數量未知。現在，你從盒子裡抽出 99 個球，發現你得到了 98 個紅球和 1 個黑球。使用最大似然估計，估計盒子裡紅球和黑球的數量。

解答

類似地，盒子中至少有 98 個紅球和 1 個黑球。我們使用與上述示例相同的符號。那麼，黑球的數量為$100-r$，引數$r$ 的可能取值為 98 和 99。

• 對於$r=98$，機率為${\frac {{\binom {98}{98}}{\binom {2}{1}}}{\binom {100}{99}}}=0.02$
• 對於$r=99$，機率為${\frac {{\binom {99}{98}}{\binom {1}{1}}}{\binom {100}{99}}}=0.99$

因此，$r$的最大似然估計值為99。因此，紅球的估計數量為99，黑球的估計數量為1。

備註。

• 在這種情況下，$r$兩個可能值的機率差異變得更大。
• 直觀地講，當你得到這樣的抽取結果時，你會認為盒子裡面不太可能有兩個黑球，也就是說，沒有抽到的球實際上是黑色的，並且你以某種方式抽出了所有的紅球，但沒有抽到黑球。

矩估計法 (MME)

對於最大似然估計，我們需要利用似然函式，該函式來自分佈中隨機樣本的聯合機率質量函式或機率密度函式。然而，在實踐中我們可能並不知道分佈的機率質量函式或機率密度函式的確切形式。相反，我們可能只知道關於分佈的一些資訊，例如均值、方差和一些矩（$r$階隨機變數$X$的矩為$\mathbb {E} [X^{r}]$，為了簡單起見，我們將其表示為$\mu _{r}$）。這些矩通常包含關於未知引數的資訊。例如，對於正態分佈${\mathcal {N}}(\mu ,\sigma ^{2})$，我們知道$\mu =\mu _{1}$和$\sigma ^{2}=\mu _{2}-(\mu _{1})^{2}$。因此，當我們想要估計引數時，可以透過估計矩來實現。

現在，我們想知道如何估計矩。我們令$m_{r}={\frac {\sum _{i=1}^{n}X_{i}^{r}}{n}}$為$r$階樣本矩，其中$X_{i}$是獨立同分布的。根據大數定律（假設條件滿足），我們有

• ${\overline {X}}=m_{1}\;{\overset {p}{\to }}\;\mathbb {E} [X]=\mu _{1}$
• $m_{2}\;{\overset {p}{\to }}\;\mathbb {E} [X^{2}]=\mu _{2}$（這可以透過在大數定律中將“$X$”替換為“$X^{2}$”來觀察，那麼條件仍然滿足，因此我們仍然可以應用大數定律）

通常情況下，我們有$m_{r}\;{\overset {p}{\to }}\;\mu _{r}$，因為在弱大數定律中用$X^{r}$替換$X$後，條件仍然滿足。

基於這些結果，我們可以使用第$r$個樣本矩$m_{r}$來估計第$r$階矩$\mu _{r}$，當$n$很大時，這種估計會“更好”。例如，在上面正態分佈的例子中，我們可以用$m_{1}$估計$\mu$，用$m_{2}-(m_{1})^{2}$估計$\sigma ^{2}$，這些估計量實際上被稱為矩估計法。

更準確地說，我們給出矩估計法的定義如下：

定義。（矩估計法）設$X_{1},\dotsc ,X_{n}$ 是來自具有機率密度函式或機率質量函式 $f(x;\theta _{1},\dotsc ,\theta _{k})$ 的分佈的一個隨機樣本。將 $k$ 個矩，例如 $\mu _{1},\dotsc ,\mu _{k}$，分別寫成 $\theta _{1},\dotsc ,\theta _{k}$ 的函式：$g_{1}(\theta _{1},\dotsc ,\theta _{k}),\dotsc ,g_{k}(\theta _{1},\dotsc ,\theta _{k})$。那麼，$\theta _{1},\dotsc ,\theta _{k}$ 的矩估計量（MME），分別為 ${\hat {\theta }}_{1},\dotsc ,{\hat {\theta }}_{k}$，由以下方程組（以 ${\hat {\theta }}_{1},\dotsc ,{\hat {\theta }}_{k}$ 關於 $m_{1},\dotsc ,m_{k}$ 的形式給出，對應於 $k$ 個矩 $\mu _{1},\dotsc ,\mu _{k}$ 的解給出）得到以下方程組：$${\begin{cases}m_{1}=g_{1}({\hat {\theta }}_{1},\dotsc ,{\hat {\theta }}_{k})\\\vdots \\m_{k}=g_{k}({\hat {\theta }}_{1},\dotsc ,{\hat {\theta }}_{k})\\\end{cases}}$$

備註。

• 當存在$k$個未知引數時，我們需要解一個包含$k$個方程的方程組，其中涉及$k$個樣本矩。
• 通常，我們根據定義選擇前$k$個矩作為這$k$個矩。但這並非必要，我們可以選擇其他的矩，包括分數階矩（例如$\mathbb {E} [X^{1/2}]$，在這種情況下我們使用$m_{1/2}$）。

• 因此，矩估計法不唯一。

示例。 令$X_{1},\dotsc ,X_{n}$是從正態分佈${\mathcal {N}}(\mu ,\sigma ^{2})$中抽取的隨機樣本。求$\mu$和$\sigma ^{2}$的矩估計。

解法：首先，有兩個未知引數。因此，我們需要求解一個包含2個樣本矩和2個矩的2元方程組。由於$\mu _{1}=\mu$ 和 $\mu _{2}=\sigma ^{2}+(\mu )^{2}$，考慮以下方程組：$${\begin{cases}m_{1}={\hat {\mu }}&(1)\\m_{2}={\widehat {\sigma ^{2}}}+({\hat {\mu }})^{2}&(2)\\\end{cases}}$$ 將 $(1)$ 代入 $(2)$，得到 $m_{2}={\widehat {\sigma ^{2}}}+(m_{1})^{2}\Leftrightarrow {\widehat {\sigma ^{2}}}=m_{2}-(m_{1})^{2}$。因此，$\mu$ 的矩估計為 ${\hat {\mu }}=m_{1}$，$\sigma ^{2}$ 的矩估計為 ${\widehat {\sigma ^{2}}}=m_{2}-(m_{1})^{2}$。

備註。

• 我們可以看到，求 $\mu$ 和 $\sigma ^{2}$ 的矩估計的過程比求 $\mu$ 和 $\sigma ^{2}$ 的最大似然估計要容易得多。這是因為在這種情況下，一階矩和二階矩關於引數的表示式很簡單。但是，當表示式更復雜時，求引數的矩估計可能會變得相當複雜。

例。 令$X_{1},\dotsc ,X_{n}$ 為來自速率引數為 $\lambda$ 的指數分佈的隨機樣本。求 $\lambda$ 的矩估計 (MME)，並將其與 $\lambda$ 的最大似然估計 (MLE) 進行比較。

解: 由於 $\mu _{1}={\frac {1}{\lambda }}$，考慮以下方程：$m_{1}={\frac {1}{\hat {\lambda }}}$。然後我們有 ${\hat {\lambda }}={\frac {1}{m_{1}}}$。因此，$\lambda$ 的矩估計為 ${\hat {\lambda }}={\frac {1}{m_{1}}}={\frac {1}{\overline {X}}}$，這與 $\lambda$ 的最大似然估計相同。

練習。 令$X_{1},\dotsc ,X_{n}$ 為來自均勻分佈 ${\mathcal {U}}[a,b]$ 的隨機樣本。證明 $a$ 和 $b$ 的矩估計分別為 ${\hat {a}}=m_{1}-{\sqrt {3(m_{2}-m_{1}^{2})}}$ 和 ${\hat {b}}=m_{1}+{\sqrt {3(m_{2}-m_{1}^{2})}}$。

解答

Proof. Since $\mu _{1}={\frac {a+b}{2}}$ and $\mu _{2}={\frac {(b-a)^{2}}{12}}+\left({\frac {a+b}{2}}\right)^{2}={\frac {b^{2}-2ab+a^{2}+3a^{2}+6ab+3b^{2}}{12}}={\frac {4a^{2}+4b^{2}+4ab}{12}}={\frac {a^{2}+b^{2}+ab}{3}}$, consider the following system of equations: $${\begin{cases}m_{1}=({\hat {a}}+{\hat {b}})/2&(1)\\m_{2}=({\hat {a}}^{2}+{\hat {a}}{\hat {b}}+{\hat {b}}^{2})/3&(b)\\\end{cases}}$$ From $(1)$, we have ${\hat {b}}=2m_{1}-{\hat {a}}$. Substituting it into $(2)$, we have $m_{2}={\big (}{\hat {a}}^{2}+{\hat {a}}(2m_{1}-{\hat {a}})+(2m_{1}-{\hat {a}})^{2}{\big )}/3-{\big (}{\hat {a}}^{2}+2m_{1}{\hat {a}}-{\hat {a}}^{2}+4m_{1}^{2}-4m_{1}{\hat {a}}+{\hat {a}}^{2}{\big )}/3\Leftrightarrow {\hat {a}}^{2}-2m_{1}{\hat {a}}+4m_{1}^{2}=3m_{2}\Leftrightarrow {\hat {a}}^{2}-2m_{1}{\hat {a}}+4m_{1}^{2}-3m_{2}=0$ Solving this equation by quadratic formula, we get ${\hat {a}}={\frac {2m_{1}\pm {\sqrt {4m_{1}^{2}-4(4m_{1}^{2}-3m_{2})}}}{2}}={\frac {2m_{1}\pm {\sqrt {12m_{2}-12m_{1}^{2}}}}{2}}={\frac {2m_{1}\pm 2{\sqrt {3(m_{2}-m_{1}^{2})}}}{2}}=m_{1}\pm {\sqrt {3(m_{2}-m_{1}^{2})}}$.

當${\hat {a}}=m_{1}+{\sqrt {3(m_{2}-m_{1}^{2})}}$，${\hat {b}}=m_{1}-{\sqrt {3(m_{2}-m_{1}^{2})}}<{\hat {a}}$。然而，根據均勻分佈的定義，我們需要有${\hat {a}}<{\hat {b}}$，因此這種情況被拒絕。

當${\hat {a}}=m_{1}-{\sqrt {3(m_{2}-m_{1}^{2})}}$，${\hat {b}}=m_{1}+{\sqrt {3(m_{2}-m_{1}^{2})}}>{\hat {a}}$，滿足均勻分佈的定義。

因此，我們得到了期望的結果。

$\Box$

估計量的性質

在本節中，我們將介紹一些用於評估點估計量“好壞”的標準，即無偏性、有效性和一致性。

無偏性

對於${\hat {\theta }}$成為引數$\theta$的“良好”估計量，${\hat {\theta }}$的一個理想特性是其期望值等於引數$\theta$的值，或者至少接近該值。正因為如此，我們引入了偏差這一概念，來衡量${\hat {\theta }}$的均值與$\theta$的接近程度。

定義。（偏差）估計量${\hat {\theta }}$的偏差為$\operatorname {Bias} ({\hat {\theta }})=\mathbb {E} [{\hat {\theta }}]-\theta .$

我們還將定義一些與偏差相關的術語。

定義. ((無)偏估計量) 估計量 ${\hat {\theta }}$ 是引數 $\theta$ 的一個無偏估計量，如果 $\operatorname {Bias} ({\hat {\theta }})=0$。否則，該估計量稱為有偏估計量。

定義. (漸近無偏估計量) 估計量 ${\hat {\theta }}$ 是引數 $\theta$ 的一個漸近無偏估計量，如果 $\lim _{n\to \infty }\operatorname {Bias} ({\hat {\theta }})=0$，其中 $n$ 是樣本量。

備註。

• 無偏估計量必須是漸近無偏估計量，但反之不成立，即漸近無偏估計量可能不是無偏估計量。因此，有偏估計量也可能是漸近無偏估計量。
• 當我們根據無偏性討論估計量的優劣時，無偏估計量優於漸近無偏估計量，漸近無偏估計量優於有偏估計量。

• 然而，除了無偏性之外，還有其他評估估計量優劣的標準，因此，當我們也考慮其他標準時，有偏估計量在總體上可能比無偏估計量“更好”。

示例. 令 $X_{1},\dotsc ,X_{n}$ 為來自伯努利分佈的隨機樣本，其成功機率為 $p$。證明 $p$ 的最大似然估計 (MLE) ${\overline {X}}$ 是 $p$ 的無偏估計量。

證明. 由於 $\mathbb {E} [{\overline {X}}]={\frac {1}{n}}\cdot \mathbb {E} \left[\sum _{i=1}^{n}X_{i}\right]={\frac {1}{n}}\sum _{i=1}^{n}\mathbb {E} [X_{i}]={\frac {1}{n}}\cdot \sum _{i=1}^{n}p={\frac {np}{n}}=p$，結果成立。

$\Box$

練習。 假設伯努利分佈被替換為具有$n$次試驗和成功機率$p$的二項分佈。證明${\overline {X}}$是$p$的有偏估計量。修改該估計量，使其成為$p$的無偏估計量。

解答

證明。 由於$\mathbb {E} [{\overline {X}}]={\frac {1}{n}}\sum _{i=1}^{n}\mathbb {E} [X_{i}]={\frac {1}{n}}\sum _{i=1}^{n}np=np\neq p$，${\overline {X}}$是$p$的有偏估計量。

$\Box$

我們可以將該估計量修改為${\frac {\overline {X}}{n}}$，則其均值為${\frac {np}{n}}=p$。或者，我們可以選擇估計量為${\frac {X_{i}}{n}}$（$i\in \{1,\dotsc ,n\}$），其均值也是$p$（其他均值為$p$的估計量也是可以的）。

示例。 令 $X_{1},\dotsc ,X_{n}$ 為來自正態分佈 ${\mathcal {N}}(\mu ,\sigma ^{2})$ 的一個隨機樣本。證明 $\mu$ 的最大似然估計量 ${\overline {X}}$ 是 $\mu$ 的無偏估計量，以及 $\sigma ^{2}$ 的最大似然估計量 $S^{2}$ 是 $\sigma ^{2}$ 的一個漸近無偏估計量。

證明。 首先，由於 $\mathbb {E} [{\overline {X}}]={\frac {1}{n}}\sum _{i=1}^{n}\mathbb {E} [X_{i}]={\frac {1}{n}}\sum _{i=1}^{n}\mu =\mu$，${\overline {X}}$ 是 $\mu$ 的無偏估計量。

On the other hand, $${\begin{aligned}\mathbb {E} [S^{2}]&={\frac {1}{n}}\sum _{i=1}^{n}\mathbb {E} \left[(X_{i}-{\overline {X}})^{2}\right]\\&={\frac {1}{n}}\sum _{i=1}^{n}\operatorname {Var} \left(X_{i}-{\overline {X}}\right)&{\text{since }}\mathbb {E} [X_{i}-{\overline {X}}]=\mathbb {E} [X_{i}]-\mathbb {E} [{\overline {X}}]=\mu -\mu =0\\&={\frac {1}{n}}\sum _{i=1}^{n}\operatorname {Var} \left(X_{i}-{\frac {X_{1}+\dotsb +X_{i-1}+X_{i}+\dotsb +X_{n}}{n}}\right)\\&={\frac {1}{n}}\sum _{i=1}^{n}\operatorname {Var} \left({\frac {{\color {blue}n}X_{i}}{n}}-{\frac {X_{1}+\dotsb +X_{i-1}+X_{i}+\dotsb +X_{n}}{n}}\right)\\&={\frac {1}{n}}\sum _{i=1}^{n}\operatorname {Var} \left({\frac {X_{1}+\dotsb +X_{i-1}+({\color {blue}n}-1)X_{i}+\dotsb +X_{n}}{n}}\right)\\&={\frac {1}{n}}\sum _{i=1}^{n}\operatorname {Var} \left({\frac {(n-1)X_{i}}{n}}+{\frac {X_{1}+\dotsb +X_{i-1}+X_{i+1}X_{n}}{n}}\right)\\&={\frac {1}{n}}\sum _{i=1}^{n}\left[\operatorname {Var} \left({\frac {(n-1)X_{i}}{n}}\right)+\operatorname {Var} \left({\frac {X_{1}+\dotsb +X_{i-1}+X_{i+1}+\dotsb +X_{n}}{n}}\right)\right]&{\text{by independence}}\\&={\frac {1}{n}}\sum _{i=1}^{n}\left[\operatorname {Var} \left({\frac {(n-1)X_{i}}{n}}\right)+\operatorname {Var} \left({\frac {X_{1}+\dotsb +X_{i-1}+X_{i+1}+\dotsb +X_{n}}{n}}\right)\right]\\&={\frac {1}{n}}\sum _{i=1}^{n}\left[{\frac {(n-1)^{2}}{n^{2}}}\sigma ^{2}+{\frac {1}{n^{2}}}\operatorname {Var} \left(X_{1}+\dotsb +X_{i-1}+X_{i+1}+\dotsb +X_{n}\right)\right]\\&={\frac {1}{n}}\sum _{i=1}^{n}\left[{\frac {(n-1)^{2}}{n^{2}}}\sigma ^{2}+{\frac {n-1}{n^{2}}}\sigma ^{2}\right]&{\text{by iid}}\\&={\frac {1}{n}}\sum _{i=1}^{n}\left[{\frac {\sigma ^{2}}{n^{2}}}(n^{2}-2n+1+n-1)\right]\\&={\frac {1}{n}}\sum _{i=1}^{n}\left[{\frac {(n^{2}-n)\sigma ^{2}}{n^{2}}}\right]\\&={\frac {1}{n}}\sum _{i=1}^{n}\left[{\frac {(n-1)\sigma ^{2}}{n}}\right]\\&={\frac {1}{n}}\cdot n\cdot {\frac {(n-1)\sigma ^{2}}{n}}\\&={\frac {n-1}{n}}\sigma ^{2}\\\end{aligned}}$$ Thus, $\lim _{n\to \infty }\mathbb {E} [S^{2}]=\lim _{n\to \infty }\left({\frac {n-1}{n}}\sigma ^{2}\right)=\sigma ^{2}\lim _{n\to \infty }\left(1-{\frac {1}{n}}\right)=\sigma ^{2}\left(1-\lim _{n\to \infty }{\frac {1}{n}}\right)=\sigma ^{2}$, as desired.

$\Box$

練習。 修改 $\sigma ^{2}$ 的估計量，使其成為無偏估計量。

解答

該估計量可以修改為 ${\frac {n}{n-1}}S^{2}={\frac {\sum _{i=1}^{n}(X_{i}-{\overline {X}})^{2}}{n-1}}$。

效率

我們已經討論瞭如何評估估計量的無偏性。現在，如果我們有兩個無偏估計量，${\hat {\theta }}$ 和 ${\tilde {\theta }}$，我們應該如何比較它們的好壞？如果我們只從無偏性的角度比較它們，那麼它們的好壞是相同的。因此，在這種情況下，我們需要另一個標準。一種可能的方法是比較它們的方差，方差較小的那個更好，因為平均而言，該估計量與其均值的偏差較小，而根據無偏估計量的定義，其均值就是未知引數的值，因此方差較小的那個在某種偏差意義上更準確。實際上，無偏估計量仍然可能具有較大的方差，從而與其均值產生很大的偏差。這樣的估計量是無偏的，因為正偏差和負偏差在某種程度上相互抵消。這就是效率的思想。

定義。（效率）假設${\color {blue}{\hat {\theta }}}$ 和 ${\color {red}{\tilde {\theta }}}$ 是未知引數 $\theta$ 的兩個無偏估計量。${\color {blue}{\hat {\theta }}}$ 相對 ${\color {red}{\tilde {\theta }}}$ 的效率 為 $\operatorname {Eff} ({\color {blue}{\hat {\theta }}},{\color {red}{\tilde {\theta }}})={\frac {\operatorname {Var} ({\color {red}{\tilde {\theta }}})}{\operatorname {Var} ({\color {blue}{\hat {\theta }}})}}$。如果 $\operatorname {Eff} ({\color {blue}{\hat {\theta }}},{\color {red}{\tilde {\theta }}})>1$，那麼我們說${\color {blue}{\hat {\theta }}}$ 比 ${\color {red}{\tilde {\theta }}}$相對更有效。

備註。

• 由於$\operatorname {Eff} ({\color {blue}{\hat {\theta }}},{\color {red}{\tilde {\theta }}})>1\Leftrightarrow \operatorname {Var} ({\color {blue}{\hat {\theta }}})<\operatorname {Var} ({\color {red}{\tilde {\theta }}})$，具有較小方差的估計量相對於具有較大方差的估計量來說，效率更高。
• 通常情況下，方差應該是非零的，因此在正常情況下應定義效率。
• 有時，它也被稱為相對效率，因為效率描述了$\operatorname {Var} ({\color {red}{\tilde {\theta }}})$ 等於“多少”個$\operatorname {Var} ({\color {blue}{\hat {\theta }}})$。
• 有人可能會問，為什麼我們在定義中使用方差的比值來比較方差，而不是使用方差的差值。一個可能的原因是，方差的比值沒有任何單位（如果存在，方差的單位相互抵消），但方差的差值可能會有單位。此外，使用方差的比值允許我們對從不同方差計算出的不同效率進行數值比較。

實際上，對於無偏估計量的方差，由於無偏估計量的均值是未知引數$\theta$，它衡量了與$\theta$偏差的平方值的均值，並且我們對此偏差有一個特定的術語，即均方誤差 (MSE)。

定義。（均方誤差）假設${\hat {\theta }}$ 是引數$\theta$ 的一個估計量。${\hat {\theta }}$ 的均方誤差 (MSE) 為$\operatorname {MSE} ({\hat {\theta }})=\mathbb {E} [({\hat {\theta }}-\theta )^{2}]$。

備註。

• 根據此定義，$\operatorname {MSE} ({\hat {\theta }})$ 是${\hat {\theta }}-\theta$ 的誤差的平方的均值，因此得名均方誤差。

注意，在 MSE 的定義中，我們沒有規定${\hat {\theta }}$ 必須是無偏估計量。因此，定義中的${\hat {\theta }}$ 可能是存在偏差的。我們已經提到，當${\hat {\theta }}$ 是無偏的時，它的方差實際上就是它的 MSE。在下文中，我們將給出$\operatorname {MSE} ({\hat {\theta }})$ 和$\operatorname {Var} ({\hat {\theta }})$ 之間更一般的關係，而不僅僅是針對無偏估計量。

命題. （均方誤差與方差之間的關係）如果$\operatorname {Var} ({\hat {\theta }})$ 存在，則$\operatorname {MSE} ({\hat {\theta }})=\operatorname {Var} ({\hat {\theta }})+[\operatorname {Bias} ({\hat {\theta }})]^{2}$。

Proof. By definition, we have $\operatorname {MSE} ({\hat {\theta }})=\mathbb {E} [({\hat {\theta }}-\theta )^{2}]$ and $\operatorname {Var} ({\hat {\theta }})=\mathbb {E} \left[({\hat {\theta }}-\mathbb {E} [{\hat {\theta }}])^{2}\right]$. From these, we are motivated to write $${\begin{aligned}\operatorname {MSE} ({\hat {\theta }})&=\mathbb {E} [({\hat {\theta }}-\theta )^{2}]\\&=\mathbb {E} \left[{\big (}({\hat {\theta }}-{\color {darkgreen}\mathbb {E} [{\hat {\theta }}]})+({\color {darkgreen}\mathbb {E} [{\hat {\theta }}]}-\theta ){\big )}^{2}\right]\\&=\mathbb {E} [({\hat {\theta }}-{\color {darkgreen}\mathbb {E} [{\hat {\theta }}]})^{2}+2({\hat {\theta }}-{\color {darkgreen}\mathbb {E} [{\hat {\theta }}]})\underbrace {({\color {darkgreen}\mathbb {E} [{\hat {\theta }}]}-\theta )} _{\text{constant}}+({\color {darkgreen}\mathbb {E} [{\hat {\theta }}]}-\theta )^{2}]\\&=\operatorname {Var} ({\hat {\theta }})+2({\color {darkgreen}\mathbb {E} [{\hat {\theta }}]}-\theta )\underbrace {\mathbb {E} [{\hat {\theta }}-{\color {darkgreen}\mathbb {E} [{\hat {\theta }}]}]} _{=\mathbb {E} [{\hat {\theta }}]-{\color {darkgreen}\mathbb {E} [{\hat {\theta }}]}=0}+[\operatorname {Bias} ({\hat {\theta }})]^{2}\\&=\operatorname {Var} ({\hat {\theta }})+[\operatorname {Bias} ({\hat {\theta }})]^{2},\end{aligned}}$$ as desired.

$\Box$

示例. 令$X_{1},\dotsc ,X_{n}$（$n>1$）是從${\mathcal {N}}(\mu ,\sigma ^{2})$ 中抽取的隨機樣本。

（a）證明單觀測估計量$X_{1}$ 是$\mu$ 的無偏估計量。

（b）分別計算$X_{1}$ 和${\overline {X}}$ 的 MSE。

（c）在無偏性和效率方面，哪個估計量$X_{1}$ 或${\overline {X}}$ 是$\mu$ 的更好估計量？

解答:

(a) 由於$\mathbb {E} [X_{1}]=\mu$，因此結果成立。

(b) $\operatorname {MSE} (X_{1})=\operatorname {Var} (X_{1})+0^{2}=\sigma ^{2}$，以及$\operatorname {MSE} ({\overline {X}})=\operatorname {Var} ({\overline {X}})={\frac {1}{n^{2}}}\sum _{i=1}^{n}\operatorname {Var} (X_{i})={\frac {n\sigma ^{2}}{n^{2}}}={\frac {\sigma ^{2}}{n}}$。

(c) 由於$\operatorname {MSE} ({\overline {X}})<\operatorname {MSE} (X_{1})\Leftrightarrow \operatorname {Var} ({\overline {X}})<\operatorname {Var} (X_{1})$，${\overline {X}}$ 相對而言比 $X_{1}$ 更有效。由於 $X_{1}$ 和 ${\overline {X}}$ 都是 $\mu$ 的無偏估計量，我們得出結論：就無偏性和有效性而言，${\overline {X}}$ 是 $\mu$ 的一個更好的估計量。

練習。 除了示例中樣本量為$n$ 的隨機樣本外，假設我們再取一個樣本量為$m$ 的隨機樣本。令${\overline {X}}^{(n)}$ 和 ${\overline {X}}^{(m)}$ 分別表示樣本量為$n$ 和 $m$ 的樣本的樣本均值。

(a) 計算 $\operatorname {Eff} \left({\overline {X}}^{(n)},{\overline {X}}^{(m)}\right)$。

(b) 說明樣本量 $m$ 和 $n$ 滿足的條件，在此條件下，${\overline {X}}^{(m)}$ 相對於 ${\overline {X}}^{(n)}$ 更有效。

解答

(a) 由於 $\operatorname {Var} \left({\overline {X}}^{(n)}\right)={\frac {\sigma ^{2}}{n}}$（來自示例），並且 $\operatorname {Var} \left({\overline {X}}^{(m)}\right)={\frac {\sigma ^{2}}{m}}$（透過與示例中類似的論證），$$\operatorname {Eff} \left({\overline {X}}^{(n)},{\overline {X}}^{(m)}\right)={\frac {\sigma ^{2}/m}{\sigma ^{2}/n}}={\frac {n}{m}}$$。

(b) 由於 ${\frac {n}{m}}>1\Leftrightarrow n>m$，條件是 $n>m$。

備註。

• 這表明，樣本量更大的樣本均值相對於樣本量較小的樣本均值更有效。

命題。 $\lim _{n\to \infty }\operatorname {MSE} ({\hat {\theta }})=0$ 當且僅當 $\lim _{n\to \infty }\operatorname {Var} ({\hat {\theta }})=0$ 且 $\lim _{n\to \infty }\operatorname {Bias} ({\hat {\theta }})=0$。

證明。

• “如果”部分很簡單。假設$\lim _{n\to \infty }\operatorname {Var} ({\hat {\theta }})=0$ 且 $\lim _{n\to \infty }\operatorname {Bias} ({\hat {\theta }})=0$。那麼，$\lim _{n\to \infty }(\operatorname {Var} ({\hat {\theta }})+(\operatorname {Bias} ({\hat {\theta }}))^{2})=0\Rightarrow \lim _{n\to \infty }\operatorname {MSE} ({\hat {\theta }})=0$。
• “僅當”部分：我們可以使用逆否證法，即證明如果$\lim _{n\to \infty }\operatorname {Var} ({\hat {\theta }})\neq 0$ 或 $\lim _{n\to \infty }\operatorname {Bias} ({\hat {\theta }})=0$，那麼$\lim _{n\to \infty }\operatorname {MSE} ({\hat {\theta }})\neq 0$。

• 情況 1：當$\lim _{n\to \infty }\operatorname {Var} ({\hat {\theta }})\neq 0$時，這意味著$\lim _{n\to \infty }\operatorname {Var} ({\hat {\theta }})>0$，因為方差是非負的。此外，$\lim _{n\to \infty }(\operatorname {Bias} ({\hat {\theta }}))^{2}\geq 0$。由此可知$\lim _{n\to \infty }\operatorname {MSE} ({\hat {\theta }})>0$，即 MSE 不等於零。

• 案例 2：當 $\lim _{n\to \infty }\operatorname {Bias} ({\hat {\theta }})\neq 0$ 時，這意味著 $\lim _{n\to \infty }(\operatorname {Bias} ({\hat {\theta }}))^{2}>0$。此外，$\lim _{n\to \infty }\operatorname {Var} ({\hat {\theta }})\geq 0$。由此可得 $\lim _{n\to \infty }\operatorname {MSE} ({\hat {\theta }})>0$，即 MSE 不等於零。

$\Box$

備註。

• 因此，如果我們知道 $\lim _{n\to \infty }\operatorname {MSE} ({\hat {\theta }})=0$，那麼我們就知道 $\lim _{n\to \infty }\operatorname {Bias} ({\hat {\theta }})=0$，即 ${\hat {\theta }}$ 是一個漸近無偏估計量（此外 $\lim _{n\to \infty }\operatorname {Var} ({\hat {\theta }})=0$）（${\hat {\theta }}$ 可能 是一個無偏估計量）。

一致最小方差無偏估計量

現在，我們知道無偏估計量的方差越小，其效率（和“更好”）就越高。因此，我們自然想知道什麼是最有效的（即“最佳”）無偏估計量，即方差最小的無偏估計量。對於這種無偏估計量，我們有一個特定的名稱，即一致最小方差無偏估計量 (UMVUE) 。更準確地說，我們對 UMVUE 有以下定義

定義。（一致最小方差無偏估計量）一致最小方差無偏估計量 (UMVUE) 是在所有無偏估計量中具有最小方差的無偏估計量。

事實上，UMVUE 是唯一的，即在所有無偏估計量中，只有一個無偏估計量具有最小方差，我們將在下面證明這一點。

命題.（UMVUE 的唯一性）如果$W$是引數$\tau (\theta )$的函式的UMVUE，則$W$是唯一的。

證明.假設$W$是$\tau (\theta )$的UMVUE，並且$W'$是$\tau (\theta )$的另一個UMVUE。定義估計量$W^{*}={\frac {1}{2}}(W+W')$。由於$\mathbb {E} [W^{*}]={\frac {1}{2}}(\mathbb {E} [W]+\mathbb {E} [W'])={\frac {1}{2}}(\tau (\theta +\theta )=\tau (\theta )$，$W^{*}$是$\tau (\theta )$的無偏估計量。

Now, we consider the variance of $W^{*}$. $${\begin{aligned}\operatorname {Var} (W^{*})&={\frac {1}{4}}\operatorname {Var} (W+W')\\&={\frac {1}{4}}\left[\operatorname {Var} (W)+\operatorname {Var} (W')+2\operatorname {Cov} (W,W')\right]\\&\leq {\frac {1}{4}}\operatorname {Var} (W)+{\frac {1}{4}}\operatorname {Var} (W')+{\frac {1}{2}}{\sqrt {\operatorname {Var} (W)\operatorname {Var} (W')}}&({\text{covariance inequality}})\\&={\frac {1}{4}}\operatorname {Var} (W)+{\frac {1}{4}}\operatorname {Var} (W)+{\frac {1}{2}}{\sqrt {(\operatorname {Var} (W))^{2}}}&(\operatorname {Var} (W)=\operatorname {Var} (W'){\text{ since }}W{\text{ and }}W'{\text{ are both UMVUE}})\\&={\frac {1}{2}}\operatorname {Var} (W)+{\frac {1}{2}}\operatorname {Var} (W)&(\operatorname {Var} (W)>0)\\&=\operatorname {Var} (W).\end{aligned}}$$ Thus, we now have either $\operatorname {Var} (W^{*})<\operatorname {Var} (W)$ or $\operatorname {Var} (W^{*})=\operatorname {Var} (W)$. If the former is true, then $W$ is not an UMVUE of $\tau (\theta )$ by definition, since we can find another unbiased estimator, namely $W^{*}$, with smaller variance than it. Hence, we must have the latter, i.e., $$\operatorname {Var} (W^{*})=\operatorname {Var} (W).$$ This implies when we apply the covariance inequality, the equality holds, i.e., $$\operatorname {Cov} (W,W')={\sqrt {\operatorname {Var} (W)\operatorname {Var} (W')}}\iff \rho (W',W)=1,$$ which means $W'$ is increasing linearly with $W$, i.e., we can write $$W'=aW+b$$ for some constants $a>0$ and $b$.

現在，我們考慮協方差$\operatorname {Cov} (W,W')$。$$\operatorname {Cov} (W,W'){\overset {\text{ above }}{=}}\operatorname {Cov} (W,aW+b){\overset {\text{ properties }}{=}}a\operatorname {Cov} (W,W){\overset {\text{ property }}{=}}a\operatorname {Var} (W).$$另一方面，由於協方差不等式中存在等號，並且$\operatorname {Var} (W)=\operatorname {Var} (W')$（因為它們都是UMVUE），$$\operatorname {Cov} (W,W')={\sqrt {\operatorname {Var} (W)\operatorname {Var} (W')}}={\sqrt {(\operatorname {Var} (W))^{2}}}=\operatorname {Var} (W).$$因此，我們有$a=1$。

接下來需要證明$b=0$，以證明$W=W'$，從而得出結論$W$是唯一的。

從上面，我們現在有$W'=W+b\implies \mathbb {E} [W']=\mathbb {E} [W]+b\implies \tau (\theta )=\tau (\theta )+b\implies b=0$，如預期的那樣。

$\Box$

備註。

• 因此，當我們能夠找到一個UMVUE時，它就是唯一的，並且任何其他可能的無偏估計量的方差都嚴格大於UMVUE的方差。

克拉美-羅下界

在不使用一些結果的情況下，確定UMVUE是相當困難的，因為存在許多（甚至可能是無限多個）可能的無偏估計量，因此很難確保一個特定的無偏估計量相對於所有其他可能的無偏估計量更有效。

因此，我們將介紹一些有助於我們找到UMVUE的方法。對於第一種方法，我們找到所有可能的無偏估計量的方差的下界。在獲得這樣的下界後，如果我們能找到一個方差正好等於下界的無偏估計量，那麼該下界就是方差的最小值，因此根據定義，這樣的無偏估計量就是UMVUE。

備註。

• 存在許多可能的下界，但是當界限越大時，它就越接近方差的實際最小值，因此“更好”。
• 即使無偏估計量的方差沒有達到下界，它仍然可以是UMVUE。

找到這樣的下界的一種常見方法是使用克拉美-羅下界（CRLB），並且我們透過克拉美-羅不等式得到CRLB。在陳述不等式之前，讓我們定義一些相關的術語。

定義。（費舍爾資訊）關於引數$\theta$且樣本量為$n$的費舍爾資訊為$${\mathcal {I}}_{n}(\theta )=\mathbb {E} \left[\left({\frac {\partial \ln {\mathcal {L}}({\boldsymbol {\theta }};\mathbf {X} )}{\partial \theta }}\right)^{2}\right]$$，其中$\ln {\mathcal {L}}({\boldsymbol {\theta }};\mathbf {X} )=\ln {\mathcal {L}}({\boldsymbol {\theta }};X_{1},\dotsc ,X_{n})$是似然函式的對數（作為隨機變數）。

備註。

• ${\frac {\partial \ln {\mathcal {L}}({\boldsymbol {\theta }};\mathbf {X} )}{\partial \theta }}$稱為得分函式，記為$S(\theta ;\mathbf {X} )$。
• “${\boldsymbol {\theta }}$”可能是也可能不是一個引數向量。如果它只是一個單個引數（通常情況下），那麼它與“$\theta$”相同。我們使用“${\boldsymbol {\theta }}$”而不是“$\theta$”是為了強調${\mathcal {I}}_{n}(\theta )$和$S(\theta ;\mathbf {X} )$中的“$\theta$”指的是${\frac {\partial }{\partial \theta }}$中的“$\theta$”。
• 可以定義“關於引數向量的費歇爾資訊”，但在這種情況下，費歇爾資訊採用矩陣的形式而不是單個數字，它被稱為費歇爾資訊矩陣。然而，由於它比較複雜，我們這裡不討論它。
• 由於得分函式的期望值為

$$\mathbb {E} [S(\theta ;\mathbf {X} )]\mathbb {E} \left[{\frac {\partial \ln {\mathcal {L}}({\boldsymbol {\theta }};\mathbf {X} )}{\partial \theta }}\right]=\int _{-\infty }^{\infty }\dotsi \int _{-\infty }^{\infty }{\frac {\partial \ln {\mathcal {L}}({\boldsymbol {\theta }};\mathbf {x} )}{\partial \theta }}\cdot {\mathcal {L}}({\boldsymbol {\theta }};\mathbf {x} )\,dx_{n}\cdots \,dx_{1}=\int _{-\infty }^{\infty }\dotsi \int _{-\infty }^{\infty }{\frac {\frac {\partial {\mathcal {L}}({\boldsymbol {\theta }};\mathbf {x} )}{\partial \theta }}{{\mathcal {L}}({\boldsymbol {\theta }};\mathbf {x} )}}\cdot {\mathcal {L}}({\boldsymbol {\theta }};\mathbf {x} )\,dx_{n}\cdots \,dx_{1}=\int _{-\infty }^{\infty }\dotsi \int _{-\infty }^{\infty }{\frac {\partial {\mathcal {L}}({\boldsymbol {\theta }};\mathbf {x} )}{\partial \theta }}\,dx_{n}\cdots \,dx_{1},$$

並且，在允許導數和積分交換的一些正則條件下，這等於 ${\frac {\partial }{\partial \theta }}\int _{-\infty }^{\infty }\dotsi \int _{-\infty }^{\infty }{\mathcal {L}}({\boldsymbol {\theta }};\mathbf {x} )\,dx_{n}\cdots \,dx_{1}={\frac {\partial }{\partial \theta }}(1)=0$，關於 $\theta$ 的費雪資訊也是得分函式的方差，即 $\operatorname {Var} (S(\theta ;\mathbf {X} ))=\operatorname {Var} \left({\frac {\partial \ln {\mathcal {L}}({\boldsymbol {\theta }};\mathbf {X} )}{\partial \theta }}\right)$。

對於允許導數和積分交換的正則條件，它們包括

1. 所涉及的偏導數應該存在，即所涉及函式的（自然對數）是可微的
2. 所涉及的積分應該是可微的
3. 支援域不依賴於所涉及的引數

我們有一些結果可以幫助我們計算費雪資訊。

命題. 令 $X_{1},\dotsc ,X_{n}$ 為來自具有機率密度函式或機率質量函式 $f$ 的分佈的隨機樣本。此外，令 ${\mathcal {I}}(\theta )=\mathbb {E} \left[\left({\frac {\partial \ln f(X;{\boldsymbol {\theta }})}{\partial \theta }}\right)^{2}\right]$，為樣本量為一的關於 $\theta$ 的Fisher資訊。然後，在允許導數和積分交換的一些正則性條件下，${\mathcal {I}}_{n}(\theta )=n{\mathcal {I}}(\theta )$。

證明。 $${\begin{aligned}{\mathcal {I}}_{n}(\theta )&=\mathbb {E} \left[\left({\frac {\partial \ln {\mathcal {L}}({\boldsymbol {\theta }};\mathbf {x} )}{\partial \theta }}\right)^{2}\right]\\&=\operatorname {Var} \left({\frac {\partial \ln {\mathcal {L}}({\boldsymbol {\theta }};\mathbf {x} )}{\partial \theta }}\right)&{\text{根據以上說明}}\\&=\operatorname {Var} \left({\frac {\partial }{\partial \theta }}\left(\ln \prod _{i=1}^{n}f(X_{i};{\boldsymbol {\theta }})\right)\right)&\left({\mathcal {L}}(\theta ;\mathbf {x} )=\prod _{i=1}^{n}f(x_{i};\theta )\right)\\&=\operatorname {Var} \left({\frac {\partial }{\partial \theta }}\left(\sum _{i=1}^{n}\ln f(X_{i};{\boldsymbol {\theta }})\right)\right)\\&=\operatorname {Var} \left(\sum _{i=1}^{n}{\frac {\partial }{\partial \theta }}\ln f(X_{i};{\boldsymbol {\theta }})\right)&{\text{根據微分的線性性質}}\\&=\sum _{i=1}^{n}\operatorname {Var} \left({\frac {\partial }{\partial \theta }}\ln f(X_{i};{\boldsymbol {\theta }})\right)&{\text{根據獨立性}}\\&=n\operatorname {Var} \left({\frac {\partial }{\partial \theta }}\ln f(X_{i};{\boldsymbol {\theta }})\right)&{\text{根據同分布性}}\\&=n\mathbb {E} \left[\left({\frac {\partial \ln f(X;{\boldsymbol {\theta }})}{\partial \theta }}\right)^{2}\right]&{\text{根據以上說明}}\\&=n{\mathcal {I}}(\theta ).\end{aligned}}$$

$\Box$

命題。 在允許導數和積分交換的一些正則條件下， ${\mathcal {I}}(\theta )=-\mathbb {E} \left[{\frac {\partial ^{2}\ln f(X;{\boldsymbol {\theta }})}{\partial \theta ^{2}}}\right]$。

Proof. $${\begin{aligned}\mathbb {E} \left[{\frac {\partial ^{2}\ln f(X;{\boldsymbol {\theta }})}{\partial \theta ^{2}}}\right]&=\mathbb {E} \left[{\frac {\partial }{\partial \theta }}\left({\frac {\partial \ln f(X;{\boldsymbol {\theta }})}{\partial \theta }}\right)\right]\\&=\mathbb {E} \left[{\frac {\partial }{\partial \theta }}\left({\frac {1}{f(X;{\boldsymbol {\theta }})}}\cdot {\frac {\partial f(X;{\boldsymbol {\theta }})}{\partial \theta }}\right)\right]\\&=\mathbb {E} \left[{\frac {1}{f(X;{\boldsymbol {\theta }})}}\cdot {\frac {\partial ^{2}f(X;{\boldsymbol {\theta }})}{\partial \theta ^{2}}}-{\frac {\partial f(X;{\boldsymbol {\theta }})}{\partial \theta }}\cdot {\frac {1}{(f(X;{\boldsymbol {\theta }}))^{2}}}\cdot {\frac {\partial f(X;{\boldsymbol {\theta }})}{\partial \theta }}\right]\\&=\mathbb {E} \left[{\frac {1}{f(X;{\boldsymbol {\theta }})}}\cdot {\frac {\partial ^{2}f(X;{\boldsymbol {\theta }})}{\partial \theta ^{2}}}-\left({\frac {\partial f(X;{\boldsymbol {\theta }})}{\partial \theta }}\right)^{2}\cdot {\frac {1}{(f(X;{\boldsymbol {\theta }}))^{2}}}\right]\\&=\mathbb {E} \left[{\frac {1}{f(X;{\boldsymbol {\theta }})}}\cdot {\frac {\partial ^{2}f(X;{\boldsymbol {\theta }})}{\partial \theta ^{2}}}\right]-\mathbb {E} \left[\left({\frac {\partial \ln f(X;{\boldsymbol {\theta }})}{\partial \theta }}\right)^{2}\right]\\&=\mathbb {E} \left[{\frac {1}{f(X;{\boldsymbol {\theta }})}}\cdot {\frac {\partial ^{2}f(X;{\boldsymbol {\theta }})}{\partial \theta ^{2}}}\right]-{\mathcal {I}}(\theta )\\\end{aligned}}$$ Now, it suffices to prove that $\mathbb {E} \left[{\frac {1}{f(X;{\boldsymbol {\theta }})}}\cdot {\frac {\partial ^{2}f(X;{\boldsymbol {\theta }})}{\partial \theta ^{2}}}\right]=0$, which is true since $${\begin{aligned}\mathbb {E} \left[{\frac {1}{f(X;{\boldsymbol {\theta }})}}\cdot {\frac {\partial ^{2}f(X;{\boldsymbol {\theta }})}{\partial \theta ^{2}}}\right]&=\int _{-\infty }^{\infty }{\frac {1}{f(x;{\boldsymbol {\theta }})}}\cdot {\frac {\partial ^{2}f(x;{\boldsymbol {\theta }})}{\partial \theta ^{2}}}\cdot f(x;{\boldsymbol {\theta }})\,dx\\&=\int _{-\infty }^{\infty }{\frac {\partial ^{2}f(x;{\boldsymbol {\theta }})}{\partial \theta ^{2}}}\,dx\\&={\frac {\partial ^{2}}{\partial \theta ^{2}}}\int _{-\infty }^{\infty }f(x;{\boldsymbol {\theta }})\,dx\\&={\frac {\partial ^{2}}{\partial \theta ^{2}}}(1)\\&=0.\\\end{aligned}}$$

$\Box$

備註。

• 這個命題非常有用，因為在對 $\ln f(X;{\boldsymbol {\theta }})$進行偏微分後，許多 $X$很可能會消失，從而使期望值的計算變得更容易。

定理. (克拉美-拉奧不等式) 令 $X_{1},\dotsc ,X_{n}$ 為來自某個分佈的隨機樣本，並令 $W$ 為 $\tau (\theta )$（$\theta$ 的一個函式）的無偏估計量。然後，在允許交換導數和積分的一些正則性條件下，$\operatorname {Var} (W)\geq {\frac {(\tau '(\theta ))^{2}}{{\mathcal {I}}_{n}(\theta )}}$。

Proof. Since $W$ is an unbiased estimator of $\tau (\theta )$, we have by definition $\mathbb {E} [W]=\tau (\theta )$. By definition of expectation, we have $\mathbb {E} [W]=\int _{-\infty }^{\infty }\dotsi \int _{-\infty }^{\infty }w{\mathcal {L}}(\theta ;\mathbf {x} )\,dx_{n}\cdots \,dx_{1}$ where ${\mathcal {L}}(\theta ;\mathbf {x} )$ is the likelihood function. Thus, $${\begin{aligned}&&\int _{-\infty }^{\infty }\dotsi \int _{-\infty }^{\infty }w{\mathcal {L}}(\theta ;\mathbf {x} )\,dx_{n}\cdots \,dx_{1}&=\tau (\theta )\\&\Rightarrow &{\frac {\partial }{\partial \theta }}\int _{-\infty }^{\infty }\dotsi \int _{-\infty }^{\infty }w{\mathcal {L}}(\theta ;\mathbf {x} )\,dx_{n}\cdots \,dx_{1}&={\frac {\partial }{\partial \theta }}\tau (\theta )\\&\Rightarrow &\int _{-\infty }^{\infty }\dotsi \int _{-\infty }^{\infty }{\frac {\partial }{\partial \theta }}\left(w{\mathcal {L}}(\theta ;\mathbf {x} )\right)\,dx_{n}\cdots \,dx_{1}&=\tau '(\theta )\\&\Rightarrow &\int _{-\infty }^{\infty }\dotsi \int _{-\infty }^{\infty }w{\frac {\partial }{\partial \theta }}\left({\mathcal {L}}(\theta ;\mathbf {x} )\right)\cdot {\frac {1}{{\mathcal {L}}(\theta ;\mathbf {x} )}}\cdot {\mathcal {L}}(\theta ;\mathbf {x} )\,dx_{n}\cdots \,dx_{1}&=\tau '(\theta )\\&\Rightarrow &\int _{-\infty }^{\infty }\dotsi \int _{-\infty }^{\infty }w{\frac {\partial \ln {\mathcal {L}}(\theta ;\mathbf {x} )}{\partial \theta }}{\mathcal {L}}(\theta ;\mathbf {x} )\,dx_{n}\cdots \,dx_{1}&=\tau '(\theta )\\&\Rightarrow &\mathbb {E} \left[W\cdot {\frac {\partial \ln {\mathcal {L}}(\theta ;\mathbf {x} )}{\partial \theta }}\right]&=\tau '(\theta )\\&\Rightarrow &\mathbb {E} \left[WS(\theta ;\mathbf {X} )\right]&=\tau '(\theta )&\left(S(\theta ;\mathbf {X} )={\frac {\partial \ln {\mathcal {L}}(\theta ;\mathbf {x} )}{\partial \theta }}\right)\\&\Rightarrow &\mathbb {E} \left[WS(\theta ;\mathbf {X} )\right]-\mathbb {E} [W]\underbrace {\mathbb {E} [S(\theta ;\mathbf {X} )]} _{=0}&=\tau '(\theta )&(\mathbb {E} [S(\theta ;\mathbf {X} )]=0{\text{ by remark about Fisher information}})\\&\Rightarrow &\operatorname {Cov} (W,S(\theta ;\mathbf {X} ))&=\tau '(\theta )\\\end{aligned}}$$ Consider the covariance inequality: $(\operatorname {Cov} (X,Y))^{2}\leq \operatorname {Var} (X)\operatorname {Var} (Y)$. We have $${\big (}\operatorname {Cov} (W,S(\theta ;\mathbf {X} )){\big )}^{2}\leq \operatorname {Var} (W)\operatorname {Var} (S(\theta ;\mathbf {X} ))\implies (\tau '(\theta ))^{2}\leq \operatorname {Var} (W)\operatorname {Var} (S(\theta ;\mathbf {X} ))\implies \operatorname {Var} (W)\geq {\frac {(\tau '(\theta ))^{2}}{\operatorname {Var} (S(\theta ;\mathbf {X} ))}}={\frac {(\tau '(\theta ))^{2}}{{\mathcal {I}}_{n}(\theta )}}.$$ (${\mathcal {I}}_{n}(\theta )=\operatorname {Var} (S(\theta ;\mathbf {X} ))$ by remark about Fisher information)

$\Box$

備註。

• ${\frac {(\tau '(\theta ))^{2}}{{\mathcal {I}}_{n}(\theta )}}$ 稱為 克拉美-拉奧下界 (CRLB)。
• 當 $\tau (\theta )=\theta$ 時，這意味著 $W$ 是 $\theta$ 的無偏估計量，因為 $(\tau '(\theta ))^{2}=1^{2}=1$，CRLB 變為 ${\frac {1}{{\mathcal {I}}_{n}(\theta )}}$。

示例. 令 $X_{1},\dotsc ,X_{n}$ 為來自正態分佈 ${\mathcal {N}}(\mu ,\sigma ^{2})$ 的隨機樣本。證明 $\mu$ 的最大似然估計量 ${\overline {X}}$ 是 $\mu$ 的一致最小方差無偏估計量 (UMVUE)。

證明。 首先，我們可以看到在這種情況下滿足正則條件。因此，我們可以考慮$\mu$的CRLB，如下所示。由於$$\ln f(X;\mu ,\sigma ^{2})=\ln {\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp \left(-{\frac {(X-\mu )^{2}}{2\sigma ^{2}}}\right)=-{\frac {1}{2}}(\ln 2\pi \sigma ^{2})-{\frac {(X-\mu )^{2}}{2\sigma ^{2}}}=-{\frac {1}{2}}(\ln 2\pi \sigma ^{2})-{\frac {X^{2}-2\mu X+\mu ^{2}}{2\sigma ^{2}}},$$ 我們有$${\mathcal {I}}(\mu )=-\mathbb {E} \left[{\frac {\partial ^{2}}{\partial \mu ^{2}}}\left(-{\frac {1}{2}}(\ln 2\pi \sigma ^{2})-{\frac {X^{2}-2\mu X+\mu ^{2}}{2\sigma ^{2}}}\right)\right]=-\mathbb {E} \left[{\frac {\partial }{\partial \mu }}\left(-{\frac {-2X+2\mu }{2\sigma ^{2}}}\right)\right]=-\mathbb {E} \left[-\left({\frac {2}{2\sigma ^{2}}}\right)\right]=-\mathbb {E} [\underbrace {-{\frac {1}{\sigma ^{2}}}} _{{\text{constant wrt }}X}]={\frac {1}{\sigma ^{2}}}.$$ 因此，$\mu$的CRLB為${\frac {1}{n{\mathcal {I}}(\mu )}}={\frac {1}{n(1/\sigma ^{2})}}={\frac {\sigma ^{2}}{n}}$。

另一方面，${\overline {X}}$ 的方差是 $\operatorname {Var} ({\overline {X}})={\frac {\sigma ^{2}}{n}}$（這在前面的例子中已經展示過），它等於 $\mu$ 的 CRLB。由此可知，${\overline {X}}$ 是 $\mu$ 的一個 UMVUE。

$\Box$

練習。 一名學生聲稱 ${\frac {X_{1}}{\sqrt {n}}}$ 是 $\mu$ 的另一個 UMVUE，因為 $\operatorname {Var} \left({\frac {X_{1}}{\sqrt {n}}}\right)={\frac {\sigma ^{2}}{({\sqrt {n}})^{2}}}={\frac {\sigma ^{2}}{n}}$，也等於 $\mu$ 的 CRLB。這個說法正確嗎？為什麼？

解答

回想一下，UMVUE 是一個無偏估計量。

這個說法是錯誤的，因為 ${\frac {X_{1}}{\sqrt {n}}}$ 通常不是一個無偏估計量。這是因為 $\mathbb {E} \left[{\frac {X_{1}}{\sqrt {n}}}\right]={\frac {\mu }{\sqrt {n}}}\neq \mu$，除非 $n=1$。但如果 $n=1$，那麼這個估計量就簡化為 $X_{1}$，這與 ${\overline {X}}={\frac {X_{1}}{1}}=X_{1}$ 完全相同。因此，在這種情況下，該估計量不是另一個 UMVUE。

有時，我們無法使用 CRLB 方法來尋找 UMVUE，因為

• 正則條件可能不滿足，因此我們無法使用克拉美-拉奧不等式，以及
• 無偏估計量的方差可能不等於 CRLB，但我們不能由此得出它不是 UMVUE 的結論，因為 CRLB 可能根本無法達到，並且所有無偏估計量中最小的方差實際上是該估計量的方差，它大於 CRLB。

我們將在下面舉例說明這兩種情況。

示例。 令$X_{1},\dotsc ,X_{n}$ 為來自均勻分佈${\mathcal {U}}[0,\beta ]$ 的一個隨機樣本。如果我們想要找到$\beta$ 的UMVUE，我們不能使用Cramer-Rao不等式來找到它，因為支援$[0,\beta ]$ 取決於引數$\beta$。

示例。 令$X_{1},\dotsc ,X_{n}$ 為來自正態分佈${\mathcal {N}}(\mu ,\sigma ^{2})$ 的一個隨機樣本。已知在這種情況下，${\frac {nS^{2}}{\sigma ^{2}}}\sim \chi _{n-1}^{2}$，其中$\chi _{k}^{2}$ 是具有$k$ 自由度的卡方分佈，其方差為$2k$。計算$\operatorname {Var} \left({\frac {n}{n-1}}\cdot S^{2}\right)$，以及$\sigma ^{2}$ 的CRLB。

解：根據給定資訊，我們有$$\operatorname {Var} \left({\frac {nS^{2}}{\sigma ^{2}}}\right)=2(n-1)\implies {\frac {n^{2}}{\sigma ^{4}}}\operatorname {Var} (S^{2})=2(n-1)\implies \operatorname {Var} (S^{2})={\frac {2(n-1)\sigma ^{4}}{n^{2}}}.$$ 因此，$\operatorname {Var} \left({\frac {n}{n-1}}\cdot S^{2}\right)={\frac {n^{2}}{(n-1)^{2}}}\cdot {\frac {2(n-1)\sigma ^{4}}{n^{2}}}={\frac {2\sigma ^{4}}{n-1}}$。

另一方面，由於$${\begin{aligned}{\mathcal {I}}(\theta )&=-\mathbb {E} \left[{\frac {\partial ^{2}}{\partial (\sigma )^{2}}}\left(-{\frac {1}{2}}(\ln 2\pi \sigma ^{2})-{\frac {(X-\mu )^{2}}{2\sigma ^{2}}}\right)\right]\\&=-\mathbb {E} \left[{\frac {\partial }{\partial \sigma }}\left(-{\frac {4\pi \sigma }{2(2\pi \sigma ^{2}}}+{\frac {(X-\mu )^{2}}{\sigma ^{3}}}\right)\right]\\&=-\mathbb {E} \left[{\frac {\partial }{\partial \sigma }}\left(-{\frac {1}{\sigma }}+{\frac {(X-\mu )^{2}}{\sigma ^{3}}}\right)\right]\\&=-\mathbb {E} \left[{\frac {1}{\sigma ^{2}}}-{\frac {3(X-\mu )^{2}}{\sigma ^{4}}}\right]\\&=-{\frac {1}{\sigma ^{2}}}+{\frac {3}{\sigma ^{4}}}\mathbb {E} [(X-\mu )^{2}]\\&=-{\frac {1}{\sigma ^{2}}}+{\frac {3}{\sigma ^{4}}}\cdot \sigma ^{2}\\&={\frac {2}{\sigma ^{2}}},\\\end{aligned}}$$ 和 $\left({\frac {d}{d\sigma }}\sigma ^{2}\right)^{2}=(2\sigma )^{2}=4\sigma ^{2}$，$\sigma ^{2}$ 的 CRLB 為 $${\frac {4\sigma ^{2}}{2n/\sigma ^{2}}}={\frac {2\sigma ^{4}}{n}}.$$

備註。

• ${\frac {n}{n-1}}\cdot S^{2}$ 是 $\sigma ^{2}$ 的無偏估計量，因為 $\mathbb {E} \left[{\frac {n}{n-1}}\cdot S^{2}\right]={\frac {n}{n-1}}\left({\frac {n-1}{n}}\sigma ^{2}\right)=\sigma ^{2}$。

• 我們可以觀察到$\operatorname {Var} \left({\frac {n}{n-1}}\cdot S^{2}\right)$大於CRLB。但這是否意味著${\frac {n}{n-1}}\cdot S^{2}$不是$\sigma ^{2}$的UMVUE？我們不知道，因為我們不確定是否存在另一個無偏估計量，其方差小於$\operatorname {Var} \left({\frac {n}{n-1}}\cdot S^{2}\right)$，並且CRLB可能無法達到。

由於CRLB有時可以達到，有時無法達到，因此很自然地會提出這樣的問題：何時可以達到CRLB。換句話說，我們想知道CRLB的可達條件，這些條件在以下推論中給出。

推論.（CRLB的可達條件）令$X_{1},\dotsc ,X_{n}$是從某個分佈中抽取的隨機樣本，並令$W$是$\tau (\theta )$的無偏估計量。假設Cramer-Rao不等式的正則條件滿足。則CRLB可以達到，即存在某個$W$使得$\operatorname {Var} (W)={\frac {(\tau '(\theta ))^{2}}{{\mathcal {I}}_{n}(\theta )}}$，當且僅當$$k(W-\tau (\theta ))=S(\theta ;\mathbf {X} )$$，其中$S(\theta ;\mathbf {X} )={\frac {\partial \ln {\mathcal {L}}(\theta ;\mathbf {X} )}{\partial \theta }}$是得分函式，而$k$是一個常數。

Proof. Considering the proof for Cramer-Rao inequality, we have $$\operatorname {Var} (W)={\frac {(\tau '(\theta ))^{2}}{{\mathcal {I}}_{n}(\theta )}}\iff (\operatorname {Cov} (W,S(\theta ;\mathbf {X} )))^{2}=\operatorname {Var} (W)\operatorname {Var} (S(\theta ;\mathbf {X} ))$$ We can write $\operatorname {Cov} (W,S(\theta ;\mathbf {X} ))$ as $\operatorname {Cov} (W-\underbrace {\tau (\theta )} _{\text{constant}},S(\theta ;\mathbf {X} ))$ (by result about covariance). Also, $\operatorname {Var} (W)=\operatorname {Var} (W-\underbrace {\tau (\theta )} _{\text{constant}})$ (by result about variance). Thus, we have $${\begin{aligned}&&{\big (}\operatorname {Cov} (W-\tau (\theta ),S(\theta ;\mathbf {X} )){\big )}^{2}&=\operatorname {Var} (W-\tau (\theta ))\operatorname {Var} (S(\theta ;\mathbf {X} ))\\&\Leftrightarrow &{\frac {{\big (}\operatorname {Cov} (W-\tau (\theta ),S(\theta ;\mathbf {X} )){\big )}^{2}}{\operatorname {Var} (W-\tau (\theta ))\operatorname {Var} (S(\theta ;\mathbf {X} ))}}&=1\\&\Leftrightarrow &{\frac {{\big (}\operatorname {Cov} (S(\theta ;\mathbf {X} ),W-\tau (\theta )){\big )}^{2}}{\operatorname {Var} (W-\tau (\theta ))\operatorname {Var} (S(\theta ;\mathbf {X} ))}}&=1\\&\Leftrightarrow &{\big (}\rho (S(\theta ;\mathbf {X} ),W-\tau (\theta )){\big )}^{2}&=1\\&\Leftrightarrow &\rho (S(\theta ;\mathbf {X} ),W-\tau (\theta ))&=\pm 1\end{aligned}}$$ where $\rho (\cdot ,\cdot )$ is the correlation coefficient between two random variables. This means $S(\theta ;\mathbf {X} )$ increases or decreases linearly with $W-\tau (\theta )$, i.e., $$S(\theta ;\mathbf {X} )=k(W-\tau (\theta ))+c$$ for some constants $c,k$. Now, it suffices to show that the constant $c$ is actually zero.

我們知道$\mathbb {E} [W]=\tau (\theta )$（因為$W$ 是 $\tau (\theta )$ 的無偏估計量），並且$\mathbb {E} [S(\theta ;\mathbf {X} )]=0$（來自關於Fisher資訊的備註）。因此，在兩邊應用期望得到$$\mathbb {E} [S(\theta ;\mathbf {X} )]=k\mathbb {E} [W-\tau (\theta )]+c\iff \mathbb {E} [S(\theta ;\mathbf {X} )]=k(\underbrace {\mathbb {E} [W]-\tau (\theta )} _{=0})+c\iff 0=0+c\iff c=0.$$ 然後，結果就出來了。

$\Box$

備註。

• 考慮到證明，我們知道，如果滿足這樣的可達條件，則無偏估計量$W$ 的方差等於$\tau (\theta )$ 的CRLB，即該估計量是$\tau (\theta )$ 的UMVUE。

示例。 我們已經證明，來自正態分佈${\mathcal {N}}(\mu ,\sigma ^{2})$ 的隨機樣本$X_{1},\dotsc ,X_{n}$ 的對數似然函式是$\ln {\mathcal {L}}(\mu ,\sigma ^{2})=-{\frac {n}{2}}\ln(2\pi \sigma ^{2})-\sum _{i=1}^{n}{\frac {(x_{i}-\mu )^{2}}{2\sigma ^{2}}}$。證明$\mu$ 的CRLB 使用CRLB的可達條件是可達的。

證明。 分數函式為 $$S(\mu )={\frac {\partial \ln {\mathcal {L}}(\mu ,\sigma ^{2})}{\partial \mu }}={\frac {\partial }{\partial \mu }}\left(-{\frac {n}{2}}\ln(2\pi \sigma ^{2})-\sum _{i=1}^{n}{\frac {({\color {darkgreen}X}_{i}-\mu )^{2}}{2\sigma ^{2}}}\right)=-\sum _{i=1}^{n}{\frac {-2{\color {darkgreen}X}_{i}+2\mu }{2\sigma ^{2}}}=\sum _{i=1}^{n}{\frac {{\color {darkgreen}X}_{i}-\mu }{\sigma ^{2}}}={\frac {1}{\sigma ^{2}}}\left(\sum _{i=1}^{n}X_{i}-\sum _{i=1}^{n}\mu \right)={\frac {n}{\sigma ^{2}}}({\overline {X}}-\mu ).$$ 由於我們有 $\tau (\mu )=\mu$ 和 ${\hat {\mu }}={\overline {X}}$（它是 $\mu$ 的無偏估計量），CRLB 的可達條件得到滿足（在這種情況下，常數“$k$" 為 ${\frac {n}{\sigma ^{2}}}$），因此 $\mu$ 的 CRLB 是可達的。

$\Box$

備註。

• 事實上，在證明之前，我們就知道 $\mu$ 的 CRLB 是可達的，因為我們已經找到了 $\mu$ 的一個無偏估計量，即 ${\overline {X}}$，其方差正好等於之前得到的 CRLB。

示例。 延續前面的例子。證明 $\sigma ^{2}$ 的 CRLB **不能** 使用 CRLB 的可達條件得到。

證明。 在這種情況下，得分函式為 $$S(\sigma )={\frac {\partial \ln {\mathcal {L}}(\mu ,\sigma ^{2})}{\partial \sigma }}={\frac {\partial }{\partial \sigma }}\left(-{\frac {n}{2}}\ln(2\pi \sigma ^{2})-\sum _{i=1}^{n}{\frac {({\color {darkgreen}X}_{i}-\mu )^{2}}{2\sigma ^{2}}}\right)=-{\frac {n}{2}}{\frac {4\pi \sigma }{2\pi \sigma ^{2}}}+{\frac {2}{2\sigma ^{3}}}\sum _{i=1}^{n}({\color {darkgreen}X_{i}}-\mu )^{2}=-{\frac {n}{\sigma }}+{\frac {1}{\sigma ^{3}}}\sum _{i=1}^{n}({\color {darkgreen}X_{i}}-\mu )^{2}=\underbrace {\frac {n}{\sigma ^{3}}} _{\text{constant}}\left(\sum _{i=1}^{n}{\frac {({\color {darkgreen}X_{i}}-\mu )^{2}}{n}}-\sigma ^{2}\right).$$ 取常數 $k={\frac {n}{\sigma ^{3}}}$，則達到CRLB的無偏估計量 ${\hat {\sigma }}$ 的一個潛在候選者為 $\sum _{i=1}^{n}{\frac {({\color {darkgreen}X_{i}}-\mu )^{2}}{n}}$。然而，我們注意到 $\sum _{i=1}^{n}{\frac {({\color {darkgreen}X_{i}}-\mu )^{2}}{n}}$ 是不可計算的，因為 $\mu$ 是未知的。因此，不存在某個 $W$ 使得 $S(\sigma )=k(W-\tau (\sigma ))$，其中 $k$ 是某個常數，並且 $\tau (\sigma )=\sigma ^{2}$。

$\Box$

備註。

• 即使我們知道$\sigma ^{2}$的CRLB不可達，我們仍然不知道${\frac {n}{n-1}}\cdot S^{2}$是否為UMVUE，因為可能存在一些具有更小方差（但未達到CRLB）的無偏估計量。

我們之前討論過MLE，MLE實際上是漸近的（即，當樣本量$n\to \infty$）“最佳選擇”，根據以下定理。

定理。假設${\hat {\theta }}$是來自某個分佈的未知引數$\theta$的MLE。那麼，在某些正則條件下，當$n\to \infty$時，$${\frac {{\hat {\theta }}-\theta }{\sqrt {1/{\mathcal {I}}_{n}(\theta )}}}\;{\overset {d}{\to }}\;{\mathcal {N}}(0,1).$$

Proof. Partial proof: we consider the Taylor series of order 2 for ${\frac {d}{d\theta }}\ln {\mathcal {L}}(\theta )$, and we will get $${\frac {d}{d\theta }}\ln {\mathcal {L}}({\hat {\theta }})={\frac {d}{d\theta }}\ln {\mathcal {L}}(\theta )+({\hat {\theta }}-\theta ){\frac {d^{2}}{d\theta ^{2}}}\ln {\mathcal {L}}(\theta )+{\frac {1}{2}}({\hat {\theta }}-\theta )^{2}{\frac {d^{3}}{d\theta ^{3}}}\ln {\mathcal {L}}(\theta ){\bigg \vert }_{\theta =\theta ^{*}}$$ where $\theta ^{*}$ is between $\theta$ and ${\hat {\theta }}$. Since ${\hat {\theta }}$ is the MLE of $\theta$, from the derivative test, we know that ${\frac {d}{d\theta }}\ln {\mathcal {L}}({\hat {\theta }})=0$ (we apply regularity condition to ensure the existence of this derivative). Hence, we have $${\begin{aligned}&&{\frac {d}{d\theta }}\ln {\mathcal {L}}(\theta )+({\hat {\theta }}-\theta ){\frac {d^{2}}{d\theta ^{2}}}\ln {\mathcal {L}}(\theta )+{\frac {1}{2}}({\hat {\theta }}-\theta )^{2}{\frac {d^{3}}{d\theta ^{3}}}\ln {\mathcal {L}}(\theta ){\bigg \vert }_{\theta =\theta ^{*}}&=0\\&\Rightarrow &-{\sqrt {n}}({\hat {\theta }}-\theta ){\frac {d^{2}}{d\theta ^{2}}}\ln {\mathcal {L}}(\theta )-{\frac {\sqrt {n}}{2}}({\hat {\theta }}-\theta )^{2}{\frac {d^{3}}{d\theta ^{3}}}\ln {\mathcal {L}}(\theta ){\bigg \vert }_{\theta =\theta ^{*}}={\sqrt {n}}{\frac {d}{d\theta }}\ln {\mathcal {L}}(\theta )\\&\Rightarrow &{\sqrt {n}}({\hat {\theta }}-\theta )={\frac {{\frac {d}{d\theta }}\ln {\mathcal {L}}(\theta )/{\sqrt {n}}}{-n^{-1}{\frac {d^{2}}{d\theta ^{2}}}\ln {\mathcal {L}}(\theta )-(2n)^{-1}({\hat {\theta }}-\theta ){\frac {d^{3}}{d\theta ^{3}}}\ln {\mathcal {L}}(\theta ){\bigg \vert }_{\theta =\theta ^{*}}}}.\end{aligned}}$$ Since $$\operatorname {Var} \left(\sum _{i=1}^{n}{\frac {\partial \ln f(X_{i};\theta )}{\partial \theta }}\right)=\sum _{i=1}^{n}\operatorname {Var} \left({\frac {\partial \ln f(X_{i};\theta )}{\partial \theta }}\right)=\sum _{i=1}^{n}\mathbb {E} \left[\left({\frac {\partial \ln f(X_{i};\theta )}{\partial \theta }}\right)^{2}\right]=n{\mathcal {I}}(\theta )\qquad (1),$$ by central limit theorem, $${\frac {{\frac {d}{d\theta }}\ln {\mathcal {L}}(\theta )}{\sqrt {n}}}={\frac {1}{\sqrt {n}}}\sum _{i=1}^{n}{\frac {\partial \ln f(X_{i};\theta )}{\partial \theta }}\;{\overset {d}{\to }}\;{\mathcal {N}}(0,(1/n)nI(\theta ))\equiv {\mathcal {N}}(0,{\mathcal {I}}(\theta )).$$ Furthermore, we apply the weak law of large number to show that $$-n^{-1}{\frac {d^{2}}{d\theta ^{2}}}\ln {\mathcal {L}}(\theta )=-{\frac {1}{n}}\sum _{i=1}^{n}{\frac {\partial ^{2}\ln f(X_{i};\theta )}{\partial \theta ^{2}}}\;{\overset {p}{\to }}\;-\mathbb {E} \left[{\frac {\partial ^{2}\ln f(X_{i};\theta )}{\partial \theta ^{2}}}\right]={\mathcal {I}}(\theta )\qquad (2).$$ It can be shown in a quite complicated way (and using regularity conditions) that $$-(2n)^{-1}({\hat {\theta }}-\theta ){\frac {d^{3}}{d\theta ^{3}}}\ln {\mathcal {L}}(\theta ){\bigg \vert }_{\theta =\theta ^{*}}\;{\overset {p}{\to }}\;0.\qquad (3).$$ Considering $(2)$ and $(3)$, using property of convergence in probability, we have $$-n^{-1}{\frac {d^{2}}{d\theta ^{2}}}\ln {\mathcal {L}}(\theta )-(2n)^{-1}({\hat {\theta }}-\theta ){\frac {d^{3}}{d\theta ^{3}}}\ln {\mathcal {L}}(\theta ){\bigg \vert }_{\theta =\theta ^{*}}\;{\overset {p}{\to }}\;{\mathcal {I}}(\theta )+0={\mathcal {I}}(\theta )\qquad (4).$$ Considering $(1)$ and $(4)$, and using Slutsky's theorem, we have $${\sqrt {n}}({\hat {\theta }}-\theta )={\frac {{\frac {d}{d\theta }}\ln {\mathcal {L}}(\theta )/{\sqrt {n}}}{-n^{-1}{\frac {d^{2}}{d\theta ^{2}}}\ln {\mathcal {L}}(\theta )-(2n)^{-1}({\hat {\theta }}-\theta ){\frac {d^{3}}{d\theta ^{3}}}\ln {\mathcal {L}}(\theta ){\bigg \vert }_{\theta =\theta ^{*}}}}\;{\overset {d}{\to }}\;{\frac {Y}{{\mathcal {I}}(\theta )}}$$ where $Y\sim {\mathcal {N}}(0,{\mathcal {I}}(\theta ))$, and hence ${\frac {Y}{{\mathcal {I}}(\theta )}}\sim {\mathcal {N}}\left(0,{\frac {{\mathcal {I}}(\theta )}{[{\mathcal {I}}(\theta )]^{2}}}\right)\equiv {\mathcal {N}}(0,1/{\mathcal {I}}(\theta ))$. It follows that $${\sqrt {n}}({\hat {\theta }}-\theta )\;{\overset {d}{\to }}\;{\mathcal {N}}(0,1/{\mathcal {I}}(\theta )).$$ This means $${\hat {\theta }}-\theta \;{\overset {d}{\to }}\;{\mathcal {N}}(0,1/(n{\mathcal {I}}(\theta )))\equiv {\mathcal {N}}(0,1/{\mathcal {I}}_{n}(\theta )),$$ and thus $${\frac {{\hat {\theta }}-\theta }{\sqrt {1/{\mathcal {I}}_{n}(\theta )}}}\;{\overset {d}{\to }}\;{\mathcal {N}}{\Bigg (}0,{\frac {1/(n{\mathcal {I}}(\theta ))}{1/\underbrace {{\mathcal {I}}_{n}(\theta )} _{=n{\mathcal {I}}(\theta )}}}{\Bigg )}\equiv {\mathcal {N}}(0,1)$$ as desired.

$\Box$

備註。

• 等價地，我們可以寫成${\hat {\theta }}\;{\overset {d}{\to }}\;{\mathcal {N}}(\theta ,1/{\mathcal {I}}_{n}(\theta ))$。因此，$\theta$的MLE的方差漸近地達到$\theta$的CRLB。這意味著$\theta$的MLE漸近地是$\theta$的UMVUE。
• 正則條件基本上類似於Cramer-Rao不等式中提到的正則條件。

由於在某些情況下我們無法使用CRLB來找到UMVUE，因此我們將在下面介紹另一種找到UMVUE的方法，該方法使用充分性和完備性的概念。

充分性

直觀地講，一個充分統計量 $T(X_{1},\dotsc ,X_{n})$，它是給定隨機樣本$X_{1},\dotsc ,X_{n}$的函式，包含了估計未知引數（向量）$\theta$所需的所有資訊。因此，統計量$T(X_{1},\dotsc ,X_{n})$ 本身對於估計未知引數（向量）$\theta$ 是“充分”的。

正式地，我們可以如下定義和描述充分統計量

定義.（充分統計量）統計量$T=T(X_{1},\dotsc ,X_{n})$ 是未知引數（向量）$\theta$ 的一個充分統計量，如果隨機樣本$X_{1},\dotsc ,X_{n}$ 的條件分佈 給定 $T$ 不依賴於$\theta$。

備註。

• 該定義可以表示為

$$f(x_{1},\dotsc ,x_{n}|T;\theta )=f(x_{1},\dotsc ,x_{n}|T)$$

其中$f$ 是$X_{1},\dotsc ,X_{n}$ 的聯合機率密度函式或機率質量函式。

• 該等式意味著$X_{1},\dotsc ,X_{n}$ 給定（$T$的）值的聯合條件機率質量函式或機率密度函式與$X_{1},\dotsc ,X_{n}$ 給定（$T$的）值，以及引數值$\theta$ 的聯合條件機率質量函式或機率密度函式相同。

• 這意味著即使提供了引數值$\theta$，機率質量函式 (pmf) 或機率密度函式 (pdf) 也不會發生變化，這反過來意味著給定$T$的值，$X_{1},\dotsc ,X_{n}$的聯合條件 pmf 或 pdf 實際上並不依賴於$\theta$。

• $f(x_{1},\dotsc ,x_{n}|T)$指的是$f_{X_{1},\dotsc ,X_{n}|T}(x_{1},\dotsc ,x_{n}|t)$ 在實現$T=t$之前，它是一個隨機變數（隨機性來自$T$）。
• 在實現$T=t$之後，該等式仍然成立（$T$修改為$T=t$）。

示例。考慮來自${\mathcal {N}}(\mu ,\sigma ^{2})$的隨機樣本$X_{1},\dotsc ,X_{n}$。可以證明${\overline {X}}$是$\mu$的充分統計量，但不是$\sigma ^{2}$的充分統計量。

這可以透過應用定義來證明。但是，我們稍後將提供一種替代且通常更方便的方法來檢查統計量的充分性，並找到充分統計量。我們將在本文中非正式地解釋為什麼它是正確的。

• ${\overline {X}}$包含了分佈集中趨勢的資訊，這應該是估計均值$\mu$所需的資訊。因此，它是$\mu$的充分統計量。
• 然而，${\overline {X}}$不包含分佈離散程度的資訊（它只說明瞭“中心位置”，但對於特定的中心位置，離散程度可能大不相同），這應該是估計方差$\sigma ^{2}$所需的資訊。因此，它不是$\sigma ^{2}$的充分統計量。

備註。

• 由此，我們也可以預期充分統計量不是唯一的，因為例如$2{\overline {X}}$也應該包含集中趨勢的資訊（因為我們可以將其除以2得到${\overline {X}}$的值，從而獲得資訊）。
• 事實上，一般來說，給定$T$是$\theta$的充分統計量，則$v(T)$也是$\theta$的充分統計量，前提是$v$是一個雙射函式（也稱為可逆函式、一一對應或雙射），以便其逆函式存在。

我們將在下面正式陳述上述關於充分統計量變換的說明。

命題。 令$T$是未知引數（向量）$\theta$的充分統計量。則，$v(T)$也是$\theta$的充分統計量，對於每個雙射函式$v$。

現在，我們討論一個定理，它可以幫助我們檢查統計量的充分性，即（Fisher-Neyman）因子分解定理。

定理.（因子分解定理）設$f(x_{1},\dotsc ,x_{n};\theta )$ 是隨機樣本$X_{1},\dotsc ,X_{n}$ 的聯合機率密度函式或機率質量函式。統計量$T=T(X_{1},\dotsc ,X_{n})$ 是$\theta$ 的充分統計量 當且僅當存在函式$g$ 和$h$ 使得$$f(x_{1},\dotsc ,x_{n};\theta )=g(T(x_{1},\dotsc ,x_{n});\theta )h(x_{1},\dotsc ,x_{n})$$ 其中$g$ 僅透過$T(x_{1},\dotsc ,x_{n})$ 依賴於$x_{1},\dotsc ,x_{n}$，並且$h$ 不依賴於$\theta$。

證明。 由於連續情況下的證明相當複雜，我們只給出離散情況下的證明。為簡化表達，令 $\mathbf {X} =(X_{1},\dotsc ,X_{n})$, $T=T(X_{1},\dotsc ,X_{n})$, $\mathbf {x} =(x_{1},\dotsc ,x_{n})$, 以及 $t=T(x_{1},\dotsc ,x_{n})$，因此根據這些可以得到不同型別的機率質量函式的符號。根據定義，$f_{\mathbf {X} |T}(\mathbf {x} |t;\theta )=f_{\mathbf {X} |T}(\mathbf {x} ,t)$。此外，我們有 $\mathbf {X} =\mathbf {x} \iff \mathbf {X} =\mathbf {x} \cap T(\mathbf {X} )=T(\mathbf {x} )\iff \mathbf {X} =\mathbf {x} \cap T=t$。因此，我們可以寫成 $$f_{\mathbf {X} ,T}(\mathbf {x} ,t;\theta )=f_{\mathbf {X} }(\mathbf {x} ;\theta )\quad (*)$$。

“僅當” ($\Rightarrow$) 方向：假設 $T$ 是充分統計量。然後，我們選擇 $g(t;\theta )=f_{T}(t;\theta )$ 和 $h(\mathbf {x} )=f_{\mathbf {X} |T}(\mathbf {x} |t)$，根據充分統計量的定義，它不依賴於 $\theta$。現在需要驗證對於這個選擇，方程是否成立。

因此，$$f_{\mathbf {X} }(\mathbf {x} ;\theta )=f_{\mathbf {X} ,T}(\mathbf {x} ,t;\theta ){\overset {\text{ def }}{=}}f_{\mathbf {X} |T}(\mathbf {x} |t;\theta )f_{T}(t;\theta ){\overset {\text{ sufficiency }}{=}}f_{\mathbf {X} |T}(\mathbf {x} |t)f_{T}(t;\theta )=h(\mathbf {x} )g(t;\theta ).$$

"if" ($\Leftarrow$) direction: Assume we can write $f_{\mathbf {X} }(\mathbf {x} ;\theta )=g(t;\theta )h(\mathbf {x} )$. Then, $$f_{T}(t;\theta ){\overset {\text{ marginal pmf }}{=}}\sum _{\mathbf {x} }^{}f_{\mathbf {X} ,T}(\mathbf {x} ,t;\theta ){\overset {\text{ (*) }}{=}}\sum _{\mathbf {x} }^{}f_{\mathbf {X} }(\mathbf {x} ;\theta ){\overset {\text{ assumption }}{=}}\sum _{\mathbf {x} }^{}g(t;\theta )h(\mathbf {x} )=\underbrace {g(t;\theta )} _{{\text{independent from }}\mathbf {x} }\sum _{\mathbf {x} }^{}h(\mathbf {x} ).$$ Now, we aim to show that $f_{\mathbf {X} |T}(\mathbf {x} |t)$ does not depend on $\theta$, which means $T$ is a sufficient statistic for $\theta$. We have $$f_{\mathbf {X} |T}(\mathbf {x} |t){\overset {\text{ def }}{=}}{\frac {f_{\mathbf {X} ,T}(\mathbf {x} ,t;\theta )}{f_{T}(t;\theta )}}{\overset {\text{ (*) }}{=}}{\frac {f_{\mathbf {X} }(\mathbf {x} ;\theta )}{f_{T}(t;\theta )}}={\frac {\overbrace {g(t;\theta )h(\mathbf {x} )} ^{\text{assumption}}}{\underbrace {g(t;\theta )\sum _{\mathbf {x} }^{}h(\mathbf {x} )} _{\text{above}}}}={\frac {h(\mathbf {x} )}{\sum _{\mathbf {x} }^{}h(\mathbf {x} )}},$$ which does not depend on $\theta$, as desired.

$\Box$

備註。

• $h(x_{1},\dotsc ,x_{n})$ 也可能是一個常數，顯然不依賴於 $\theta$。

示例. 考慮來自 ${\mathcal {N}}(\mu ,\sigma ^{2})$ 的一個隨機樣本 $X_{1},\dotsc ,X_{n}$。找到 $\theta =(\mu ,\sigma ^{2})$ 的充分統計量。

Solution: The joint pdf of $X_{1},\dotsc ,X_{n}$ is $${\begin{aligned}f(x_{1},\dotsc ,x_{n};\theta )&=\prod _{i=1}^{n}{\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp \left(-{\frac {(x_{i}-\mu )^{2}}{2\sigma ^{2}}}\right)\\&=(2\pi \sigma ^{2})^{-n/2}\exp \left(\sum _{i=1}^{n}{\frac {(x_{i}-\mu )^{2}}{2\sigma ^{2}}}\right)\\&=(2\pi \sigma ^{2})^{-n/2}\exp \left(\sum _{i=1}^{n}{\frac {(x_{i}{\color {darkgreen}-{\overline {x}}+{\overline {x}}}-\mu )^{2}}{2\sigma ^{2}}}\right)\\&=(2\pi \sigma ^{2})^{-n/2}\exp \left(\sum _{i=1}^{n}{\frac {(x_{i}{\color {darkgreen}-{\overline {x}}})^{2}+2(x_{i}-{\overline {x}})({\overline {x}}-\mu )+({\color {darkgreen}{\overline {x}}}-\mu )^{2}}{2\sigma ^{2}}}\right)\\&=(2\pi \sigma ^{2})^{-n/2}\exp \left(\sum _{i=1}^{n}{\frac {(x_{i}{\color {darkgreen}-{\overline {x}}})^{2}+({\color {darkgreen}{\overline {x}}}-\mu )^{2}}{2\sigma ^{2}}}\right)&\left(\sum _{i=1}^{n}(x_{i}-{\overline {x}})({\overline {x}}-\mu )=({\overline {x}}-\mu )\sum _{i=1}^{n}(x_{i}-{\overline {x}})=({\overline {x}}-\mu )\left(\sum _{i=1}^{n}x_{i}-\sum _{i=1}^{n}{\overline {x}}\right)=({\overline {x}}-\mu )(n{\overline {x}}-n{\overline {x}})=0\right)\\&=(2\pi \sigma ^{2})^{-n/2}\exp \left({\frac {1}{2\sigma ^{2}}}\left(\sum _{i=1}^{n}(x_{i}{\color {darkgreen}-{\overline {x}}})^{2}+\sum _{i=1}^{n}({\color {darkgreen}{\overline {x}}}-\mu )^{2}\right)\right)\\&=\underbrace {(2\pi )^{-n/2}} _{h(x_{1},\dotsc ,x_{n})}\underbrace {\sigma ^{-n}\exp \left({\frac {1}{2\sigma ^{2}}}\left(ns^{2}+n({\overline {x}}-\mu )^{2}\right)\right)} _{g(T(x_{1},\dotsc ,x_{n});\theta )}&\left(({\overline {x}}-\mu )^{2}{\text{ is independent from }}i\right).\\\end{aligned}}$$ Notice that the function $g$ depends on $x_{1},\dotsc ,x_{n}$ only through $T(x_{1},\dotsc ,x_{n})=({\overline {x}},s^{2})$, so we can conclude that $T(X_{1},\dotsc ,X_{n})=({\overline {X}},S^{2})$.

備註。

• 我們也可以將 $({\overline {X}},S^{2})$ 寫成 $(S^{2},{\overline {X}})$$\theta$ 的充分統計量。

• 直觀地說，這是因為後者也包含相同的統計量，因此包含相同的資訊。

• 或者，我們可以將函式$v$定義為$(z_{1},z_{2})\mapsto (z_{2},z_{1})$，這是一個雙射函式，因此$v({\overline {X}},S^{2})=(S^{2},{\overline {X}})$也是$\theta$的充分統計量。

• 我們需要從$(2\pi \sigma ^{2})^{-n/2}$中分離出$\sigma ^{-n}$，因為對於函式$h(x_{1},\dotsc ,x_{n})$，它不能依賴於$\theta =(\mu ,\sigma ^{2})$。因此，我們不能在$h(x_{1},\dotsc ,x_{n})$函式的定義中包含$\sigma ^{-n}$。
• 在這種情況下，定義$g$和$h$函式的方法有很多。

對於一些“良好”的分佈，它們屬於指數族，可以使用另一種替代方法更容易且更方便地找到充分統計量。這種方法之所以有效，是因為這些分佈的pdf或pmf具有“良好”的形式，其特徵如下

定義。（指數族分佈）隨機變數$X$的分佈屬於指數族分佈，如果$X$的機率密度函式或機率質量函式具有以下形式：$$f(x;\theta )=h(x)g(\theta )\exp \left(\sum _{i=1}^{\color {darkgreen}s}\eta _{i}(\theta )T_{i}(x)\right)$$ 其中$\theta =(\theta _{1},\dotsc ,\theta _{\color {darkgreen}s})\in \Theta \subseteq \mathbb {R} ^{\color {darkgreen}s}$，對於某些函式$h,g,\eta _{i},T_{i}$（$i=1,2\dotsc ,s$）。

備註。

• $s$的值取決於未知引數的數量。

• 請注意，$s$可以為1，在這種情況下，“$\theta$”只是一個單一引數。

• 指數族分佈包含許多常見的分佈，例如正態分佈、指數分佈、伽馬分佈、卡方分佈、貝塔分佈、伯努利分佈、泊松分佈、幾何分佈等。

• 然而，一些常見的分佈不屬於指數族分佈，例如學生t分佈$t$、F分佈$F$、柯西分佈和超幾何分佈。

示例。 正態分佈屬於指數族，其中 $\theta =(\mu ,\sigma ^{2})\in \mathbb {R} ^{2}$（因此在這種情況下“$s$”為 2），因為它的機率密度函式可以表示為 $$f(x;\theta )={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp \left(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right)={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp \left(-{\frac {x^{2}-2\mu x+\mu ^{2}}{2\sigma ^{2}}}\right)=\left[{\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp \left(-{\frac {\mu ^{2}}{2\sigma ^{2}}}\right)\right]\exp \left(-{\frac {x^{2}-2\mu x}{2\sigma ^{2}}}\right)=\underbrace {(1)} _{h(x)}\underbrace {\left[{\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp \left(-{\frac {\mu ^{2}}{2\sigma ^{2}}}\right)\right]} _{g(\theta )}\exp {\Bigg [}\underbrace {\frac {\mu }{\sigma ^{2}}} _{\eta _{1}(\theta )}\cdot \underbrace {x} _{T_{1}(x)}+\underbrace {\left(-{\frac {1}{2\sigma ^{2}}}\right)} _{\eta _{2}(\theta )}\cdot \underbrace {x^{2}} _{T_{2}(x)}{\Bigg ]}$$

定理.（指數族的充分統計量）設$X_{1},\dotsc ,X_{n}$ 是來自指數族分佈的一個隨機樣本，其機率密度函式或機率質量函式為 $f(x;\theta )$，其中 $\theta \in \mathbb {R} ^{s}$。那麼，$\theta$ 的一個充分統計量 是 $$T(X_{1},\dotsc ,X_{n})=\left(\sum _{j=1}^{n}T_{1}(X_{j}),\dotsc ,\sum _{j=1}^{n}T_{s}(X_{j})\right).$$

Proof. Since the distribution belongs to the exponential family, the joint pdf or pmf of $X_{1},\dotsc ,X_{n}$ can be expressed as $${\begin{aligned}f(x_{1},\dotsc ,x_{n};\theta )&=\prod _{{\color {blue}j}=1}^{n}\left[h(x_{\color {blue}j})g(\theta )\exp \left(\sum _{i=1}^{\color {darkgreen}s}\eta _{i}(\theta )T_{i}(x_{\color {blue}j})\right)\right]\\&=\left[\prod _{j=1}^{n}h(x_{j})\right](g(\theta ))^{n}\exp \left(\sum _{{\color {blue}j}=1}^{n}\sum _{i=1}^{s}\eta _{i}(\theta )T_{i}(x_{\color {blue}j})\right)\\&=\left[\prod _{j=1}^{n}h(x_{j})\right](g(\theta ))^{n}\exp \left(\sum _{i=1}^{s}\sum _{{\color {blue}j}=1}^{n}\eta _{i}(\theta )T_{i}(x_{\color {blue}j})\right)&({\text{changing summation order, where the upper bounds are constants}})\\&=\left[\prod _{j=1}^{n}h(x_{j})\right](g(\theta ))^{n}\exp \left(\sum _{i=1}^{s}\underbrace {\eta _{i}(\theta )} _{{\text{independent from }}j}\sum _{{\color {blue}j}=1}^{n}T_{i}(x_{\color {blue}j})\right)\\&={\color {purple}\left[\prod _{j=1}^{n}h(x_{j})\right]}{\color {red}(g(\theta ))^{n}\exp \left(\eta _{1}(\theta )\sum _{{\color {blue}j}=1}^{n}T_{1}(x_{\color {blue}j})+\dotsb +\eta _{s}(\theta )\sum _{{\color {blue}j}=1}^{n}T_{s}(x_{\color {blue}j})\right)}.\\\end{aligned}}$$ From here, for applying the factorization theorem, we can identify the purple part of the function as "$h(x_{1},\dotsc ,x_{n})$", and the red part of the function as "$g(T(x_{1},\dotsc ,x_{n});\theta )$". We can notice that the red part of the function depends on $x_{1},\dotsc ,x_{n}$ only through $\left(\sum _{j=1}^{n}T_{1}(x_{j}),\dotsc ,\sum _{j=1}^{n}T_{s}(x_{j})\right)$. The result follows.

$\Box$

例. 考慮來自 ${\mathcal {N}}(\mu ,\sigma ^{2})$ 的一個隨機樣本 $X_{1},\dotsc ,X_{n}$。利用尋找指數族充分統計量的結果，證明 $\theta =(\mu ,\sigma ^{2})$ 的充分統計量是 $\left({\overline {X}},S^{2}\right)$。

證明. 從前面的例子中，我們已經證明正態分佈屬於指數族，並且從那裡的表示式中，我們可以看出 $\theta$ 的充分統計量是 $T=\left(\sum _{j=1}^{n}X,\sum _{j=1}^{n}X^{2}\right)=\left(n{\overline {X}},n{\overline {X^{2}}}\right)$。

由於$S^{2}={\frac {1}{n}}\sum _{j=1}^{n}(X_{j}-{\overline {X}})^{2}={\frac {1}{n}}\sum _{j=1}^{n}\left(X_{j}^{2}-2X_{j}{\overline {X}}+({\overline {X}})^{2}\right)={\frac {\sum _{j=1}^{n}X_{j}^{2}}{n}}-{\frac {2{\overline {X}}}{n}}\sum _{j=1}^{n}X_{j}+({\overline {X}})^{2}={\overline {X^{2}}}-2({\overline {X}})^{2}+({\overline {X}})^{2}={\overline {X^{2}}}-({\overline {X}})^{2}$，我們可以定義函式$v$ 為$$(z_{1},z_{2})\mapsto \left(z_{1}/n,z_{2}/n-(z_{1}/n)^{2}\right),$$，可以證明這是一個雙射函式。

因此，$v(T)=\left({\overline {X}},S^{2}\right)$也是$\theta$的充分統計量。

$\Box$

現在，我們將開始討論充分統計量與UMVUE之間的關係。我們從Rao-Blackwell定理開始討論。

定理.（Rao-Blackwell 定理）設$W$ 是 $\tau (\theta )$ 的任意無偏估計量，而 $T$ 是 $\theta$ 的充分統計量。定義$\varphi (T)=\mathbb {E} [W|T]$。那麼，$\varphi (T)$ 是 $\tau (\theta )$ 的無偏估計量，並且$\operatorname {Var} (\varphi (T))\leq \operatorname {Var} (W)$。

證明.假設$W$ 是 $\tau (\theta )$ 的任意無偏估計量，而 $T$ 是 $\theta$ 的充分統計量。

首先，我們證明 $\varphi (T)$ 是 $\tau (\theta )$ 的無偏估計量。在證明無偏性之前，我們應該確保 $\varphi (T)$ 實際上是一個估計量，即它是統計量，是隨機樣本的函式，並且需要獨立於 $\theta$（以便它可以計算）：由於 $W$ 是隨機樣本的函式，並且 $T$ 是充分統計量，這使得給定 $T$ 的 $W$ 的條件分佈 獨立 於 $\theta$。此外，$\varphi (T)=\mathbb {E} [W|T]$ 是 $W$ 的函式，因此也是隨機樣本的函式。

現在，我們證明 $\varphi (T)$ 是 $\tau (\theta )$ 的無偏估計量：由於 $\mathbb {E} [\varphi (T)]=\mathbb {E} [\mathbb {E} [W|T]]{\overset {\text{ law of total expectation }}{=}}\mathbb {E} [W]{\overset {\text{ unbiasedness }}{=}}\tau (\theta )$，$\varphi (T)$ 是 $\tau (\theta )$ 的無偏估計量。

接下來，我們證明$\operatorname {Var} (\varphi (T))\leq \operatorname {Var} (W)$：根據全方差定律，我們有$$\operatorname {Var} (W)=\operatorname {Var} (\mathbb {E} [W|T])+\mathbb {E} [\operatorname {Var} (W|T)]{\overset {\text{ def }}{=}}\operatorname {Var} (\varphi (T))+\overbrace {\mathbb {E} [\underbrace {\operatorname {Var} (W|T)} _{\geq 0}]} ^{\geq 0}\geq \operatorname {Var} (\varphi (T)),$$ 如所願。

$\Box$

備註。

• 隨機變數$\varphi (T)=\mathbb {E} [W|T]$ 是透過首先找到$\varphi (t)=\mathbb {E} [W|T=t]$，然後用$T$ 替換$t$ 得到的。這裡，$\varphi (t)$ 是$\varphi (T)$ 的實現。
• 從Rao-Blackwell定理，我們知道$\varphi (T)=\mathbb {E} [W|T]$ 是比$W$ 更好的（或者至少是“相同質量”）效率意義上的估計量。請注意，該定理並沒有說明$\varphi (T)$ 是效率意義上的最佳估計量（即UMVUE）。相反，它只說明$\varphi (T)$ 比$W$ 在效率意義上更好。
• 應用一次該定理後，$\varphi (T)$ 可以作為“$\tau (\theta )$ 的任意無偏估計量”，我們可以再次應用此定理，依此類推。這意味著，在多次應用此定理之後，我們得到的“$\varphi (T)$” 將是UMVUE。

• 我們可以將這個過程理解為不斷“改進”無偏估計量$W$，直到它成為最優的（在效率意義上），即它是一個UMVUE。
• 由於UMVUE是唯一的，UMVUE必須是給定充分統計量$T$的隨機變數的條件期望，它是一個$T$的函式。
• 因此，我們現在可以將UMVUE的候選範圍縮小到充分統計量$T$的函式。

為了實際確定UMVUE，我們需要另一個定理，稱為萊曼-謝菲定理，它基於Rao-Blackwell定理，並且需要完備性的概念。

完備性

定義。（完備統計量）設$X_{1},\dotsc ,X_{n}$是從具有引數（向量）$\theta$的分佈中抽取的隨機樣本，該引數位於引數空間$\Theta$中。統計量$T$是一個完備統計量，如果對於每個$\theta \in \Theta$，$\mathbb {E} [g(T)]=0$ 意味著對於每個$\theta \in \Theta$，$\mathbb {P} (g(T)=0)=1$。

當隨機樣本$X_{1},\dotsc ,X_{n}$來自指數族中的分佈時，也可以很容易地找到完備統計量，類似於充分統計量的情況。

定理.（指數族的完備統計量）如果$X_{1},\dotsc ,X_{n}$ 是來自指數族分佈的一個隨機樣本，其中未知引數（向量）$\theta \in \Theta \subseteq \mathbb {R} ^{\color {darkgreen}s}$，則$$T(X_{1},\dotsc ,X_{n})=\left(\sum _{j=1}^{n}T_{1}(X_{j}),\sum _{j=1}^{n}T_{2}(X_{j}),\dotsc ,\sum _{j=1}^{n}T_{\color {darkgreen}s}(X_{j})\right)$$ 是一個完備統計量，前提是引數空間$\Theta$ 在$\mathbb {R} ^{\color {darkgreen}s}$中包含一個開集.

證明.略。

$\Box$

備註。

• 開集是開區間的推廣。實際上，$\mathbb {R}$ 中的開集就是開區間。
• 直觀地說，開集指的是這樣的集合：對於集合中的每個點，該集合都包含所有足夠接近該點的點。
• 例如，$\mathbb {R} ^{2}$ 中的一條直線（可以被解釋為一個集合）不是開集，因為對於直線上的每個點，直線不包含所有足夠接近該點的點（有一些“上方”和“下方”的點不包含在集合中）。
• 同樣，$\mathbb {R} ^{3}$ 中的一個圓盤（平面中由圓包圍的區域）不是開集，因為對於圓盤上的每個點，圓盤不包含所有足夠接近該點的點（有一些“上方”和“下方”的點不包含在圓盤中）。
• 根據前面關於指數族充分統計量的定理，我們知道$T(X_{1},\dotsc ,X_{n})$ 也是$\theta$ 的一個充分統計量，在滿足這些條件的情況下。

• 當一個統計量對於引數（向量）$\theta$ 是充分的，並且也是一個完備統計量時，我們稱這樣的統計量為$\theta$ 的完備充分統計量。

定理. (萊曼-謝菲定理) 如果$T$ 是 $\theta$ 的一個完備充分統計量，並且$\mathbb {E} [\varphi (T)]=\tau (\theta )$，則$\varphi (T)$ 是 $\tau (\theta )$ 的唯一UMVUE（以機率1）。

證明. 假設$T$ 是 $\theta$ 的一個完備充分統計量，並且$\mathbb {E} [\varphi (T)]=\tau (\theta )$。

由於$T$ 是 $\theta$ 的充分統計量，我們可以應用Rao-Blackwell定理。根據Rao-Blackwell定理，如果$W$ 是 $\tau (\theta )$ 的任意無偏估計量，則$\varphi (T)$ 是另一個無偏估計量，其中$\operatorname {Var} (\varphi (T))\leq \operatorname {Var} (W)$。

為了證明$\varphi (T)$ 是 $\tau (\theta )$ 的唯一UMVUE，我們將證明無論選擇哪個 $\tau (\theta )$ 的無偏估計量$W$，根據Rao-Blackwell定理（以機率1），我們都會得到相同的$\varphi (T)$。然後，對於所有可能的 $\tau (\theta )$ 的無偏估計量$W$，都有$\operatorname {Var} (\varphi (T))\leq \operatorname {Var} (W)$（以機率1），這意味著$\varphi (T)$ 是UMVUE，並且也是唯一的UMVUE，因為我們總是得到相同的$\varphi (T)$ 。

假設$W'$ 是另一個 $\tau (\theta )$ 的無偏估計量（$W'\neq W$）。根據Rao-Blackwell定理，存在一個無偏估計量$\psi (T)=\mathbb {E} [W'|T]$（$\psi (T)\neq \varphi (T)$），其中$\operatorname {Var} (\psi (T))\leq \operatorname {Var} (W')$。由於$\varphi (T)$ 和 $\psi (T)$ 都是 $\tau (\theta )$ 的無偏估計量，對於每個$\theta \in \Theta$，我們有$$\mathbb {E} [\varphi (T)]=\mathbb {E} [\psi (T)]\implies \mathbb {E} [\varphi (T)-\psi (T)]=0.$$。由於$T$ 是一個完備統計量，我們有$$\mathbb {P} (\varphi (T)-\psi (T)=0)=1\implies \mathbb {P} (\varphi (T)=\psi (T))=1,$$，這意味著$\varphi (T)=\psi (T)$（機率為1），即在這種情況下，我們從Rao-Blackwell定理得到了相同的$\varphi (T)$（機率為1）。

$\Box$

備註。

• 該定理中的“$\varphi (T)$”是$T$的函式，我們從證明和Rao-Blackwell定理中知道，它實際上是$\mathbb {E} [W|T]$，其中$W$是$\tau (\theta )$的任意無偏估計量。

• 因此，當我們應用此定理時，只要我們能找到$T$的一個函式$\phi (T)$（也許透過一些觀察），使得$\mathbb {E} [\phi (T)]=\tau (\theta )$，我們就知道$\phi (T)$是$\tau (\theta )$的唯一UMVUE。此外，由於UMVUE的唯一性，$\phi (T)$實際上是$\varphi (T)=\mathbb {E} [W|T]$，其中$W$是$\tau (\theta )$的任意無偏估計量。

• 在一些簡單的例子中，如上所述，我們可以透過一些觀察找到$\varphi (T)$。然而，在更復雜的情況下，$\varphi (T)$ 的顯式形式可能並不直接明瞭，使得 $\mathbb {E} [\varphi (T)]=\tau (\theta )$。在這種情況下，我們需要找到 $\tau (\theta )$ 的無偏估計量，並計算 $\mathbb {E} [W|T]$ 以得到 $\varphi (T)$ 的顯式形式。

示例. 考慮來自${\mathcal {N}}(\mu ,\sigma ^{2})$ 的一個隨機樣本$X_{1},\dotsc ,X_{n}$。令未知引數向量為$\theta =(\mu ,\sigma ^{2})$。

(a) 證明 $\theta$ 的充分統計量，即 $\left({\overline {X}},S^{2}\right)$，也是一個完備統計量。

(b) 因此，證明 ${\overline {X}}$ 和 ${\frac {n}{n-1}}\cdot S^{2}$ 分別是 $\mu$ 和 $\sigma ^{2}$ 的UMVUE。

解答:

(a)

證明。 我們只需要證明引數空間$\Theta =\{(\mu ,\sigma ^{2}):\mu \in \mathbb {R} ,\sigma ^{2}>0\}$ 在$\mathbb {R} ^{2}$中包含一個開集。這是正確的，因為引數空間$\Theta$如果我們使用笛卡爾座標系表示它，則是整個x軸上方的區域，因此包含一個開集。

$\Box$

(b)

證明。 因為$\mathbb {E} [{\overline {X}}]=\mu$ 且 $\mathbb {E} \left[{\frac {n}{n-1}}\cdot S^{2}\right]=\sigma ^{2}$（我們之前已經證明了這些），並且${\overline {X}}$ 和 ${\frac {n}{n-1}}\cdot S^{2}$ 分別是完備充分統計量${\overline {X}}$（關於$\mu$）和$S^{2}$（關於$\sigma ^{2}$）的函式，根據萊曼-謝菲定理，我們得到所需的結果。

$\Box$

備註。

• 我們已經證明${\frac {n}{n-1}}\cdot S^{2}$沒有達到$\sigma ^{2}$的CRLB，並且$\sigma ^{2}$的CRLB實際上是不可達到的。因此，我們之前無法確定${\frac {n}{n-1}}\cdot S^{2}$是否是$\sigma ^{2}$的UMVUE。現在，我們知道${\frac {n}{n-1}}\cdot S^{2}$實際上是$\sigma ^{2}$的UMVUE，這得益於Lehmann-Scheffé定理。

示例。考慮來自伯努利分佈的隨機樣本$X_{1},\dotsc ,X_{n}$，其成功機率為$p$，即$\operatorname {Ber} (p)$，其機率質量函式為$f(x;p)=p^{x}(1-p)^{1-x},\quad x=0,1$。

(a) 找到$p$的一個完備充分統計量$T$。

(b) 因此，找到$p$的UMVUE。

(c) 證明$\mathbf {1} \{X_{1}=1\}$是$p$的無偏估計量，並且$\mathbb {E} [\mathbf {1} \{X_{1}=1\}|T]$是$p$的UMVUE。

解答

(a) 機率質量函式 (pmf) $f(x;p)=p^{x}(1-p)^{1-x}=(1-p)\left({\frac {p}{1-p}}\right)^{x}=\underbrace {(1)} _{h(x)}\underbrace {(1-p)} _{g(\theta )}\exp \left(\underbrace {x} _{T(x)}\underbrace {\ln \left({\frac {p}{1-p}}\right)} _{\eta (p)}\right)$。這意味著伯努利分佈屬於指數族。此外，引數空間 $\Theta =\{p:0\leq p\leq 1\}$ 在 $\mathbb {R}$ 中包含一個開集。因此，$T=\sum _{j=1}^{n}X_{j}$ 是 $p$ 的完備充分統計量。

(b) 注意到 $\mathbb {E} [T/n]=\mathbb {E} [{\overline {X}}]={\frac {np}{n}}=p$。因此，${\overline {X}}$（它是 $T$ 的函式）是 $p$ 的UMVUE。

(c)

證明。 由於 $\mathbb {E} [\mathbf {1} \{X_{1}=1\}]=(1)\mathbb {P} (X_{1}=1)=p$，$\mathbf {1} \{X_{1}=1\}$ 是 $p$ 的無偏估計量。

Now, we consider $\mathbb {E} [\mathbf {1} \{X_{1}=1\}|T]=\mathbb {E} \left[\mathbf {1} \{X_{1}=1\}|\sum _{j=1}^{n}X_{j}\right]$. We denote $\sum _{j=1}^{n}X_{j}$ by $S_{n}$. Then, this expectation becomes $\mathbb {E} [\mathbf {1} \{X_{1}=1\}|S_{n}]$. In the following, we evaluate $\mathbb {E} [\mathbf {1} \{X_{1}=1\}|S_{n}=s_{n}]$. $${\begin{aligned}\mathbb {E} \left[\mathbf {1} \{X_{1}=1\}|\sum _{j=1}^{n}X_{j}=s_{n}\right]&=(1)\mathbb {P} \left(\mathbf {1} \{X_{1}=1\}=1|\sum _{j=1}^{n}X_{j}=s_{n}\right)&({\text{definition}})\\&=\mathbb {P} \left(X_{1}=1|\sum _{j=1}^{n}X_{j}=s_{n}\right)\\&={\frac {\mathbb {P} \left(\sum _{j=1}^{n}X_{j}=s_{n}|X_{1}=1\right)\mathbb {P} (X_{1}=1)}{\mathbb {P} \left(\sum _{j=1}^{n}X_{j}=s_{n}\right)}}&({\text{Bayes' theorem}})\\&={\frac {\mathbb {P} \left(\sum _{j=2}^{n}X_{j}=s_{n}-1\right)\cdot p}{\mathbb {P} \left(\sum _{j=1}^{n}X_{j}=s_{n}\right)}}\\\end{aligned}}$$ Notice that $\sum _{j=1}^{n}X_{j}$ follows the binomial distribution with $n$ trials with success probability $p$, i.e., $\operatorname {Binom} (n,p)$, and $\sum _{j=2}^{n}X_{j}\sim \operatorname {Binom} (n-1,p)$. Hence, $${\begin{aligned}{\frac {\mathbb {P} \left(\sum _{j=2}^{n}X_{j}=s_{n}-1\right)\cdot p}{\mathbb {P} \left(\sum _{j=1}^{n}X_{j}=s_{n}\right)}}&={\frac {{\binom {n-1}{s_{n}-1}}p^{s_{n}-1}(1-p)^{n-1-s_{n}+1}\cdot p}{{\binom {n}{s_{n}}}p^{s_{n}}(1-p)^{n-s_{n}}}}&({\text{binomial distribution pmf's}})\\&={\frac {\frac {(n-1)!}{(s_{n}-1)!(n-s_{n})!}}{\frac {n!}{s_{n}!(n-s_{n})!}}}\\&={\frac {(n-1)!s_{n}(s_{n}-1)!}{n(n-1)!(s_{n}-1)!}}&(s_{n}!=s_{n}(s_{n}-1)!{\text{ and }}n!=n(n-1)!)\\&={\frac {s_{n}}{n}}.\end{aligned}}$$ Now, replacing $s_{n}$ by $S_{n}=\sum _{j=1}^{n}X_{j}$ gives $$\mathbb {E} \left[\mathbf {1} \{X_{1}=1\}|\sum _{j=1}^{n}X_{j}\right]={\frac {\sum _{j=1}^{n}X_{j}}{n}}={\overline {X}},$$ which is the UMVUE of $p$, as desired.

$\Box$

練習。 我們能否使用 $p$ 的CRLB找到 $p$ 的UMVUE？如果可以，請用這種方法找到它。如果不行，請解釋原因。

解答

不可以。這是因為對數似然函式不可微（僅當 $x=0,1$ 時才具有非零值），因此費舍爾資訊未定義。因此，CRLB 不存在。

練習。 考慮來自引數為 $\lambda$ 的泊松分佈的隨機樣本 $X_{1},\dotsc ,X_{n}$，其機率質量函式（pmf）為 $f(x;\lambda )={\frac {e^{-\lambda }\lambda ^{x}}{x!}}$。

(a) 求 $\lambda$ 的完備充分統計量。

(b) 求 $\lambda /n$ 的UMVUE。

解答

(a) 該機率質量函式為 $$f(x;\lambda )={\frac {e^{-\lambda }\lambda ^{x}}{x!}}={\frac {e^{-\lambda }}{x!}}\underbrace {\exp(x\ln \lambda )} _{=\lambda ^{x}}=\underbrace {\frac {1}{x!}} _{h(x)}\cdot \underbrace {e^{-\lambda }} _{g(\lambda )}\exp(\underbrace {x} _{T(x)}\underbrace {\ln \lambda } _{\eta (\lambda )}).$$ 因此，泊松分佈屬於指數族，並且 $\lambda$ 的完備充分統計量為 $T=\sum _{j=1}^{n}X_{j}$。

(b) 令 $\tau (\lambda )=\lambda /n$。由於 $\mathbb {E} [T]=\mathbb {E} \left[\sum _{j=1}^{n}X_{j}\right]=n\lambda$，我們有 $$\mathbb {E} [T/n^{2}]=\lambda /n=\tau (\lambda ).$$ 因此，$\tau (\lambda )=\lambda /n$ 的UMVUE 為 ${\frac {\sum _{j=1}^{n}X_{j}}{n^{2}}}={\frac {\overline {X}}{n}}$（它是 $T$ 的函式）。

一致性

在前面的章節中，我們討論了 無偏性 和 有效性。在本節中，我們將討論另一個稱為 一致性 的性質。

定義。（一致估計量）${\hat {\theta }}$ 是未知引數 $\theta$ 的一致估計量，如果 ${\hat {\theta }}\;{\overset {p}{\to }}\;\theta$。

備註。

• 根據機率收斂的定義，${\hat {\theta }}\;{\overset {p}{\to }}\;\theta$ 表示 $\mathbb {P} (|{\hat {\theta }}-\theta |>\varepsilon )\to 0$ 當 $n\to \infty$ 時，對於每個 $\varepsilon >0$。

命題。如果 ${\hat {\theta }}$ 是未知引數 $\theta$ 的（漸近）無偏估計量，並且 $\operatorname {Var} ({\hat {\theta }})\to 0$ 當 $n\to \infty$ 時，則 ${\hat {\theta }}$ 是 $\theta$ 的一致估計量。

Proof. Assume ${\hat {\theta }}$ is an (asymptotically) unbiased estimator of an unknown parameter $\theta$ and $\operatorname {Var} ({\hat {\theta }})\to 0$ as $n\to \infty$. Since ${\hat {\theta }}$ is an (asymptotically) unbiased estimator of $\theta$, we have $\lim _{n\to \infty }\operatorname {Bias} ({\hat {\theta }})=0$ (this is true for both asymptotically unbiased estimator and unbiased estimator of $\theta$). In addition to this, we have by assumption that $\lim _{n\to \infty }\operatorname {Var} ({\hat {\theta }})=0$. By definition of mean squared error, these imply that $\lim _{n\to \infty }\operatorname {MSE} ({\hat {\theta }})=0\Rightarrow \lim _{n\to \infty }\mathbb {E} [({\hat {\theta }}-\theta )^{2}]=0$. Thus, as $n\to \infty$, we have by Chebyshov's inequality (notice that $\operatorname {MSE} ({\hat {\theta }})=\mathbb {E} [({\hat {\theta }}-\theta )^{2}]$ exist from above), for each $\varepsilon >0$, $$\mathbb {P} (|{\hat {\theta }}-\theta |>\varepsilon )\leq {\frac {\mathbb {E} [({\hat {\theta }}-\theta )^{2}]}{\varepsilon ^{2}}}\to {\frac {0}{\varepsilon ^{2}}}=0.$$ Since probability is nonnegative ($\geq 0$), and this probability is less than or equal to an expression that tends to be 0 as $n\to \infty$, we conclude that this probability tends to be zero as $n\to \infty$. That is, ${\hat {\theta }}$ is a consistent estimator of $\theta$.

$\Box$

備註。

• 僅單獨的無偏性並不能蘊含一致性。

示例。 令$X_{1},\dotsc ,X_{n}$ 為來自${\mathcal {N}}(\mu ,\sigma ^{2})$ 的一個隨機樣本。那麼，$X_{1}$ 是 $\mu$ 的無偏估計量，因為$\mathbb {E} [X_{1}]=\mu$。但是，存在一些$\varepsilon >0$ 使得$$\mathbb {P} (|X_{1}-\mu |>\varepsilon )\nrightarrow 0$$ 當$n\to \infty$，即$\lim _{n\to \infty }\mathbb {P} (|X_{1}-\mu |>\varepsilon )\neq 0$ 對於某些$\varepsilon >0$。由於$|X_{1}-\mu |$ 與$n$ 無關，這意味著$$\mathbb {P} (|X_{1}-\mu |>\varepsilon )\neq 0$$ 對於某些$\varepsilon >0$，這是正確的。因此，$X_{1}$ 不是 $\mu$ 的一致估計量。

練習。

(a) 提出 $\mu$ 的一個一致估計量，並證明它實際上是 $\mu$ 的一致估計量（提示：考慮大數弱定律）。

(b) 提出變異係數（或相對標準差）coefficient of variation${\frac {\sigma }{\mu }}$ 的一個一致估計量（假設 $\mu \neq 0$，以便其定義），並證明它實際上是 ${\frac {\sigma }{\mu }}$ 的一致估計量。（提示：考慮大數弱定律和機率收斂的性質。您可以使用正態分佈具有有限四階矩這一事實。）

解答

(a) ${\overline {X}}$ 是 $\mu$ 的一致估計量。

證明。 根據大數弱定律（注意正態分佈的均值 $\mu$ 和方差 $\sigma ^{2}$ 是有限的），${\overline {X}}\;{\overset {p}{\to }}\;\mu$，如預期的那樣。

$\Box$

(b) ${\frac {\sqrt {S^{2}}}{\overline {X}}}$ 是 ${\frac {\sigma }{\mu }}$ 的一致估計量。

證明。 根據大數弱定律（方差有限，四階矩有限），${\overline {X^{2}}}\;{\overset {p}{\to }}\;\mathbb {E} [X^{2}]$。此外，根據連續對映定理，由於$({\overline {X}})^{2}\;{\overset {p}{\to }}\;\mu ^{2}$。因此，根據機率收斂的性質和樣本方差的結果，$$S^{2}={\overline {X^{2}}}-({\overline {X}})^{2}\;{\overset {p}{\to }}\;\mathbb {E} [X^{2}]-\mu ^{2}=\sigma ^{2}.$$再次根據連續對映定理，$${\sqrt {S^{2}}}\;{\overset {p}{\to }}\;{\sqrt {\sigma ^{2}}}=\sigma$$（由於$\sigma >0$）。因此，根據機率收斂的性質（我們假設$\mu \neq 0$）再次，$${\frac {\sqrt {S^{2}}}{\overline {X}}}\;{\overset {p}{\to }}\;{\frac {\sigma }{\mu }}$$，如預期的那樣。

$\Box$