Unbiased-Estimator
一致的估計量和無偏的估計量有什麼區別？
一致的估計量和無偏的估計量有什麼區別？
這些術語的精確技術定義相當複雜，很難直觀地理解它們的含義。我可以想像一個好的估算器和一個壞的估算器，但我無法看到任何估算器如何滿足一個條件而不是另一個條件。
在不使用太多技術語言的情況下定義這兩個術語：
- 如果隨著樣本量的增加，估計（由估計器產生）“收斂”到被估計參數的真實值，則估計器是**一致的。**稍微更精確一點——一致性意味著，隨著樣本量的增加，估計量的抽樣分佈越來越集中在真實的參數值上。
- 如果平均而言，估計量達到真實參數值，則估計量是**無偏的。**也就是說，估計器的採樣分佈的均值等於真實的參數值。
- 兩者不等價：無偏性是關於估計量的抽樣分佈的期望值的陳述。一致性是關於隨著樣本量的增加而“估計量的抽樣分佈將走向何方”的陳述。
當然有可能滿足一個條件，但不能滿足另一個條件——我將舉兩個例子。對於這兩個示例，請考慮一個樣本 $ X_1, …, X_n $ 從一個 $ N(\mu, \sigma^2) $ 人口。
- **無偏見但不一致：**假設您正在估計 $ \mu $ . 然後 $ X_1 $ 是一個無偏估計量 $ \mu $ 自從 $ E(X_1) = \mu $ . 但， $ X_1 $ 不一致，因為它的分佈沒有變得更加集中 $ \mu $ 隨著樣本量的增加 - 它總是 $ N(\mu, \sigma^2) $ ！
- **一致但並非無偏見：**假設您正在估算 $ \sigma^2 $ . 最大似然估計是$$ \hat{\sigma}^2 = \frac{1}{n} \sum_{i=1}^{n} (X_i - \overline{X})^2 $$在哪裡 $ \overline{X} $ 是樣本均值。這是一個事實$$ E(\hat{\sigma}^2) = \frac{n-1}{n} \sigma^2 $$可以使用此處的信息得出。所以 $ \hat{\sigma}^2 $ 對於任何有限的樣本量都是有偏差的。我們也可以很容易地得出$$ {\rm var}(\hat{\sigma}^2) = \frac{ 2\sigma^4(n-1)}{n^2} $$從這些事實中，我們可以非正式地看到， $ \hat{\sigma}^2 $ 越來越集中在 $ \sigma^2 $ 隨著樣本量的增加，因為均值收斂到 $ \sigma^2 $ 並且方差收斂到 $ 0 $ . （注意：這確實構成了一致性證明，使用與此處答案中使用的論據相同的論據）