有偏估計量的方差是否總是比無偏估計量小？
假設我正在估計其中一個參數。現在，如果我們繪製它的有偏估計量和無偏估計量，我們可以肯定地說有偏的估計量總是比無偏的估計量小。
我的想法：我的分析以某種方式告訴我這是真的，因為如果我們檢查偏差方差權衡，那麼顯然如果我們將偏差從 0 增加到某個值，那麼該數量將從使估計量達到峰值的方差部分中推導出來。
不
請記住，幾乎任何東西都可以是估算器，甚至是愚蠢的估算器。讓我們考慮兩個估計器 $ k $ 的 $ \chi^2_k $ . 拿一個 $ iid $ 樣本 $ X_1,\dots,X_n $ .
$$ \hat k_1=\bar X \ \hat k_2=\sum_{i=1}^nX_i=n\bar X $$
$ \hat k_1 $ 是無偏的，而 $ \hat k_2 $ 是有偏見的。但是，有哪些差異？
$$ \mathbb{V}(\hat k_1)=2k/n\ <\ \mathbb{V}(\hat k_2)= 2nk \ \forall n>1 $$
有你的反例。 $ \square $
但是，我看到您在設置中至少犯了兩個錯誤。
- 多個估計器可以是無偏的。例如，樣本均值、樣本中值和第一次觀察（不是一階統計量）是正態分佈均值的無偏估計量。（事實上， $ j^{th} $ 只要分佈具有均值，從分佈中提取的觀察（非順序統計量）就是均值的無偏估計量。）
- 對於有偏估計量和無偏估計量，MSE 不必相同。事實上，我們傾向於選擇有偏估計量而不是無偏估計量，因為方差的減少導致 MSE 降低。
編輯
一個更簡單的例子，我們正在估計 $ \mu $ 的 $ N(\mu, \sigma^2) $ ：
$$ \hat\mu_1=\bar X\ \hat\mu_2=\bar X+ 1 $$
兩者俱有相同的方差，但只有 $ \hat \mu_1 $ 是公正的。
編輯 2
如果一個參數的兩個估計量 $ \theta $ , 一偏 $ (\hat\theta_1) $ 一定數量 $ b $ 和一個公正的 $ (\hat\theta_2) $ , 有相同的 $ MSE $ ，那麼一定是有偏估計量的方差較低。讓 $ MSE(\hat\theta_1) = MSE(\hat\theta_2) = M $ .
$$ (\text{bias}(\hat\theta_1))^2 + \mathbb{Var}(\hat\theta_1) = M = (\text{bias}(\hat\theta_2))^2 + \mathbb{Var}(\hat\theta_2) $$$$ b^2 + \mathbb{Var}(\hat\theta_1) = 0 + \mathbb{Var}(\hat\theta_2) $$$$ \mathbb{Var}(\hat\theta_1) = \mathbb{Var}(\hat\theta_2) - b^2 $$$$ \implies\mathbb{Var}(\hat\theta_1) > \mathbb{Var}(\hat\theta_2) $$
（我承認我不知道如果我們處理複數會發生什麼（所以 $ b^2<0 $ 是可能的），儘管我會想像 $ MSE $ 在那種情況下，就像 $ MSE(\hat\theta) = (\text{bias}(\hat\theta)) \overline{(\text{bias}(\hat\theta))} + \mathbb{Var}(\hat\theta) $ .)