有偏估計量的方差是否總是比無偏估計量小？

假設我正在估計其中一個參數。現在，如果我們繪製它的有偏估計量和無偏估計量，我們可以肯定地說有偏的估計量總是比無偏的估計量小。

我的想法：我的分析以某種方式告訴我這是真的，因為如果我們檢查偏差方差權衡，那麼顯然如果我們將偏差從 0 增加到某個值，那麼該數量將從使估計量達到峰值的方差部分中推導出來。

不

請記住，幾乎任何東西都可以是估算器，甚至是愚蠢的估算器。讓我們考慮兩個估計器 k 的 χ2k . 拿一個 iid 樣本 X1,…,Xn .

ˆk1=ˉX ˆk2=n∑i=1Xi=nˉX

ˆk1 是無偏的，而 ˆk2 是有偏見的。但是，有哪些差異？

V(ˆk1)=2k/n < V(ˆk2)=2nk ∀n>1

有你的反例。 ◻

但是，我看到您在設置中至少犯了兩個錯誤。

1. 多個估計器可以是無偏的。例如，樣本均值、樣本中值和第一次觀察（不是一階統計量）是正態分佈均值的無偏估計量。（事實上， jth 只要分佈具有均值，從分佈中提取的觀察（非順序統計量）就是均值的無偏估計量。）
2. 對於有偏估計量和無偏估計量，MSE 不必相同。事實上，我們傾向於選擇有偏估計量而不是無偏估計量，因為方差的減少導致 MSE 降低。

編輯

一個更簡單的例子，我們正在估計 μ 的 N(μ,σ2) ：

ˆμ1=ˉX ˆμ2=ˉX+1

兩者俱有相同的方差，但只有 ˆμ1 是公正的。

編輯 2

如果一個參數的兩個估計量 θ , 一偏 (ˆθ1) 一定數量 b 和一個公正的 (ˆθ2) , 有相同的 MSE ，那麼一定是有偏估計量的方差較低。讓 MSE(ˆθ1)=MSE(ˆθ2)=M .

(bias(ˆθ1))2+Var(ˆθ1)=M=(bias(ˆθ2))2+Var(ˆθ2)

b2+Var(ˆθ1)=0+Var(ˆθ2)

Var(ˆθ1)=Var(ˆθ2)−b2

⟹Var(ˆθ1)>Var(ˆθ2)

（我承認我不知道如果我們處理複數會發生什麼（所以 b2<0 是可能的），儘管我會想像 MSE 在那種情況下，就像 MSE(ˆθ)=(bias(ˆθ))¯(bias(ˆθ))+Var(ˆθ) .)

引用自：https://stats.stackexchange.com/questions/546635