Estimation
均方誤差是否用於評估一個估計器相對於另一個估計器的相對優勢？
假設我們有兩個估計器和對於某些參數. 為了確定哪個估計量“更好”，我們查看 MSE（均方誤差）嗎？換句話說，我們看
在哪裡是估計量的偏差，並且是估計量的方差？哪個具有更大的 MSE 是更差的估計量？
如果您有兩個相互競爭的估算器和, 是否
告訴你是更好的估算器完全取決於您對“最佳”的定義。例如，如果您正在比較無偏估計量，並且“更好”的意思是具有較低的方差，那麼，是的，這意味著更好。是一種流行的標準，因為它與最小二乘法和高斯對數似然有關，但與許多統計標準一樣，應該注意不要使用盲目地作為估計器質量的衡量標準，而不關注應用程序。 在某些情況下，選擇一個估計量來最小化可能不是一件特別明智的事情。想到兩個場景：
- 如果數據集中有非常大的異常值，那麼它們會極大地影響 MSE，因此最小化 MSE 的估計量可能會受到這些異常值的過度影響。在這種情況下，估計器最小化 MSE 的事實並不能真正告訴你太多，因為如果你刪除了異常值，你可以獲得一個完全不同的估計。從這個意義上說，MSE 對異常值並不“穩健”。在回歸的背景下，這個事實是 Huber M-Estimator（我在這個答案中討論的）的動機，它在存在長尾誤差時最小化不同的標準函數（即平方誤差和絕對誤差之間的混合） .
- 如果您正在估計有界參數，則比較s 可能不合適，因為在這種情況下，它會以不同的方式懲罰高估和低估。例如，假設您正在估計一個方差，. 那麼，如果你有意識地低估了你的數量最多可以，而高估會產生那遠遠超過，甚至可能是無限量的。
為了更清楚地說明這些缺點，我將給出一個具體的例子，說明由於這些問題，可能不是估計量質量的適當度量。
假設你有一個樣本從一個分佈與自由度，我們試圖估計方差，即. 考慮兩個相互競爭的估計器：
和清楚地這是一個事實可以使用該線程中討論的事實和-分佈。因此，樸素估計器在以下方面表現出色無論樣本大小，無論何時，這是相當令人不安的。它的表現也優於但這僅適用於非常小的樣本量。發生上述情況是因為具有小自由度的分佈，這使得容易出現非常大的值和因高估而受到重罰，而沒有這個問題。 這裡的底線是在這種情況下，不是適當的度量估計器性能。這很清楚，因為在以下方面占主導地位的估計量是荒謬的（特別是因為如果觀察到的數據有任何可變性，它就不可能是正確的）。也許更合適的方法（如 Casella 和 Berger 所指出的）是選擇方差估計器，最小化 Stein 的損失：
對低估和高估的懲罰一樣。它也讓我們回到理智，因為:)