Normal-Distribution
最大似然估計——儘管在許多情況下存在偏見，但為什麼要使用它
最大似然估計經常導致有偏差的估計量（例如，它對樣本方差的估計對高斯分佈有偏差）。
那麼是什麼讓它如此受歡迎呢？為什麼它被使用這麼多？此外，有什麼特別使它比另一種方法——矩方法更好？
此外，我注意到對於高斯，MLE 估計器的簡單縮放使其無偏。為什麼這種縮放不是標準程序？我的意思是——為什麼在 MLE 計算之後，找到必要的縮放比例以使估計器無偏不是例行公事？標準做法似乎是 MLE 估計的簡單計算，當然除了眾所周知的比例因子眾所周知的高斯情況。
不偏不倚本身並不一定特別重要。
除了非常有限的一組情況外，大多數有用的估計器都是有偏差的，無論它們是如何獲得的。
如果兩個估計量具有相同的方差，那麼人們可以很容易地提出一個論點來支持一個無偏的估計而不是有偏的估計，但這是一種不尋常的情況（也就是說，在其他條件不變的情況下，你可能會合理地更喜歡無偏性——但那些討厭的其他條件幾乎從來沒有paribus）。
更典型的是，如果你想要公正，你會增加一些差異來獲得它，然後問題是你為什麼要這樣做？
偏差是我的估計器的預期值平均過高的程度（負偏差表示過低）。
當我考慮一個小樣本估計器時，我並不真正關心這一點。在這種情況下，我通常對我的估計器的錯誤程度更感興趣——我與右邊的典型距離……像均方根誤差或平均絕對誤差這樣的東西會更有意義。
因此，如果您喜歡低方差和低偏差，那麼要求最小均方誤差估計器是有意義的；這些很少是公正的。
偏差和無偏性是一個需要注意的有用概念，但除非您只是比較具有相同方差的估計量，否則它並不是一個特別有用的屬性。
ML 估計器往往是低方差的；它們通常不是最低 MSE，但它們的 MSE 通常低於將它們修改為不偏不倚（當你可以做到時）會給你的。
例如，考慮從正態分佈抽樣時估計方差（事實上，方差的 MMSE 總是比）。