為什麼不偏不倚並不意味著一致性
我正在閱讀 Ian Goodfellow 等人的深度學習。它引入了偏見 $$ Bias(\theta)=E(\hat\theta)-\theta $$ 在哪裡 $ \hat\theta $ 和 $ \theta $ 分別是估計參數和基礎實參數。
另一方面，一致性定義為 $$ \mathrm{lim}_{m\to\infty}\hat\theta_m=\theta $$ 這意味著對於任何 $ \epsilon > 0 $ , $ P(|\hat\theta_m-\theta|>\epsilon)\to0 $ 作為 $ m\to\infty $
然後它說一致性意味著無偏見，但反之則不然：
一致性確保估計量引起的偏差隨著數據示例數量的增加而減少。然而，反之則不然——漸近無偏並不意味著一致性。例如，考慮使用由 m 個樣本組成的數據集估計正態分佈 N (x; μ, σ2 ) 的平均參數 μ： $ {x^{(1)}, . . . , x^{(m)}} $ . 我們可以使用第一個樣本 $ x^{(1)} $ 數據集作為無偏估計量： $ \hatθ = x^{(1)} $ . 在這種情況下， $ E(\hat θ_m) = θ $ 所以無論看到多少數據點，估計器都是無偏的。當然，這意味著估計是漸近無偏的。但是，這不是一個一致的估計量，因為情況並非如此 $ \hatθ_m → θ $ 作為 $ m → ∞ $
我不確定我是否正確理解了上述段落以及不偏不倚和一致性的概念，希望有人能幫我檢查一下。提前致謝。
據我了解，一致性意味著無偏性和低方差，因此，僅憑無偏性不足以暗示一致性。
在該段落中，作者給出了一個極端的例子來說明無偏並不意味著隨機變量會收斂於任何事物。
作者正在隨機抽取樣本並想估計. 注意到，我們可以產生一個無偏估計通過忽略除第一點以外的所有數據. 但這顯然是一個糟糕的想法，因此僅憑無偏性並不是評估估算器的好標準。不知何故，隨著我們獲得更多數據，我們希望我們的估算器與，這正是一致性所說的：對於任何距離, 的概率超過遠離前往作為. 即使對於任何有限的 是有偏見的。這方面的一個例子是方差估計在正常樣本中。這是有偏見但一致的。
直觀地說，如果對所有可能的樣本進行平均，統計量恰好等於目標數量，那麼它就是無偏的。但我們知道，一堆事物的平均值不一定要接近被平均的事物。這只是一個更高級的版本和是, 雖然兩者都沒有也不特別接近（取決於您如何衡量“關閉”）。
這是另一個例子（儘管這幾乎只是偽裝的同一個例子）。讓然後讓. 我們的估算器將會. 注意所以我們確實有一個無偏估計量。但所以這個估計器肯定不會收斂到任何接近，並且對於每個我們實際上還有.