Variance

偏差-方差分解:預期平方預測誤差減去不可約誤差的項

  • April 12, 2017

哈斯蒂等人。“統計學習的要素”(2009 年)考慮了數據生成過程

和和. 他們提出了以下點的預期平方預測誤差的偏差-方差分解(第 223 頁,公式 7.9):

在我自己的工作中,我沒有具體說明但採取任意預測相反(如果這是相關的)。

**問題:**我正在尋找一個術語

或者,更準確地說,

我建議減少錯誤。這也是Gareth, Witten, Hastie & Tibshirani, An Introduction to Statistical Learning的第 2.1.1 段中採用的術語,這本書基本上是 ESL 的簡化 + 一些非常酷的 R 代碼實驗室(除了他們使用attach,但是,嘿,沒有人是完美的)。我將在下面列出該術語的優缺點的原因。


首先,我們必須記住,我們不僅假設均值為 0,但也獨立於(見第 2.6.1 段,ESL 公式 2.29,第 2版,第12次印刷)。那麼當然無法從, 無論哪個假設類(模型系列)我們選擇,以及我們使用多大的樣本來學習我們的假設(估計我們的模型)。這解釋了為什麼 稱為不可約誤差

以此類推,定義誤差的剩餘部分似乎很自然,,可約誤差。現在,這個術語可能聽起來有些混亂:事實上,在我們為數據生成過程所做的假設下,我們可以證明

因此,當 (當然假設我們有一個一致的估計)。如果,即使在無限樣本量的限制下,我們也無法將可約誤差降至 0。然而,它仍然是我們誤差中唯一可以通過改變樣本大小、在我們的估計器中引入正則化(收縮)等來減少(如果不能消除的話)的部分。換句話說,通過選擇另一個在我們的模型系列中。

基本上,reducible不是指可以歸零(糟糕!),而是指可以減少的那部分錯誤,即使不一定要任意小。另外,請注意,原則上這個誤差可以通過擴大來減少到 0直到包括. 相比之下,不能減少,無論多大是,因為.

引用自:https://stats.stackexchange.com/questions/273281

comments powered by Disqus