Regression

擬合線性模型後,是否可以將擬合殘差分解為偏差和方差?

  • October 22, 2017

我想將數據點分類為需要更複雜的模型或不需要更複雜的模型。我目前的想法是將所有數據擬合到一個簡單的線性模型中,並觀察殘差的大小來進行這種分類。然後,我閱讀了一些關於偏差和方差對誤差的貢獻,並意識到如果我可以直接計算偏差,那麼它可能是比使用總誤差(殘差或標準化殘差)更好的衡量標準。

是否可以使用線性模型直接估計偏差?有或沒有測試數據?交叉驗證在這裡有幫助嗎?

如果不是,是否可以使用線性模型的平均引導集合(我認為它稱為 bagging)來近似偏差?

**您通常不能將誤差(殘差)分解為偏差和方差分量。**原因很簡單,你通常不知道真正的功能。回想起那個然後是您希望估計的未知事物。

引導呢? 可以通過 bootstrap 估計估計器的偏差,但這與 bagging 模型無關,我不相信有一種方法可以使用 bootstrap 來評估因為自舉仍然基於某種關於真理的概念,儘管它的名字起源於它,但它不能從無到有地創造一些東西。

澄清:估計器中偏差的引導估計是

和是您計算的統計數據的平均值 引導樣本。此過程模擬從某些人群中抽樣併計算您感興趣的數量的過程。這僅適用於原則上可以直接從總體計算。偏差的引導估計評估插件估計(即僅對樣本而不是總體進行相同的計算)是否有偏差。

**如果您只想使用殘差來評估模型擬合,那是完全可能的。**如果您,正如您在評論中所說,想要比較嵌套模型和,您可以進行方差分析來檢查較大的模型是否顯著降低了誤差平方和。

引用自:https://stats.stackexchange.com/questions/309268

comments powered by Disqus