了解驗證和模型選擇的引導

我想我了解引導的基本原理是如何工作的，但我不確定我是否理解如何使用引導進行模型選擇或避免過度擬合。

例如，對於模型選擇，您是否會選擇在其引導樣本中產生最低誤差（可能是方差？）的模型？

是否有任何文本討論如何使用自舉進行模型選擇或驗證？

**編輯：**請參閱此線程和@mark999 的答案以了解此問題背後的更多上下文。

首先你必須決定你是否真的需要模型選擇，或者你只需​​要建模。在大多數情況下，根據維度，擬合靈活的綜合模型是首選。

bootstrap 是評估模型性能的好方法。最簡單的估計是方差。更重要的是，引導程序可以估計給定建模過程在尚未實現的新數據上可能的未來性能。

如果使用重採樣（引導或交叉驗證）來選擇模型調整參數和估計模型，則需要雙引導或嵌套交叉驗證。

一般來說，bootstrap 需要的模型擬合（通常約為 300 次）比交叉驗證（10 倍交叉驗證應重複 50-100 次以保持穩定性）更少。

一些模擬研究可以在http://biostat.mc.vanderbilt.edu/rms找到

引用自：https://stats.stackexchange.com/questions/14516