引導中的 .632+ 規則是什麼？
這裡@gung 引用了 .632+ 規則。快速的 Google 搜索並不能得到一個易於理解的答案，即該規則的含義以及使用它的目的。有人能解釋一下 .632+ 規則嗎？
我將得到 0.632 估計器，但這將是一個有點長的發展：
假設我們要預測和使用功能， 在哪裡可能取決於使用數據估計的一些參數，例如
對預測誤差的天真估計是
在哪裡是一些損失函數，例如平方誤差損失。這通常被稱為訓練錯誤。埃夫隆等人。稱之為明顯錯誤率或重新替換率。這不是很好，因為我們使用我們的數據適合. 這導致被向下偏向。你想知道你的模型有多好在預測新值方面確實如此。 我們經常使用交叉驗證作為一種簡單的方法來估計預期的額外樣本預測誤差（我們的模型對不在我們訓練集中的數據的表現如何？）。
一種流行的方法是這樣做-折疊交叉驗證。將您的數據拆分為組（例如 10 個）。對於每組, 將您的模型擬合到剩餘的分組並在第組。我們交叉驗證的額外樣本預測誤差只是平均值
在哪裡是一些索引函數，指示觀察到的分區被分配並且是的預測值使用不在套。 當並且具有更大的方差並且對於更大的計算更昂貴. 因此，我們再次看到了偏差-方差權衡在起作用。
我們可以使用引導程序來估計額外樣本預測誤差，而不是交叉驗證。自舉重採樣可用於估計任何統計量的採樣分佈。如果我們的訓練數據是，那麼我們可以考慮取來自該集合的引導樣本（帶替換）其中每個是一組樣品。現在我們可以使用我們的引導樣本來估計額外樣本預測誤差：
在哪裡是預測值從模型擬合到引導數據集。不幸的是，這不是一個特別好的估計器，因為引導樣本用於生成可能包含. leave-one-out bootstrap estimator 通過模仿交叉驗證提供了改進，定義為：在哪裡是不包含觀察的引導樣本的索引集， 和是此類樣本的數量。解決了過擬合的問題，但是還是有偏差的（這個是上偏的）。偏差是由於帶放回抽樣導致的 bootstrap 樣本中的非明顯觀察結果。每個樣本中不同觀察值的平均數量約為（請參閱此答案以解釋為什麼每個 bootstrap 樣本平均包含大約三分之二的觀察值？）。為了解決偏差問題，Efron 和 Tibshirani 提出了 0.632 估計量： 在哪裡是預測誤差的天真估計，通常稱為訓練誤差。這個想法是平均一個向下偏向的估計和一個向上偏向的估計。 但是，如果我們有一個高度過擬合的預測函數（即) 那麼即使是 0.632 估計量也會向下偏斜。.632+ 估計器被設計為在和.
和
在哪裡是無信息錯誤率，通過評估所有可能的目標組合的預測模型來估計和預測器. . 這裡測量相對過擬合率。如果沒有過擬合（R=0，當) 這等於 .632 估計量。