交叉驗證中條件測試錯誤與預期測試錯誤的含義
我關於交叉驗證的教科書是Hastie 等人的 The Elements of Statistical Learning 。（第 2 版）。在 7.10.1 和 7.12 節中，他們討論了條件測試錯誤之間的區別
和預期的測試錯誤 這裡是訓練數據集，是損失函數，是訓練的模型.是期望。 他們解釋說，CV 只能很好地估計預期的測試誤差。
我的問題是，我們有什麼理由關心條件測試錯誤？
我能想到的唯一原因是我們想回答“如果上帝讓表上的數據集，但只能讓我們帶回家 1 個來擬合我們的模型，我們應該選擇哪一個？
我認為您可能誤解了條件測試錯誤。這可能是因為 Hastie、Friedman 和 Tibshirani (HFT) 的術語不一致，有時將相同的概念稱為“測試錯誤”、“泛化錯誤”、“獨立測試集上的預測錯誤”、“真實條件錯誤” ，或“實際測試錯誤”。
不管名稱如何，這是您在特定訓練集上擬合的模型的平均誤差當應用於從 (X,Y) 對的分佈中提取的示例時會發生。如果每次擬合模型出現錯誤時您都會虧損（或者如果您談論回歸，則與錯誤成正比），這是您每次使用分類器時平均虧損的金額。 可以說，對於已適合特定訓練集的模型，這是最自然的事情。
一旦明白這一點，真正的問題是為什麼要關心預期的測試錯誤！（HFT 也將此稱為“預期預測誤差”。）畢竟，它是您通常永遠不會使用的各種訓練集的平均值。（順便說一句，HFT 似乎打算在定義預期測試錯誤時對特定大小的訓練集進行平均，但他們從來沒有明確說過這一點。）
原因是預期測試錯誤是學習算法的一個更基本的特徵，因為它平均了你是否幸運地使用了特定的訓練集。
正如您所提到的，HFT 顯示 CV 估計預期測試誤差比估計條件測試誤差更好。如果您正在比較機器學習算法，這是幸運的，但如果您想知道您適合特定訓練集的特定模型的效果如何，那就不幸了。