Cross-Validation
是否有使用 k 折交叉驗證分數的標準差來選擇最佳模型的經驗法則？
假設我正在使用 10 倍交叉驗證比較 60 種不同的模型超參數值組合。很容易選擇平均精度最高的超參數組合。但是，在決定最佳超參數組合時，是否應該使用精度的標準差？如果是這樣，任何特別的經驗法則（例如，使用在標準偏差方面具有最高平均準確度的超參數組合）
有點。有所謂的“一個標準誤差規則”，它確實使用了預測誤差估計的標準偏差，儘管與您提到的方式不同：相反，您將標準偏差除以估計數的平方根形成平均估計的標準誤差。
一個標準誤差規則說：選擇最簡單的模型，其平均估計預測誤差在最佳性能模型的估計預測誤差的 1 個標準誤差內。在實踐中，“最簡單模型”通常意味著“最強正則化模型”。當然，“表現最佳的模型”是所有測試模型中平均估計預測誤差最低的模型。
說得更清楚一點，這條規則說我們要選擇最簡單的模型，它在本質上仍然和最好看的模型一樣好——最好看的模型可能要復雜得多，儘管只有微小的增長。表現。