Mathematical-Statistics
獲得交叉驗證 AUC 的適當方法
我在考慮交叉驗證以及它如何是最合適的方法……
讓我們以二元邏輯回歸為例，其目標是計算 AUC。
使用 k 折對數據進行分區。獲得交叉驗證 AUC 的正確方法是什麼：
使用 k-1 折訓練模型並預測第 k 折。計算 AUC 並重複，直到所有折疊都用作測試集。這將在最後給出 k AUC 值，我們將其平均以獲得交叉驗證的 AUC。
使用 k-1 折訓練模型並預測第 k 折。保存預測。重複直到所有折疊都作為測試集。這將給出一個預測向量，針對數據集中的每個主題。使用此預測向量和觀察到的響應向量計算 AUC。
我對交叉驗證的直覺和想法表明2）是正確的……
正如教務長在“ROC 分析簡介”中解釋的那樣，ROC 平均可以簡單地通過組合來自多個集合的分數來完成 $ T_1, …, T_k $ 正如您在方法（2）中建議的那樣。這比方法 (1) 更可取，因為平均實際 ROC 曲線可能非常困難，因為預計點的特異性（x 軸）值會有所不同。因此，您需要進行大量插值來平均曲線。另一個優點是方法 (2) 得到的曲線更平滑，更接近 AUC，因為分數低往往會低估 AUROC（至少在通過梯形規則計算時）。
但是，應該注意方法 (1) 的一個優點是它使您能夠估計 AUC 的方差。