Classification

為什麼研究人員使用 10 折交叉驗證而不是在驗證集上進行測試?

  • February 10, 2013

我已經閱讀了很多關於情感分類和相關主題的研究論文。

他們中的大多數使用 10 倍交叉驗證來訓練和測試分類器。這意味著沒有進行單獨的測試/驗證。這是為什麼?

這種方法的優點/缺點是什麼,尤其是對於那些從事研究的人?

如果 CV 是嵌套的,這不是問題,即所有優化、特徵選擇和模型選擇,無論它們本身是否使用 CV,都包含在一個大 CV 中。

這與擁有額外的驗證集相比如何?雖然驗證集通常只是整個數據中或多或少隨機選擇的一部分,但它只是相當於 CV 的一次迭代。為此,它實際上是一種更糟糕的方法,因為它很容易受到(希望)幸運/不幸選擇或精心挑選的驗證集的影響。

唯一的例外是對象順序很重要的時間序列和其他數據;但無論哪種方式,它們都需要特殊處理。

引用自:https://stats.stackexchange.com/questions/49692

comments powered by Disqus