Machine-Learning

如何識別卷積神經網絡中的過擬合?

  • March 28, 2016

我知道 dropout 用於減少網絡中的過度擬合。這是一種泛化技術。

在卷積神經網絡中如何識別過擬合?

我能想到的一種情況是,與測試或驗證的準確性相比,我的訓練準確性太高了。在這種情況下,模型會試圖過度擬合訓練樣本,而對測試樣本表現不佳。

這是指示是否應用 dropout 還是應該將 dropout 盲目添加到模型中的唯一方法,希望它能提高測試或驗證的準確性

在卷積神經網絡中如何識別過擬合?

比較訓練的性能(例如準確性)與測試或驗證的性能是唯一的方法(這是過度訓練的定義)。

在此處輸入圖像描述

是否應該盲目地將 dropout 添加到模型中,希望它能提高測試或驗證的準確性?

輟學通常會有所幫助,但最佳輟學率取決於數據集和模型。Dropout 也可以應用於網絡中的不同層。來自Optimizing Neural Network Hyperparameters with Gaussian Processes for Dialog Act Classification 的示例,IEEE SLT 2016。:

在此處輸入圖像描述

您可能還想提前停止:

在此處輸入圖像描述

引用自:https://stats.stackexchange.com/questions/204062

comments powered by Disqus