Pca

基於神經網絡的分類是否需要降維?

  • August 21, 2013

我正在使用基於神經網絡的分類器對我的數據進行 n 維分類。

然後我認為首先對我的數據運行像PCA這樣的降維可能是一個好主意,然後將PCA結果放入分類器(我保留3個PC)。但是,降維特徵的分類不如直接使用原始的高維特徵。

然後我發現這篇文章 NN as a DR1 討論了神經網絡作為一種降維方法。在本文中還可以找到一些信息 NN as a DR2 我現在很困惑:

  1. 如果我使用基於神經網絡的分類(在 Matlab 中),它會自動為我進行降維嗎?
  2. 在運行神經網絡分類之前,我應該像 PCA 一樣運行降維嗎?
  3. 是否還有其他原因導致 PCA 結果分類不如使用原始高維特徵?

原則上,PCA 執行的線性變換可以通過神經網絡的輸入層權重執行,因此嚴格來說沒有必要。然而,隨著網絡中權重數量的增加,能夠可靠地確定網絡權重所需的數據量也會增加(通常非常迅速),過度擬合成為一個更大的問題(使用正則化也是一個好主意)。降維的好處是它減少了網絡的大小,從而減少了訓練它所需的數據量。使用 PCA 的缺點是區分一個類與另一個類的判別信息可能在低方差分量中,因此使用 PCA 會使性能變差。

像統計模式識別中的大多數事情一樣,沒有一種方法可以可靠地解決所有問題,最好的辦法是嘗試兩種方法,看看哪種方法效果最好。

引用自:https://stats.stackexchange.com/questions/67986

comments powered by Disqus