Correlation
相關輸入數據是否會導致神經網絡過度擬合？
在我看來，相關的輸入數據一定會導致神經網絡過度擬合，因為網絡會學習相關性，例如數據中的噪聲。
這個對嗎？
其實沒有。
這樣的問題有點籠統，並且混合了兩個並不真正相關的事情。過度擬合通常意味著與泛化描述相反的性質。從某種意義上說，過度擬合（或過度訓練）的網絡將具有較少的泛化能力。這種質量主要取決於網絡架構、訓練和驗證程序。數據及其屬性僅作為“訓練過程發生的東西”輸入。這或多或少是“課本知識”；你可以試試 James、Witten、Hastie 和 Tibshirani 的“統計學習簡介”。或者 Bishop 的“模式識別”（我最喜歡的關於一般主題的書）。或者“模式識別和機器學習”，也是 Bishop 的。
對於相關性本身：考慮具有一定維度的輸入空間。無論您使用什麼變換，維數都將保持不變——線性代數就是這樣說的。在一種情況下，給定的基數將完全不相關——這就是你得到的，當你去相關變量，或者簡單地應用 PAT（主軸變換）。拿任何線性代數書來做這件事。
由於具有適當架構的神經網絡可以對任何（！）函數進行建模，您可以放心地假設，它也可以首先對 PAT 進行建模，然後執行它也應該執行的任何操作——例如分類、回歸等。
您還可以將相關性視為一個特徵，它應該是神經網絡描述的一部分，因為它是數據的一個屬性。相關性的性質並不重要，除非它不應該成為數據的一部分。這實際上是一個不同的主題——您應該對輸入中的噪聲等進行建模或量化，並對其進行解釋。
所以，總而言之，沒有。相關數據意味著您應該更加努力地使數據處理在技術上更簡單、更有效。過度擬合可能會發生，但不會發生，因為存在相關數據。