Neural-Networks
用於測量神經網絡複雜性的 VC 維度有哪些替代方法？
我遇到了一些衡量神經網絡複雜性的基本方法：
- 樸素和非正式：計算神經元、隱藏神經元、層或隱藏層的數量
- VC 維度（Eduardo D. Sontag [1998] “神經網絡的 VC 維度” [ pdf ]。）
- 通過等價的過程粒度和漸近計算複雜度度量 $ TC^0_d $ .
還有其他選擇嗎？
首選：
- 如果復雜度度量可用於在相同尺度上測量來自不同範式的神經網絡（測量反向傳播、動態神經網絡、級聯相關等）。例如，VC 維可用於網絡上的不同類型（甚至神經網絡以外的事物），而神經元數量僅在激活函數、信號（基本和與尖峰）等非常特定的模型之間有用。網絡的屬性是一樣的。
- 如果它與網絡可學習的功能複雜性的標準度量有很好的對應關係
- 如果在特定網絡上計算指標很容易（不過，最後一個不是必須的。）
筆記
這個問題基於CogSci.SE上的一個更一般的問題。
您可能想看看 John Langford 和 Rich Caruana 的論文“(Not) Bounding the True Error (NIPS, 2001)
摘要指出：
我們提出了一種基於 PAC-Bayes 界限來界定連續值分類器的真實錯誤率的新方法。該方法首先通過確定模型中每個參數對噪聲的敏感程度來構建分類器的分佈。然後可以使用 PAC-Bayes 界嚴格限制通過敏感性分析找到的隨機分類器的真實錯誤率。在本文中，我們展示了人工神經網絡的方法，其結果與最佳確定性神經網絡界限相比提高了 2 3 個數量級。
它們表明您可以將 PAC-Bayes 樣式邊界應用於隨機神經網絡。然而，該分析僅適用於具有 sigmoid 傳遞函數的 2 層前饋神經網絡。在這種情況下，複雜度項僅取決於節點的數量和權重的方差。他們表明，對於這種設置，邊界有效地預測了何時會發生過度訓練。不幸的是，它並沒有真正擊中您的任何“首選”屬性！