CNN xavier 權重初始化

在一些教程中，我發現有人說“Xavier”權重初始化（論文：了解訓練深度前饋神經網絡的難度）是初始化神經網絡權重的有效方法。

對於全連接層，這些教程中有一條經驗法則：

在哪裡是層權重的方差，初始化為正態分佈，,是父層和當前層中的神經元數量。

卷積層是否有類似的經驗法則？

我正在努力找出初始化卷積層權重的最佳方法。例如，在權重形狀為 的層中(5, 5, 3, 8)，因此內核大小為5x5，過濾三個輸入通道（RGB 輸入）並創建8特徵圖……是否會被3視為輸入神經元的數量？或者更確切地說75 = 5*5*3，因為輸入是5x5每個顏色通道的補丁？

我會接受兩者，一個澄清問題的具體答案或更“通用”的答案，解釋找到正確的權重初始化並最好鏈接源的一般過程。

在這種情況下，神經元的數量應該是5*5*3。

我發現它對卷積層特別有用。通常在區間內均勻分佈 $ [-c/(in+out), c/(in+out)] $ 也可以。

它在幾乎所有神經網絡庫中都作為一個選項實現。在這裡你可以找到 Keras 實現 Xavier Glorot 初始化的源代碼。

引用自：https://stats.stackexchange.com/questions/198840