Neural-Networks
什麼是神經網絡中好的初始權重？
我剛剛聽說，從範圍中選擇神經網絡的初始權重是個好主意， 在哪裡是給定神經元的輸入數。假設集合是標準化的 - 均值 0，方差 1（不知道這是否重要）。
為什麼這是個好主意？
我假設您正在使用邏輯神經元，並且您正在通過梯度下降/反向傳播進行訓練。
對於大的正輸入或負輸入，邏輯函數接近平坦。在輸入的導數是關於，但在導數是關於. 這意味著如果邏輯神經元的輸入是然後，對於給定的訓練信號，神經元將學習比輸入慢幾倍.
如果您希望神經元快速學習，您要么需要產生巨大的訓練信號（例如使用交叉熵損失函數），要么希望導數很大。為了使導數變大，您設置初始權重，以便您經常獲得範圍內的輸入.
您給出的初始權重可能有效，也可能無效。這取決於輸入的標準化方式。如果輸入歸一化為均值和標準差，然後是一個隨機總和權重一致的術語會有意思和方差， 獨立於. 您得到總和的概率是小。這意味著當你增加，您不會導致神經元開始飽和，因此它們不會學習。
對於未標準化的輸入，這些權重可能無法有效避免飽和。