在反向傳播中將所有初始權重設置為零的危險

為什麼用零初始化權重很危險？有沒有簡單的例子來證明它？

編輯見下面阿爾法的評論。我不是神經網絡方面的專家，所​​以我會聽從他的意見。

我的理解與此處發布的其他答案不同。

我很確定反向傳播涉及增加現有權重，而不是相乘。您添加的數量由delta 規則指定。請注意，wij 不會出現在等式的右側。

我的理解是，至少有兩個充分的理由不將初始權重設置為零：

• 首先，神經網絡往往會陷入局部最小值，因此給它們提供許多不同的起始值是個好主意。如果它們都從零開始，你就不能這樣做。
• 其次，如果神經元以相同的權重開始，那麼所有神經元將遵循相同的梯度，並且最終總是會彼此做同樣的事情。

引用自：https://stats.stackexchange.com/questions/27112