權重歸一化與批量歸一化的優缺點

一般來說，權重歸一化與批量歸一化，特別是卷積神經網絡的優缺點是什麼？

批次規範：

• **(+)**批量大時穩定
• **(+)**對輸入數據的規模和變化具有魯棒性（在訓練中）
• **(+)**對權重向量的規模有魯棒性
• **(+)**訓練時更新規模減小
• **(-)**不適合在線學習
• **(-)**不適合 RNN、LSTM
• **(-)**訓練和測試的不同計算

體重標準：

• (+) CNN 上的計算成本更小
• **(+)**對權重初始化深思熟慮
• **(+)**實施很容易
• **(+)**對權重向量的規模有魯棒性
• **(-)**與其他人相比，訓練可能不穩定
• **(-)**對輸入數據的高度依賴

層規範：

• **(+)**對小批量 RNN 有效
• **(+)**對輸入規模的魯棒性
• **(+)**對權重矩陣的尺度和移位具有魯棒性
• **(+)**訓練時更新規模減小
• **(-)**可能對 CNN 不利（在某些情況下，Batch Norm 更好）

引用自：https://stats.stackexchange.com/questions/304755