dropout：機器學習神經網絡中的前向道具 VS 後退道具

關於dropout，我們知道在前向傳播中，一些神經元被置為“零”（即關閉）。反向傳播怎麼樣？

這些丟失的神經元在反向傳播期間是否也為零（關閉）？

感謝

參考這個鏈接，好像不是很清楚……： Dropout backpropagation implementation

是的，在反向傳播過程中神經元也被認為是零。否則dropout什麼都做不了！請記住，訓練期間的前向傳播僅用於為反向傳播設置網絡，其中網絡實際被修改（以及跟踪訓練錯誤等）。

一般來說，重要的是要在後退步驟中考慮您在前進步驟中所做的任何事情- 否則您正在計算與您正在評估的不同函數的梯度。

例如，它在 Caffe 中的實現方式是（可以從源代碼驗證）：

• 在前向傳播中，輸入以概率設置為零，否則按比例放大.
• 在反向傳播中，相同丟棄單元的梯度被歸零；其他梯度按相同比例放大.

引用自：https://stats.stackexchange.com/questions/219236