我從深度學習開始，我有一個問題我找不到答案，也許我沒有正確搜索。我已經看到了這個答案，但仍然不清楚什麼是重量衰減損失以及它與損失函數的關係。
權重衰減指定神經網絡中的正則化。
在訓練期間，將正則化項添加到網絡的損失中以計算反向傳播梯度。該weight decay值決定了這個正則化項在梯度計算中的主導地位。
根據經驗，您擁有的訓練示例越多，該術語應該越弱。您擁有的參數越多，這個術語就應該越高。
因此，權重衰減是一個懲罰大權重的正則化項。當權重衰減係數大時，大權重的懲罰也大，小權重可以自由增長。
所以，現在如果你回到閱讀你在問題中鏈接的答案，現在就完全有意義了。
引用自：https://stats.stackexchange.com/questions/273189