如何對空間中的任意點實現 L2 正則化？

這是我在 Ian Goodfellow 的《深度學習》一書中讀到的內容。

在神經網絡的上下文中，“L2 參數範數懲罰通常稱為權重衰減。這種正則化策略使權重更接近原點 […]。更一般地說，我們可以將參數正則化為接近任何特定點在空間中”，但將模型參數正則化為零更為常見。（深度學習，Goodfellow 等人。）

我只是好奇。我理解通過簡單地在我們的成本函數中添加一個正則化項，並且通過最小化這個總成本我們可以影響模型的參數保持較小：

但是如何實現這種正則化策略的一個版本，將參數引導到任意點？（假設我們希望規範趨向於 5）

你實際上問了兩個不同的問題。

1. 範數趨於 5 意味著您希望權重位於以原點為中心、半徑為 5 的超球面的表面附近。這種正則化看起來像

但是你可以改用類似的東西， 我想。

2. 另一方面，如果你想趨向一個任意點，你只需要以那個點為中心.

引用自：https://stats.stackexchange.com/questions/300618