Regularization
為什麼正則化項添加到成本函數（而不是相乘等）？
每當使用正則化時，它通常被添加到成本函數中，例如以下成本函數。
這對我來說很直觀，因為最小化成本函數意味著同時最小化誤差（左項）和最小化係數的大小（右項）（或至少平衡兩個最小化）。 我的問題是為什麼這個正則化術語添加到原始成本函數而不是乘以其他東西，這保持了正則化思想背後的動機精神？是因為如果我們簡單地在其上添加術語就足夠簡單並且使我們能夠分析地解決這個問題，還是有一些更深層次的原因？
它在貝葉斯框架中有很好的直覺。考慮正則化成本函數與參數配置的概率具有相似的作用鑑於觀察. 應用貝葉斯定理，我們得到：
取表達式的對數給我們：
現在，讓我們說是負1對數後驗，. 由於最後一項不依賴於，我們可以在不改變最小值的情況下省略它。你剩下兩個術語：1）可能性術語根據和, 和 2) 前項根據只要。這兩項與公式中的數據項和正則化項完全對應。
您可以進一步證明您發布的損失函數與以下模型完全對應：
其中參數來自零均值高斯分佈和觀察具有零均值高斯噪聲。有關更多詳細信息，請參閱此答案。
1否定，因為您希望最大化概率但最小化成本。