Terminology
LASSO 正則化和 LASSO 懲罰之間有區別嗎?
我已經看到術語 LASSO 正則化和 LASSO 懲罰可以互換使用?這是正確的,它們是相同的還是有什麼不同?
謝謝!
在數學、統計學和物理學中,正則化是添加信息的過程,以使不適定問題可解決且表現良好,或迫使問題表現出已知可由適當解決方案滿足的某些性質;它特別適用於不適定優化問題中的目標函數。
關於套索,添加的信息與 $ \ell_1- $ 某些參數向量的範數,並且由於凸性和由以下形式的約束指定的多面體的極值點的幾何形狀$$ \sum_{j=1}^{p} \lvert \beta_j \rvert \leq t, $$和 $ t>0 $ 足夠大,這歸結為指定一些參數 $ \beta_j $ 消失。
儘管具有相同的含義,但據我所知,懲罰一詞主要由統計學家和數據科學家使用;它的優點是強調了一個事實,即通過懲罰偏離某種理想行為(例如稀疏性)的解決方案來規範問題。