是否有一個典型的例子來說明嶺何時勝過套索？

有人可以給我一個例子，說明 ridge 何時會執行套索嗎？

在大多數情況下套索不會做得更好嗎？如果一個回歸器的係數很大，這意味著該回歸器是一個很好的預測器，所以如果我們使用嶺，我們會更多地懲罰這個係數。那不是很糟糕嗎？Lasso 將更多地懲罰較小的係數而減少較大的係數，因為 ridge 平方損失函數中的係數（L2 範數），而 lasso 只是 L1 範數。

我們想要更少的係數來防止過度擬合，那麼套索不是總是更好嗎？

如果有 2 個好的回歸器和 15 個壞的回歸器，Lasso 顯然會更好，是否有一個典型的例子說明 ridge 何時會優於 lasso？

兩種模型都使用懲罰函數來懲罰包含非零係數。LASSO 回歸以與係數的絕對大小成比例的方式進行懲罰，而嶺回歸以與係數的平方成比例的方式進行懲罰。兩種模型都不懲罰係數設置為零的似然函數中的輸入。對於係數非零的似然函數的輸入，LASSO 回歸對接近零的值的懲罰更重，而嶺回歸對遠離零的值的懲罰更重。（在您的問題中，您似乎錯誤地認為平方值總是大於絕對值。事實並非如此。對於幅度小於 1 的輸入值，絕對值大於平方。）

直覺告訴我們，相對於回歸中的噪聲，在真正的非零係數接近於零的情況下，嶺回歸往往會優於 LASSO 回歸。在這種情況下，嶺回歸對這些值的懲罰較少，因此更有可能為這些係數估計非零值。LASSO 回歸對這些係數的懲罰更大，因此更有可能錯誤地將它們估計為零。基於這種直覺，我建議您將這些模型與回歸生成的一些數據進行比較，這些數據的係數相對於回歸中的噪聲較小。如果您要對這樣的案例進行模擬研究，您應該會發現在這些案例中嶺回歸往往優於 LASSO。

引用自：https://stats.stackexchange.com/questions/446367