如果只對預測感興趣，為什麼要在山脊上使用套索？

在An Introduction to Statistical Learning的第 223 頁上，作者總結了嶺回歸和 lasso 之間的差異。它們提供了一個示例（圖 6.9），說明“lasso 在偏差、方差和 MSE 方面往往優於嶺回歸”。

我理解為什麼套索是可取的：它會導致稀疏的解決方案，因為它將許多係數縮小到 0，從而產生簡單且可解釋的模型。但是我不明白當只對預測感興趣時它如何能勝過嶺（即在示例中它如何獲得顯著降低的 MSE？）。

使用嶺，如果許多預測變量對響應幾乎沒有影響（少數預測變量影響很大），它們的係數不會簡單地縮小到非常接近零的一個小數字……導致非常類似於套索的東西? 那麼為什麼最終模型的性能會比 lasso 差呢？

你問這個問題是對的。一般來說，當使用適當的準確度評分規則（例如，均方預測誤差）時，嶺回歸將優於 lasso。Lasso 花費了一些信息來試圖找到“正確的”預測變量，在許多情況下它甚至不擅長這樣做。兩者的相對性能將取決於真實回歸係數的分佈。如果您實際上有一小部分非零係數，那麼 lasso 可以表現得更好。就我個人而言，當對預測準確性感興趣時，我幾乎一直使用 ridge。

引用自：https://stats.stackexchange.com/questions/331782