Lasso

彈性網比套索有什麼缺點嗎?

  • May 9, 2018

與套索相比,使用彈性網有什麼缺點。我知道彈性網絡能夠選擇高度相關的變量組。

  1. 不存在選擇多於的問題預測器何時. 而當套索飽和時.
  2. 當存在高度相關的預測變量時,套索傾向於只從組中選擇一個預測變量。
  3. 什麼時候並且預測變量是相關的,lasso 的預測性能小於 ridge。

套索的所有這些缺點都被彈性網克服了。

我不明白什麼時候應該使用套索?當彈性網的性能優於套索時,是否有任何理由使用它?在某些情況下使用彈性網有什麼缺點?在哪些情況下套索會是更好的選擇?

一個缺點是計算成本。您需要交叉驗證 L1 與 L2 懲罰的相對權重,,這會增加計算成本網格。

另一個缺點(但同時也是一個優點)是估算器的靈活性。更大的靈活性會增加過度擬合的可能性。可能是最優的對於總體和給定的樣本量是,將彈性網絡變成套索,但您碰巧選擇了不同的值(因為該值在特定樣本中進行交叉驗證時會提供更好的性能)。

引用自:https://stats.stackexchange.com/questions/345343

comments powered by Disqus