Scikit-Learn

套索懲罰僅適用於回歸量的子集

  • October 9, 2017

以前有人問過這個問題,但沒有回應,所以我想我可能會再問一次。

我有興趣將 Lasso 懲罰應用於回歸量的某些子集,即具有目標函數

套索僅適用於但參與重建。

這背後有什麼理論嗎?其次,無論如何在sklearn中可以做到這一點?

讓是在列空間上的正交投影. 我們有那個

在哪裡

滿足對所有人自從對所有人. 考慮到這句話中的情況是滿級,我們還有那個自從在這種情況下。 將其代入第一個優化問題,我們看到

可以通過通常的套索計算工具進行評估。正如 whuber 在他的評論中所暗示的那樣,這個結果是直觀的,因為不受限制的係數可以覆蓋的跨度, 所以只有空間中與跨度正交的部分評估時值得關注. 儘管符號稍微更通用,但幾乎所有使用過 lasso 的人都熟悉這個結果。要看到這一點,假設是(長度) 的向量,代表截距。然後,投影矩陣, 並且, 對於任何向量, 正交投影只是貶低向量。考慮方程,這正是人們在計算 lasso 係數時所做的!他們貶低數據,因此不必考慮攔截。

引用自:https://stats.stackexchange.com/questions/307099

comments powered by Disqus