Lasso

能∥β∥2‖β‖2|beta^*|_2增加時λλlambda增加套索?

  • April 8, 2015

如果, 能夠增加時增加?

我認為這是可能的。雖然不增加時增加(我的證明),可以增加。下圖顯示了一種可能性。什麼時候增加,如果(線性)從到, 然後增加而減少。但我不知道如何構造一個具體的例子(即構造和),這樣的配置文件展示這種行為。有任何想法嗎?謝謝你。

在此處輸入圖像描述

答案是肯定的,你有一個圖形證明在那裡。

查找向量範數等價的定義。你會發現

在哪裡是向量的維度. 因此,有一定的迴旋餘地規範,相比規範。 實際上,您要解決的問題可以表述為:

尋找這樣

同時

將第一個不等式平方,展開並看到

並且,通過假設和,我們從必須有的第二個不等式中得到

任何滿足這些約束將增加規範同時減少規範。 在你的例子中,,, 和

引用自:https://stats.stackexchange.com/questions/145299

comments powered by Disqus

相關問答