Regression

是否存在同時進行 L1 和 L2 正則化(又名彈性網)的線性回歸的貝葉斯解釋?

  • June 2, 2017

眾所周知,線性回歸懲罰等效於在給定係數的高斯先驗的情況下找到 MAP 估計。同樣,使用懲罰等效於使用拉普拉斯分佈作為先驗。

使用一些加權組合併不少見和正則化。我們可以說這相當於係數上的一些先驗分佈嗎(直覺上,它似乎必須如此)?我們可以給這個分佈一個很好的分析形式(可能是高斯和拉普拉斯的混合)?如果不是,為什麼不呢?

Ben 的評論可能就足夠了,但我提供了更多參考資料,其中一份來自 Ben 引用的論文之前。

Kyung 等人提出了貝葉斯彈性網絡表示。人。在他們的第 3.1 節中。雖然回歸係數的先驗是正確的,作者錯誤地寫下了混合表示。

Roy 和 Chakraborty最近提出了彈性網的修正貝葉斯模型(他們的方程 6)。作者還繼續提出了一個合適的 Gibbs 採樣器來從後驗分佈中採樣,並表明 Gibbs 採樣器以幾何速率收斂到平穩分佈。出於這個原因,除了漢斯的論文之外,這些參考資料可能會很有用。

引用自:https://stats.stackexchange.com/questions/283238

comments powered by Disqus