Regression
隨機矩陣的稀疏誘導正則化
眾所周知（例如在壓縮傳感領域），norm 是“稀疏誘導的”，從某種意義上說，如果我們最小化泛函（對於固定矩陣和矢量)
對於足夠大，我們可能有很多選擇,， 和在結果中有許多完全為零的條目. 但是如果我們最小化受條件的條目為正且總和為，那麼術語沒有任何效果（因為通過法令）。有沒有類似的-type 正則化器，在這種情況下工作以鼓勵結果稀疏嗎？
創建稀疏解的一般方法是通過具有未知方差的零均值正態先驗的 MAP 估計。
如果你然後分配一個之前它的模式為零，那麼後驗模式通常是稀疏的。這通過採用指數混合分佈從這種方法中產生。
然後你得到
一些替代方案是廣義雙帕累托、半柯西、倒置貝塔。從某種意義上說，這些比套索更好，因為它們不會縮小大值。事實上，我很確定廣義雙帕累托可以寫成指數的混合。那就是我們寫然後先放置一個伽瑪 . 我們得到：
請注意，我已經包含了規範化常量，因為它們有助於選擇好的全局參數。現在，如果我們應用範圍限制，那麼我們會遇到一個更複雜的問題，因為我們需要對單純形進行重新歸一化。
稀疏誘導懲罰的另一個一般特徵是它們在零處不可微。通常這是因為左右界限的符號相反。
這是基於 Nicolas Polson 和 James Scott 在方差均值混合表示上的出色工作，他們使用該表示來開發 TIRLS - 將最小二乘法大規模擴展到非常大的損失懲罰組合類別。
作為替代方案，您可以使用在單純形上定義的先驗，但在邊際分佈中的模式為零。一個例子是所有參數都在 0 和 1 之間的狄利克雷分佈。隱含的懲罰如下所示：
在哪裡. 但是，由於懲罰具有奇異性，因此在數值優化時需要小心。更穩健的估計過程是使用後驗均值。儘管您失去了精確的稀疏性，但您將獲得許多接近於零的後驗均值。