Bayesian

拉普拉斯分佈是否存在共軛先驗?

  • February 3, 2014

拉普拉斯分佈是否存在共軛先驗?如果沒有,是否有一個已知的封閉形式表達式來近似拉普拉斯分佈參數的後驗?

我在谷歌上搜索了很多都沒有成功,所以我目前對上述問題的猜測是“否”……

至少有點。讓我們先一個一個地看它們(把另一個當作給定的)。

從鏈接(修改為遵循使用希臘符號作為參數的約定):

$ f(x|\mu,\tau) = \frac{1}{2\tau} \exp \left( -\frac{|x-\mu|}{\tau} \right) , $

-比例參數

$ \cal{L}(\tau) \propto \tau^{-k-1} e^{-\frac{S}{\tau}} , $

對於某些值 $ k $ 和 $ S $ . 那就是可能性是反伽馬形式。

所以比例參數有一個共軛先驗——通過檢查共軛先驗是反伽瑪。

-位置參數

這確實更棘手,因為 $ \sum_i|x_i-\mu| $ 沒有簡化成方便的東西 $ \mu $ ; 我認為沒有任何方法可以“收集條款”(在某種程度上是這樣,但無論如何我們都不需要)。

統一的先驗只會截斷後驗,如果這看起來像先驗一樣合理,那麼使用它並不是那麼糟糕。

一種可能偶爾有用的有趣可能性是,通過使用偽觀察很容易包含拉普拉斯先驗(與數據具有相同比例的先驗)。也可以通過幾個偽觀察來近似其他一些(更嚴格的)先驗)

事實上,從這一點進行概括,如果我使用的是拉普拉斯,我很想簡單地從恆定尺度恆定重量概括為使用拉普拉斯的加權觀察版本(等效地,可能不同的尺度每個數據點) - 對數似然仍然只是一個連續的分段線性函數,但斜率可以在連接點處以非整數量變化。然後存在一個方便的“共軛”先驗——只是另一個“加權”拉普拉斯,或者實際上是任何形式的 $ \exp(-\sum_j |\mu-\theta_j|/\phi_j) $ 或者 $ \exp(-\sum_j w^*_j|\mu-\theta_j|) $ (儘管它需要適當縮放以產生實際密度) - 一個非常靈活的分佈族,顯然導致後驗“與加權觀察可能性具有相同形式”,並且易於使用和畫; 事實上,即使是偽觀察的東西仍然有效。

它也足夠靈活,可以用來逼近其他先驗。

(更一般地,人們可以在對數尺度上工作並使用連續的分段線性對數凹先驗,後驗也將採用這種形式;這將包括不對稱拉普拉斯作為特例)

例子

只是為了表明它很容易處理 - 下面是加權拉普拉斯位置參數的先驗(灰色虛線)、可能性(虛線、黑色)和後驗(實線、紅色)(…… )。

在此處輸入圖像描述

我認為加權拉普拉斯方法在 MCMC 中會很好地工作。

我想知道得到的後驗模式是否是加權中位數?

  • 實際上(回答我自己的問題),看起來答案是“是”。這使得使用起來相當不錯。

聯合先驗

顯而易見的方法是寫 $ f(\mu,\tau)=f(\mu|\tau)f(\tau) $ : 會比較容易 $ \mu|\tau $ 以與上述相同的形式 - 其中 $ \tau $ 可以是先驗的比例因子,因此先驗將相對於 $ \tau $ - 然後是逆伽馬 $ \tau $ ,無條件。

毫無疑問,對於聯合先驗更一般的東西是很有可能的,但我認為我不會在此進一步探討聯合案例。

我以前從未見過或聽說過這種加權拉普拉斯先驗方法,但是想出它相當簡單,所以它可能已經完成了。(如果有人知道,歡迎參考。)

如果根本沒有人知道任何參考資料,也許我應該寫一些東西,但這將是驚人的。

引用自:https://stats.stackexchange.com/questions/84340

comments powered by Disqus