Markov-Chain-Montecarlo

Gibbs 抽樣是 MCMC 方法嗎?

  • November 29, 2018

據我了解,它是(至少,維基百科是這樣定義的)。但是我發現了 Efron* 的這個聲明(強調):

馬爾可夫鏈蒙特卡洛 (MCMC) 是現代貝葉斯統計的巨大成功案例。**MCMC 及其姊妹方法“吉布斯抽樣”**允許在過於復雜而無法解析表達式的情況下對後驗分佈進行數值計算。

現在我很困惑。這只是術語上的微小差異,還是 Gibbs 採樣的不是 MCMC?

[*]:Efron 2011,“Bootstrap 和馬爾可夫鏈蒙特卡洛”

現在稱為Gibbs 採樣的算法形成馬爾可夫鏈,並對其輸入使用蒙特卡洛模擬,因此它確實屬於 MCMC(馬爾可夫鏈蒙特卡洛)方法的適當範圍。從歷史上看,這種方法至少可以追溯到 20 世紀中葉,但它並不為人所知,後來被Geman 和 Geman(1984)的開創性論文推廣,該論文研究了統計物理學與使用Gibbs 分佈(有關一些歷史參考資料,請參閱Casella 和 George 1992,第 167 頁)。

出於某種原因,在他的論文中,Efron 提到 Gibbs 採樣器,就好像它超出了 MCMC 的範圍。他在您給出的引文中以及在論文的其他一些部分中都這樣做了。由於他對該技術的開場引用是指“吉布斯採樣器”(用引號引起來),因此他可能暗示了一個歷史事實,即原始方法是通過統計物理學中的吉布斯分佈開發的,並且沒有被納入MCMC 的一般統計理論直到很久以後。這是我對他為什麼以這種方式提及它的最佳猜測。

**更新:**由於Efron 教授還活著,我冒昧地寫信給他,問他為什麼用這種方式描述 Gibbs 採樣器。以下是他的回复(經他許可轉載):

這主要是出於歷史原因……另一方面,Gibbs 算法看起來與 MCMC 配方完全不同,需要一些工作才能證明它在某種意義上是相同的。(Efron 2018,個人通信,原文省略號)

引用自:https://stats.stackexchange.com/questions/379508

comments powered by Disqus