Markov-Chain-Montecarlo

Gibbs Sampling 算法是否保證詳細的平衡?

  • October 9, 2014

我根據最高權威1認為,吉布斯抽樣是用於馬爾可夫鏈蒙特卡洛抽樣的 Metropolis-Hastings 算法的一個特例。MH算法總是給出一個具有詳細平衡性的轉移概率;我希望 Gibbs 也應該這樣做。那麼在下面的簡單案例中,我哪裡出錯了?

用於目標分佈在兩個離散(為簡單起見)變量上,完整的條件分佈是:

據我了解吉布斯採樣,轉移概率可以寫成:

問題是,是否

但我能得到的最接近的是

這是微妙的不同,並不意味著詳細的平衡。感謝您的任何想法!

您試圖顯示馬爾可夫鏈的詳細平衡,這是通過將馬爾可夫鏈的一個轉換視為“吉布斯掃描”,您從其條件分佈中依次對每個組件進行採樣。對於這個鏈條,詳細的平衡是不滿足的。關鍵是,從其條件分佈中對特定組件的每次採樣都是滿足詳細平衡的過渡。更準確地說,Gibbs 抽樣是略微概括的 Metropolis-Hastings 的特例,您可以在多個不同的提議之間交替。更多細節如下。

掃描不滿足細節平衡

我構建了一個反例。考慮兩個伯努利變量 (),概率如下表所示:

假設 Gibbs 掃描是有序的,使得首先被採樣。從州搬家陳述一步是不可能的,因為它需要從到. 然而,從到具有正概率,即. 因此,我們得出結論,不滿足詳細平衡。 但是,該鏈仍然具有正確的平穩分佈。詳細平衡是收斂到目標分佈的充分條件,但不是必要條件。

組件方面的移動滿足詳細的平衡

考慮一個雙變量狀態,我們從其條件分佈中對第一個變量進行採樣。之間的移動和兩個方向的概率為零,如果因此,對於這些情況,詳細的平衡顯然是成立的。接下來,考慮:

Metropolis-Hastings 的組件式移動是如何移動的?

從第一個組件中採樣,我們的提案分佈是條件分佈。(對於所有其他組件,我們以概率提出當前值)。考慮從到,目標概率之比為

但是提案概率的比率是

所以,目標概率的比率和提議概率的比率是倒數的,因此接受概率將是. 從這個意義上說,Gibbs 採樣器中的每個移動都是 Metropolis-Hastings 移動的特例。但是,從這個角度來看,整體算法是對典型的 Metropolis-Hastings 算法的輕微概括,因為您可以在不同的提議分佈之間交替(一個用於目標變量的每個分量)。

引用自:https://stats.stackexchange.com/questions/118442

comments powered by Disqus