Gibbs 採樣器的 Rao-Blackwellization
我目前正在使用馬爾可夫鏈蒙特卡羅方法估計隨機波動率模型。因此,我正在實施 Gibbs 和 Metropolis 抽樣方法。
假設我取後驗分佈的平均值而不是從中隨機樣本,這就是通常所說的Rao-Blackwellization嗎?
總體而言,這將導致將平均值超過後驗分佈的平均值作為參數估計。
假設我取後驗分佈的平均值而不是從中抽取隨機樣本,這就是通常所說的 Rao-Blackwellization 嗎?
我對隨機波動率模型不是很熟悉,但我知道在大多數情況下,我們選擇 Gibbs 或 MH 算法從後驗中提取的原因是因為我們不知道後驗。通常我們想估計後驗均值,由於我們不知道後驗均值,我們從後驗中抽取樣本並使用樣本均值進行估計。所以,我不確定你將如何從後驗分佈中獲取平均值。
相反,Rao-Blackwellized 估計量依賴於對全條件均值的了解;但即便如此,仍然需要採樣。我在下面解釋更多。
假設後驗分佈是在兩個變量上定義的,),這樣您就想估計後驗均值:. 現在,如果 Gibbs 採樣器可用,您可以運行它或運行 MH 算法從後驗採樣。
如果您可以運行 Gibbs 採樣器,那麼您知道以封閉的形式,你知道這個分佈的平均值。讓它的意思是. 注意是一個函數和數據。
這也意味著你可以整合出去從後部,所以邊緣後部是(這不完全知道,但知道一個常數)。你現在想運行一個馬爾可夫鏈,這樣是不變分佈,你從這個邊緣後驗中獲得樣本。問題是
您現在如何估計僅使用來自邊緣後驗的這些樣本?
這是通過 Rao-Blackwellization 完成的。
因此假設我們已經獲得了樣本從邊緣後部. 然後
稱為 Rao-Blackwellized 估計量. 同樣可以通過從聯合邊緣進行模擬來完成。
示例(純粹用於演示)。
假設你有一個未知的聯合後驗您要從中取樣。你的數據是一些,並且您有以下完整條件
您使用這些條件運行 Gibbs 採樣器,並從聯合後驗獲取樣本. 讓這些樣本成為. 你可以找到樣本均值s,這將是後驗均值的常用蒙特卡洛估計量..
或者,請注意,通過 Gamma 分佈的性質
這裡是提供給您的數據,因此是已知的。Rao Blackwellized 估計量將是
注意後驗均值的估計量如何甚至不使用樣本,並且僅使用樣品。無論如何,如您所見,您仍在使用從馬爾可夫鏈獲得的樣本。這不是一個確定性的過程。