Markov-Chain-Montecarlo

MCMC;我們能否確定我們有來自後部的“純”和“足夠大”的樣本?如果我們不是,它怎麼能工作?

  • September 4, 2016

參考此線程:您如何向外行解釋馬爾可夫鏈蒙特卡羅(MCMC)?.

我可以看到它是馬爾可夫鍊和蒙特卡洛的組合:馬爾可夫鍊是用後驗作為不變限制分佈創建的,然後蒙特卡洛繪製(依賴)是從限制分佈(=我們的後驗)。

假設(我知道我在這裡簡化)之後我們處於有限分佈的步驟(*).

馬爾可夫鍊是一個隨機變量序列,我得到一個序列, 在哪裡是一個隨機變量並且是我們希望從中採樣的限制性“隨機變量”。

MCMC 從一個初始值開始,即是一個隨機變量,所有質量都在那個值. 如果我對隨機變量使用大寫字母,對隨機變量的實現使用小寫字母,那麼 MCMC 會給我一個序列. 所以MCMC鏈的長度是L+n。

[[注意:大寫字母是隨機變量(即一大堆結果),小寫字母是結果,即一個特定的值。 ]]

顯然,只有屬於我的“後驗”,並且為了近似後驗“好”的值應該“足夠大”。

如果我總結一下,那麼我有一個 MCMC 鏈長度, 只要與我的後驗近似相關,並且應該足夠大。

如果我確實包括了一些(即在達到不變分佈之前的實現)在計算後驗近似值時,它將是“嘈雜的”。

我知道 MCMC 鏈的長度,但不知道,即我確定從限制分佈中採樣的步驟,我不能確定我沒有包括噪聲,我也不能確定,我的樣本大小來自極限分佈,特別是我無法確定它是否“足夠大”。

所以,據我了解,這個值對於後驗的近似質量(排除噪聲和大樣本)至關重要

有什麼方法可以找到合理的估計當我申請 MCMC 時?

(*) 我認為,一般來說,將取決於初始值.

**TL博士;**你無法估計自從. 因此,簡化假設永遠不可能真正成為可能。(在某些情況下可能是這樣,但不是在 MCMC 的一般世界中)。但是,您可以決定什麼將使早期偏差變小。


從本質上講,您的問題歸結為“我們如何估計老化時間?”。老化是因為馬爾可夫鏈沒有收斂而丟棄開始樣本的行為。有許多 MCMC 診斷可以幫助您估計“老化”時間,您可以在此處查看它們的評論。

關於老化有兩個流派;流行的一種是使用其中一種診斷方法來決定什麼是,並扔掉樣品,以及通過它的第二個學校,第一個樣品應該無關緊要,所以不要擔心它們。我同意查理·蓋爾對此的咆哮。

現在,我轉向您問題的更多技術細節。

您在問題中所做的一個簡化假設是,最終,(在步驟),採樣器將從限制分佈開始繪製。所以你的樣品之後步驟是純平局,儘管是相關的。這是不真實的。嚴格來講,是. 馬爾可夫鏈永遠不會在有限時間內真正收斂到極限分佈。所以估計幾乎沒有意義。

提出這個問題的另一種方式是:什麼是這樣之後步,馬爾可夫鏈“足夠接近”極限分佈。這是大多數診斷試圖回答的問題。越來越多的人同意上述診斷通常非常自由,並且可以在“收斂”之前診斷出它應該有的時間。是一篇論文,展示了診斷的一些弱點。

上面要求用戶做的是不用擔心, 擔心. 通常,用戶對完整的後驗分佈不感興趣,而是對特定數量感興趣。通常這個量是後驗的平均值,或者任何其他可以寫成期望的函數。這就是 MCMC 的“蒙特卡洛”部分的用武之地,因為蒙特卡洛表示用求和來估計積分。因此,如果是你的馬爾可夫鏈(注意我是如何忽略的, 自從是),我們要估計後驗均值 (), 然後

這個想法是,如果足夠大,那麼樣本的初始偏差將是微不足道的。當然,如果起始值與極限分佈的高概率空間相距甚遠,用戶可以目不轉睛地扔掉前幾個樣本。這與估計不同,因為這不是估計,而是對明顯損壞的樣本的有根據的無視。

現在的問題當然是:應該有多大是?答案應該取決於我們想要估計的程度. 如果我們想要一個很好的估計,那麼我們想要更多的樣本,如果一個好的估計就足夠了,那麼我們可以用一個更小的樣本。這也正是標準統計問題中發生的情況。

我們量化估計的“優度”的方式是思考“我們能說什麼?,蒙特卡洛錯誤?在合理的條件下,實際上有一條馬爾可夫鏈 CLT 表示為,對於任何初始分佈

在哪裡和是漸近協方差矩陣。這裡的關鍵是任何初始分佈的結果都是正確的。

什麼時候很小,我們知道估計器是好的。本文提出了這種停止的想法,我在這裡的回答總結了他們的方法。他們論文中的結果也與過程的初始分佈無關。

引用自:https://stats.stackexchange.com/questions/233283

comments powered by Disqus

相關問答