Sampling

MCMC 方法 - 燃燒樣品?

  • March 5, 2014

MCMC方法中,我一直在閱讀有關burn-in時間或樣本數量的信息"burn"。這到底是什麼,為什麼需要它?

更新:

一旦MCMC穩定下來,它會保持穩定嗎?時間的概念burn-in與混合時間的概念有何關係?

老化旨在讓馬爾可夫鏈有時間達到其平衡分佈,特別是如果它從一個糟糕的起點開始。要“燒入”鏈條,您只需丟棄第一個 $ n $ 開始收集點之前的樣本。

這個想法是一個“壞”的起點可能會在平衡分佈之前對平衡分佈下實際上概率非常低的區域進行過度採樣,然後再進入平衡分佈。如果你把這些點扔掉,那麼那些不太可能出現的點將是相當罕見的。

這個頁面給出了一個很好的例子,但它也指出老化更像是一種黑客/藝術形式,而不是一種有原則的技術。從理論上講,您可以只採樣很長時間,或者找到一些方法來選擇一個合適的起點。

編輯:混合時間是指鏈條接近其穩態所需的時間,但通常很難直接計算。如果您知道混合時間,您就會丟棄那麼多樣品,但在許多情況下,您不知道。因此,您選擇了一個希望足夠大的老化時間。

至於穩定性——這取決於。如果你的鏈已經收斂,那麼……它已經收斂。然而,在某些情況下,鏈似乎已經收斂,但實際上只是在狀態空間的一部分“閒逛”。例如,假設有幾種模式,但每種模式與其他模式的聯繫很差。採樣器可能需要很長時間才能穿過那個間隙,並且看起來鏈條會在它發生跳躍之前會聚。

有收斂的診斷,但他們中的許多人很難區分真正的收斂和偽收斂。Charles Geyer 在馬爾可夫鏈蒙特卡洛手冊中的章節 (#1)對所有事情都非常悲觀,但要盡可能長時間地運行鏈。

引用自:https://stats.stackexchange.com/questions/88819

comments powered by Disqus