Bayesian

為什麼細化在貝葉斯推理中起作用?

  • December 30, 2019

在貝葉斯推理中,需要根據先驗分佈和數據的似然性來確定參數的後驗分佈。由於這種計算可能無法進行分析,因此可能需要模擬方法。

在 MCMC(馬爾可夫鏈蒙特卡羅)算法中,會生成一條馬爾可夫鏈,其極限分佈是期望的後驗分佈。在實踐中,可能很難評估是否已經實現了收斂。當您在有限步停止馬爾可夫鏈時,您沒有獨立的實現,因為每個生成的點都依賴於前面的點。問題是,隨著鏈條的推進,這種依賴會越來越低,在無窮遠處,你會從後面獲得獨立的實現。

因此,讓我們假設我們已經在有限步停止了馬爾可夫鏈,並且獲得的樣本還具有顯著的自相關性。我們沒有來自後驗分佈的獨立抽取。細化包括從樣本中挑選分離的點,在每個 $ k $ - 第一步。當我們從馬爾可夫鏈中分離點時,依賴性變得更小,我們實現了某種獨立樣本。但是我對這個過程的不理解是,雖然我們有一個(大約)獨立的樣本,但我們還沒有從後驗分佈進行模擬;否則整個樣本將具有當前的獨立性。

所以在我看來,細化提供了更多的獨立性,這對於通過蒙特卡洛模擬和大數定律來近似統計數據肯定是必要的。但它不會加速與後驗分佈的相遇。至少,我不知道關於後一個事實的任何數學證據。所以,實際上,我們一無所獲(除了更少的存儲和內存需求)。對此問題的任何見解將不勝感激。

細化與貝葉斯推理無關,而是與基於計算機的偽隨機模擬有關。

生成馬爾可夫鏈的重點 $ (\theta_t) $ 通過 MCMC 算法是為了更容易地從後驗分佈進行模擬, $ \pi(\cdot) $ . 然而,這樣做的代價是在模擬之間產生相關性。(關於這個問題,這種相關性甚至在 $ t $ .) 通過對馬爾可夫鏈進行二次採樣或細化 $ (\theta_t) $ ,這種相關性通常(但不總是)隨著細化間隔的增加而降低。

然而,細化與馬爾可夫鏈收斂到平穩分佈無關 $ \pi(\cdot) $ 因為它是模擬馬爾可夫鏈的後處理 $ (\theta_t) $ . 只有當鏈條(大約)靜止時,細化才有意義。去除馬爾可夫鏈的早期值以消除起始值的影響稱為燃燒或預熱。

此外請注意,在考慮後驗期望的近似值時,細化幾乎沒有幫助(通過遍歷定理) $$ \frac{1}{T}\sum_{t=}^T h(\theta_t) \longrightarrow \int h(\theta(\pi(\theta)\text{d}\theta $$ 因為使用整個(未細化的)鏈通常會減少近似值的方差。如果特定需求需要一個幾乎獨立同分佈的樣本,來自 $ \pi(\cdot) $ ,細化可能會吸引人,但除了可以實施更新的特定情況外,不能保證樣本將是“i”或“id”……並行獨立運行多個鏈的替代解決方案會產生獨立樣本但再次很少保證這些點完全分佈在 $ \pi(\cdot) $ .

引用自:https://stats.stackexchange.com/questions/442714

comments powered by Disqus