Probability

後驗分佈和 MCMC [重複]

  • May 3, 2018

我已經閱讀了關於馬爾可夫鏈蒙特卡羅方法的 6 篇文章,其中有幾個基本點我似乎無法理解。

  1. 在不首先知道所述分佈的屬性的情況下,如何“從後驗分佈中抽取樣本”?
  2. 同樣,在不首先知道後驗分佈的情況下,如何確定哪個參數估計“更適合您的數據”?
  3. 如果您已經知道後驗分佈的屬性(如 1)和 2)所示),那麼首先使用這種方法有什麼意義呢?

這對我來說似乎是循環推理。

如果這不是明顯的利益衝突,我建議您在 MCMC 算法主題上投入更多時間,並閱讀整本書,而不是幾篇(6?)只能提供部分觀點的文章。

在不首先知道所述分佈的屬性的情況下,如何“從後驗分佈中抽取樣本”?

MCMC 基於產品的假設

可以為給定的數值計算(因此是已知的), 在哪裡表示觀察,先前的,和可能性。這並不意味著對這個函數的深入了解. 儘管如此,從數學的角度來看,後驗密度完全由下式決定 因此,僅使用產品的輸入就可以找到模擬方法也就不足為奇了蒙特卡洛方法的驚人特徵是,與要求上限的接受-拒絕算法相比,馬爾可夫鏈蒙特卡洛 (MCMC) 算法等方法在形式上不需要比乘積計算更進一步的任何東西。像Stan這樣的相關軟件在此輸入上運行,並且仍然使用NUTS 和 HMC等工具提供高端性能,包括數值微分。 稍後根據其他一些答案寫的附帶評論是歸一化常數

對於進行貝葉斯推理並不是特別有用,如果我除了(1)的分子中的函數之外“知道”它的確切數值,比如說,我不會在尋找貝葉斯估計或可信區域方面取得任何進展。(這個常數很重要的唯一例外是進行貝葉斯模型比較。) 在此處輸入圖像描述

在教授 MCMC 算法時,我的類比是在電子遊戲中,我們有一個完整的地圖(後部)和一個移動的玩家,它一次只能照亮地圖的一部分。通過足夠多的嘗試(以及對過去事物的完美回憶!),可視化整個地圖並發現最高區域是可能的。因此,後驗密度(直到一個常數)的局部和原始知識足以了解分佈。

同樣,在不首先知道後驗分佈的情況下,如何確定哪個參數估計“更適合您的數據”?

同樣,分佈在數學或數值意義上是*已知的。*如果需要,MCMC 提供的貝葉斯參數估計基於與大多數模擬方法相同的原理,即大數定律。更一般地,基於蒙特卡洛(貝葉斯)的推理用經驗版本代替了精確的後驗分佈。因此,再一次,後驗的數值方法,一次一個值,足以構建相關估計量的收斂表示。唯一的限制是可用的計算時間,即大數近似定律中可以調用的項數。

如果您已經知道後驗分佈的屬性(如 1)和 2)所示),那麼首先使用這種方法有什麼意義呢?

(1) 的悖論是,這是一個定義完美的數學對象,因此與 (1) 相關的大多數積分,包括其分母,可能無法從解析和數值方法中獲取。通過模擬方法(蒙特卡洛積分)利用對象的隨機性是一種自然且易於管理的替代方案,已被證明非常有用。

Connected X 驗證問題:

引用自:https://stats.stackexchange.com/questions/344189

comments powered by Disqus