Simulation

了解馬爾可夫鏈蒙特卡羅採樣的典型集

  • January 2, 2018

我今天開始閱讀“漢密爾頓蒙特卡洛的概念介紹”,我一直無法理解貝當古對“典型集合”的解釋。

如果例如,從針對密度的 Metropolis-Hastings 算法生成,我們可以取樣本平均值以近似期望:

我經常被告知,因為我們不能無限地運行採樣器,所以最好在高密度區域獲取樣本. 另一方面,貝當古說我應該專注於高質量區域 ,並忽略可變性. 這對我來說很有意義,因為上面的積分有點像,而這筆款項的主要“貢獻者”是有大的. 他們真的是有大的, 但我們忽略目前。

對我來說沒有意義的是為什麼在整個樣本空間中不均勻. 我的直覺源於我們製作的這些二維黎曼積分非常小,無論在哪裡,它們都是平等的是。當每個是二維的,我們有. 但是為什麼我們要以中心為中心的 2 球體(圓)的體積變化? 是我們網站上的一個問題,詢問有關如何重現其中一個情節的建議。但是,我對這些公式的來源並不感到困惑,而是對它們為什麼來自它們所在的地方感到困惑。

在整個空間中*是統一的,這就是問題所在!*不幸的是,當我們考慮高維空間時,對製服的直覺開始讓我們失望,我們最終遇到了這樣的概念困難。

是的,任何給定點周圍的鄰域體積保持不變,因為我們增加了空間的維度。但是當我們這樣做時,我們也向空間中添加了更多的點,因此也添加了更多的點和相應的鄰域。並不是我們選擇的點周圍的體積在任何絕對意義上都在縮小,而是體積對於空間其餘部分的體積在縮小。

如果我們考慮任何一點周圍的徑向殼,我們會看到體積呈指數快速增長(指數為, 或者在你的維示例)隨著我們進一步遠離該點。無論我們取哪一點,遠離一點的成交量增長都是一樣的!

只有當我們考慮概率分佈的特定密度表示時,這種行為的對稱性才會被打破。密度的模式確定了空間中密度最大的特殊點。然後,為了了解典型集合的行為方式,我們必須考慮音量在這一特殊點周圍的行為方式。

我們並不總是採取——只是碰巧是我們通常用來演示該現象的獨立同分佈單位高斯的模式。

引用自:https://stats.stackexchange.com/questions/321260

comments powered by Disqus