Sampling

拒絕抽樣的證明如何有意義?

  • March 10, 2014

我正在上蒙特卡洛方法的課程,我們在上一堂課中學習了拒絕抽樣(或接受拒絕抽樣)方法。網上有很多資源可以證明這種方法,但不知何故我不相信它們。

所以,在拒絕抽樣中,我們有一個分佈很難從中取樣。我們選擇易於抽樣的分佈並找到一個係數這樣. 然後我們從對於每次抽獎,,我們還採樣了一個從標準均勻分佈.

樣品如果是則被接受否則拒絕。

我遇到的證明通常只是表明並停在那裡。

我對這個過程的看法是我們有一系列變量和一個對對應於我們的第 i 個樣本 () 以及是否被接受 ()。我們知道每個pair 是相互獨立的,例如:

為一個對我們知道和. 我們可以輕鬆計算但我不明白它如何足以作為證明。我們需要證明該算法有效,所以我認為證明應該表明接受樣本的經驗分佈收斂於作為. 我的意思是,與是所有接受和拒絕樣本的數量:

作為 .

我對這種思維模式有誤嗎?或者算法的共同證明和這個之間有聯繫嗎?

提前致謝

您應該將算法視為從隨機變量中抽取數據,以表明該算法有效,只需表明該算法從您想要的隨機變量中抽取數據即可。

讓和是帶有 pdf 的標量隨機變量和分別,其中是我們已經知道如何採樣的東西。我們也可以知道我們可以綁定經過在哪裡.

我們現在形成一個新的隨機變量在哪裡, 這取值有概率和否則。這表示算法“接受”來自.

現在我們運行算法並收集所有的平局被接受,讓我們稱這個隨機變量.

為了表明, 對於任何事件,我們必須證明.

所以讓我們嘗試一下,首先使用貝葉斯規則:

,

和我們寫的上半部分

然後底部很簡單

,

通過與上述相同的推理,設置.

這些結合起來給,這就是我們想要的,.

這就是算法的工作原理,但在你的問題結束時,你似乎關心一個更一般的想法,即經驗分佈何時收斂到採樣的分佈?如果我理解正確,這對於任何採樣都是普遍現象。

在這種情況下,讓是獨立同分佈的隨機變量. 那麼對於任何事件,有期待通過期望的線性。

此外,給定適當的假設,您可以使用強數定律來證明經驗概率幾乎肯定會收斂到真實概率。

引用自:https://stats.stackexchange.com/questions/89509

comments powered by Disqus