拒絕抽樣的證明如何有意義?
我正在上蒙特卡洛方法的課程,我們在上一堂課中學習了拒絕抽樣(或接受拒絕抽樣)方法。網上有很多資源可以證明這種方法,但不知何故我不相信它們。
所以,在拒絕抽樣中,我們有一個分佈很難從中取樣。我們選擇易於抽樣的分佈並找到一個係數這樣. 然後我們從對於每次抽獎,,我們還採樣了一個從標準均勻分佈.
樣品如果是則被接受否則拒絕。
我遇到的證明通常只是表明並停在那裡。
我對這個過程的看法是我們有一系列變量和一個對對應於我們的第 i 個樣本 () 以及是否被接受 ()。我們知道每個pair 是相互獨立的,例如:
為一個對我們知道和. 我們可以輕鬆計算但我不明白它如何足以作為證明。我們需要證明該算法有效,所以我認為證明應該表明接受樣本的經驗分佈收斂於作為. 我的意思是,與是所有接受和拒絕樣本的數量:
作為 .
我對這種思維模式有誤嗎?或者算法的共同證明和這個之間有聯繫嗎?
提前致謝
您應該將算法視為從隨機變量中抽取數據,以表明該算法有效,只需表明該算法從您想要的隨機變量中抽取數據即可。
讓和是帶有 pdf 的標量隨機變量和分別,其中是我們已經知道如何採樣的東西。我們也可以知道我們可以綁定經過在哪裡.
我們現在形成一個新的隨機變量在哪裡, 這取值有概率和否則。這表示算法“接受”來自.
現在我們運行算法並收集所有的平局被接受,讓我們稱這個隨機變量.
為了表明, 對於任何事件,我們必須證明.
所以讓我們嘗試一下,首先使用貝葉斯規則:
,
和我們寫的上半部分
然後底部很簡單
,
通過與上述相同的推理,設置.
這些結合起來給,這就是我們想要的,.
這就是算法的工作原理,但在你的問題結束時,你似乎關心一個更一般的想法,即經驗分佈何時收斂到採樣的分佈?如果我理解正確,這對於任何採樣都是普遍現象。
在這種情況下,讓是獨立同分佈的隨機變量. 那麼對於任何事件,有期待通過期望的線性。
此外,給定適當的假設,您可以使用強數定律來證明經驗概率幾乎肯定會收斂到真實概率。