具有比率估計器的最優重要性抽樣
我們想要近似以下期望： $$ \mathbb{E}[h(x)] = \int h(x)\pi(x) dx $$ 在哪裡 $ h(x) $ 是一個任意函數並且 $ \pi(x) $ 是一個分佈，同樣為簡單起見，讓我們假設我們實際上知道歸一化常數 $ \pi(x) $ . 當然，我們希望從最優提案分佈中進行抽樣：$$ g(x) = \frac{|h(x)|\pi(x)}{Z} $$但當然，這不是我們可以從中採樣的形式，我們甚至無法計算重要性權重，因為我們需要知道 $ Z $ :$$ w(x) = \frac{Z \ \pi(x)}{|h(x)|\pi(x)} $$ 但是，如果我們假設 $ g(x) $ 可以從中採樣，我們可以使用比率重要性採樣估計器嗎？：$$ \frac{\int w(x)h(x)g(x) dx}{\int w(x)g(x)dx} $$為了清楚起見，估計量也可以寫成 $ {x^{(i)}}{i=1}^N $ 是一組來自密度分佈的樣本 $ g(x) $ （神奇地）。我們讓$$ w(x^{(i)}) = \frac{1}{|h(x^{(i)})|} $$ 進行最終估計：$$ \mathbb{E}[h(x)] \approx \frac{\sum{i=1}^N w(x^{(i)})h(x^{(i)})}{\sum_{i=1}^N w(x^{(i)})} $$
那麼，上述估計量是否是漸近無偏（一致）的？還是我錯過了什麼？如果它確實是無偏的，那麼這是否可以與蒙特卡洛方法結合使用以從 $ g(x) $ ，因為它們可以（理論上）用於從任何已知到歸一化常數的分佈中進行採樣。
編輯：修正了一個錯字，而且，我能夠證明這是一致的，所以我的新問題是：這是個好主意嗎？有沒有論文分析這個？它有標準名稱嗎？
這是一個有趣的[並且與“愚蠢”相去甚遠]的問題，實際上困擾了我一段時間！我們在蒙特卡洛統計方法（第 3.3.2 節，第 95-96 頁）中對其進行了介紹。關鍵在於，通過除以權重之和，最優性消失了。其實很容易看出什麼時候是正函數。在這種情況下，
和
所以
這是可怕的調和平均估計器（另請參閱Radford Neal 的這篇偉大而權威的帖子）。估計量是一致的（在大數定律的意義上），但它可能具有無限方差（這使我們與原始估計量的最小方差最優性相去甚遠！）。 最優性不轉移的根本原因是比率的方差與原始重要性採樣估計的方差有很大不同，因此沒有針對相同的重要性函數進行優化。可悲的是，由於比率的方差沒有封閉形式的表達式（只有 delta 方法的近似值可用），因此在最優解上沒有明確的結果. 當然，可以對頂部和底部使用不同的最佳重要性函數，但這在實踐中沒有任何意義！