提案分發 - Metropolis Hastings MCMC

在 Metropolis-Hastings Markov chain Monte Carlo 中，提案分佈可以是任何東西，包括高斯分佈（根據維基百科）。

問：使用 Gaussian 以外的任何東西的動機是什麼？高斯有效，易於評估，速度快，每個人都能理解。我為什麼要考慮其他事情？

問：既然提案分佈可以是任何東西，我可以使用均勻分佈嗎？

A1：事實上，高斯分佈可能是最常用的提案分佈，主要是因為它易於使用。但是，出於以下原因，可能希望使用其他提案分佈

1. 重尾：高斯分佈有輕尾。這意味著 $ N(x_{t-1}, \sigma^2) $ 可能只會建議介於 $ (x_{t-1} - 3\sigma, x_{t-1} + 3\sigma) $ . 但是一個 $ t $ 分佈具有較重的尾部，因此可以提出更遠的值。這確保了生成的馬爾可夫鏈更自由地探索狀態空間，並可能減少自相關。下圖顯示了 $ N(0,1) $ 相比 $ t_1 $ . 你看如何 $ t $ 可能會提出更多遠離 0 的值。

2. 受限空間：高斯分佈在所有實數上定義。如果您從中採樣的分佈可以說只定義在正面或 $ (0,1) $ ，那麼高斯可能會提出目標密度為 0 的值。然後立即拒絕這些值，並且馬爾可夫鏈不會從其當前位置移動。這基本上是在浪費馬爾可夫鏈的平局。相反，如果你是積極的，你可以使用 Gamma 分佈和 $ (0,1) $ 你可以使用測試版。
3. 多模態：當目標分佈是多模態時，高斯提議可能會導致馬爾可夫鏈卡在一種模態附近。這部分是由於高斯的光尾。因此，相反，人們使用基於梯度的建議，或混合高斯作為建議。

您可以在此處和此處找到更多討論。

A2：是的，只要對均勻分佈的支持是有界的，您就可以使用均勻分佈（因為如果支持是無界的，那麼均勻分佈是不合適的，因為它集成到 $ \infty $ ）。所以穿上製服 $ (x_{t-1} - c, x_{t-1} + c) $ .

引用自：https://stats.stackexchange.com/questions/207496