MCMC/EM 限制？MCMC 優於 EM？
我目前正在學習使用 R 中的 JAGS 的分層貝葉斯模型，以及使用 Python 的 pymc（“黑客的貝葉斯方法”）。
我可以從這篇文章中得到一些直覺：“你最終會得到一堆看起來“好像”你設法從你想知道的複雜分佈中獲取獨立樣本的數字。就像我可以給出條件概率，然後我可以根據條件概率生成一個無記憶的過程。當我生成過程足夠長的時候，那麼聯合概率可以收斂。然後我可以在生成序列的末尾取一堆數字。就像我從復雜的聯合分佈中抽取獨立樣本一樣。例如，我可以製作直方圖，它可以近似分佈函數。
那麼我的問題是，我是否需要證明 MCMC 對於某個模型是否收斂？我很想知道這一點，因為我之前學習了 GMM 和 LDA（圖形模型）的 EM 算法。如果我可以直接使用 MCMC 算法而不證明它是否收斂，那麼它可以比 EM 節省更多的時間。因為我必須計算預期的對數似然函數（必須計算後驗概率），然後最大化預期的對數似然。它顯然比 MCMC 更麻煩（我只需要製定條件概率）。
我還想知道似然函數和先驗分佈是否共軛。這是否意味著 MCMC 必須收斂？我想知道 MCMC 和 EM 的局限性。
EM 是一種優化技術：給定具有有用潛在變量的可能性，它返回一個局部最大值，這可能是一個全局最大值，具體取決於起始值。
MCMC 是一種模擬方法：給定一個有或沒有潛在變量的可能性，以及先驗，它產生一個從後驗分佈近似分佈的樣本。該樣本的第一個值通常取決於起始值，這意味著它們通常在老化（或預熱）階段被丟棄。
當該樣本用於評估與後驗分佈相關的積分時[絕大多數情況]，由於遍歷定理，收斂特性與 iid Monte Carlo 近似的收斂特性基本相同。
如果需要更多，即保證是來自後部的樣本，一些收斂評估技術是可用的，例如在R 包 CODA中。從理論上講，確保收斂的工具可能超出您的能力範圍。例如，完美的抽樣或rewewal方法。