Bayesian

當最大後驗估計可用時,基於 MCMC 的方法是否合適?

  • July 15, 2018

我注意到在許多實際應用中,基於 MCMC 的方法用於估計參數,即使後驗是分析的(例如,因為先驗是共軛的)。對我來說,使用 MAP 估計器而不是基於 MCMC 的估計器更有意義。誰能指出為什麼 MCMC 在存在分析後驗的情況下仍然是一種合適的方法?

**在這種情況下無需使用 MCMC:**馬爾可夫鏈蒙特卡羅 (MCMC) 是一種用於從分佈中生成值的方法。它產生一個自相關值的馬爾可夫鏈,其平穩分佈等於目標分佈。即使在目標分佈具有分析形式的情況下,此方法仍然可以為您提供所需的內容。但是,有一些更簡單且計算量較小的方法可以在這種情況下工作,在這種情況下,您正在處理具有良好分析形式的後驗。

在後驗分佈具有可用分析形式的情況下,可以通過使用標準微積分技術從該分佈進行優化來獲得參數估計(例如,MAP)。如果目標分佈足夠簡單,您可能會得到參數估計器的封閉形式解決方案,但即使不是,您通常也可以使用簡單的迭代技術(例如,Newton-Raphson、梯度下降等)來找到優化任何給定輸入數據的參數估計。如果您有目標分佈的分位數函數的解析形式,並且需要從分佈中生成值,則可以通過逆變換採樣來實現,它的計算強度比 MCMC 低,並且允許您生成 IID 值而不是具有復雜自相關模式的值。

鑑於此,如果您是從頭開始編程,那麼在目標分佈具有可用分析形式的情況下,您似乎沒有任何理由使用 MCMC。您可能會這樣做的唯一原因是,如果您已經編寫了一個通用的 MCMC 算法,可以用最少的努力實現,並且您認為使用分析形式的效率超過了進行所需數學運算的努力。在某些實際情況下,您將處理通常難以解決的問題,其中 MCMC 算法已經建立並且可以用最少的努力實現(例如,如果您在RStan)。在這些情況下,運行您現有的 MCMC 方法可能是最簡單的方法,而不是推導出問題的分析解決方案,儘管後者當然可以用來檢查您的工作。

引用自:https://stats.stackexchange.com/questions/357222

comments powered by Disqus