Bayesian

數值積分太貴是什麼意思?

  • October 25, 2016

我正在閱讀有關貝葉斯推理的內容,並且遇到了“邊際可能性的數值積分太昂貴”這句話

我沒有數學背景,我想知道這裡的昂貴到底是什麼意思?它只是在計算能力方面還是有更多的東西。

在計算問題的背景下,包括貝葉斯推理的數值方法,短語“太昂貴”通常可以指兩個問題

  1. 一個特定的問題太“大”而無法計算特定的“預算
  2. 通用方法的擴展性很差,即具有很高的計算複雜度

對於任何一種情況,構成“預算”的計算資源可能包括 CPU 週期(時間複雜度)、內存(空間複雜度)或通信帶寬(計算節點或計算節點之間)。在第二種情況下,“太貴”意味著難以處理

在貝葉斯計算的上下文中,這句話可能是指大量變量邊緣化問題。

例如,最近這篇論文的摘要開始

積分受到維度災難的影響,並且隨著問題維度的增長迅速變得難以處理。

然後繼續說

我們提出了一種隨機算法……可以反過來用於例如邊際計算或模型選擇。

(為了比較,這本書最近的章節討論了被認為“不太昂貴”的方法。)

引用自:https://stats.stackexchange.com/questions/242315

comments powered by Disqus