Bayesian
數值積分太貴是什麼意思?
我正在閱讀有關貝葉斯推理的內容,並且遇到了“邊際可能性的數值積分太昂貴”這句話
我沒有數學背景,我想知道這裡的昂貴到底是什麼意思?它只是在計算能力方面還是有更多的東西。
在計算問題的背景下,包括貝葉斯推理的數值方法,短語“太昂貴”通常可以指兩個問題
對於任何一種情況,構成“預算”的計算資源可能包括 CPU 週期(時間複雜度)、內存(空間複雜度)或通信帶寬(計算節點內或計算節點之間)。在第二種情況下,“太貴”意味著難以處理。
在貝葉斯計算的上下文中,這句話可能是指大量變量的邊緣化問題。
例如,最近這篇論文的摘要開始
積分受到維度災難的影響,並且隨著問題維度的增長迅速變得難以處理。
然後繼續說
我們提出了一種隨機算法……可以反過來用於例如邊際計算或模型選擇。
(為了比較,這本書最近的章節討論了被認為“不太昂貴”的方法。)