Variational-Bayes
變分貝葉斯與蒙特卡洛相結合
我正在閱讀變分貝葉斯，據我所知，它歸結為你近似的想法（在哪裡是模型的潛在變量，並且觀察到的數據）具有函數, 假設分解為在哪裡是潛在變量的子集。然後可以證明最優因子是：
其中尖括號表示對所有潛在變量的期望，除了關於分佈.
現在，通常對這個表達式進行分析評估，以給出近似目標值的準確答案。然而，我突然想到，由於這是一個期望，一個明顯的方法是通過抽樣來近似這個期望。這將為您提供一個近似目標函數的近似答案，但它提供了一個非常簡單的算法，也許適用於分析方法不可行的情況。
我的問題是，這是一種已知的方法嗎？它有名字嗎？是否有原因導致它不能很好地工作，或者可能不會產生如此簡單的算法？
我承認這不是我非常了解的領域，所以對此持保留態度。
首先，請注意，您所提出的並沒有產生如此簡單的算法：為了計算新的，我們不需要計算單個期望值（如均值或方差），而是整個函數的期望值。這在計算上很困難，並且需要您逼近真實的由一些（例如，我們可能會找到一個直方圖近似）
但是，如果你要限制對於一個小的參數族，一個更好的主意可能是使用隨機梯度下降來找到最佳參數值（參見：Variational bayesian inference with stochastic search，2012，Paisley，Blei，Jordan）。他們計算的梯度與您編寫的非常相似：他們從當前未優化的所有近似值中採樣。
所以你提出的並不是那麼簡單，但它非常接近最近提出的實際方法