Machine-Learning
“變量”是什麼意思？
“變分”的使用是否總是指通過變分推理進行優化？
例子：
- “變分自動編碼器”
- “變分貝葉斯方法”
- “變分重整化群”
這意味著使用變分推理（至少對於前兩個）。
簡而言之，它是一種在概率密度複雜（因此 MLE 很難）時近似最大似然的方法。
它使用證據下界 (ELBO) 作為 ML 的代理：
在哪裡是隱藏變量上更簡單的分佈（表示為) - 例如，變分自動編碼器在編碼器的輸出上使用正態分佈。
‘variational’ 這個名字很可能來自它搜索分佈的事實優化 ELBO，這種設置有點像變分微積分，這是一個研究函數優化的領域（例如，問題如下：給定兩點之間的二維曲線族，找到一個長度最小的曲線）。
David Blei有一個很好的關於變分推理 的教程，如果您想要更具體的描述，可以查看。
編輯：
實際上我描述的是一種VI：通常你可以使用不同的散度（我描述的對應於使用KL散度）。有關詳細信息，請參閱本文第 5.2 節（具有替代分歧的 VI）。