Inference
具有單位高斯的 KL 損失
我一直在實現 VAE，並且我注意到簡化的單變量高斯 KL 散度的兩種不同的在線實現。根據這裡的原始分歧是
如果我們假設我們的先驗是單位高斯，即和，這簡化為
這就是我的困惑所在。雖然我發現了一些具有上述實現的晦澀的 github 存儲庫，但我發現更常用的是：
例如在官方Keras 自動編碼器教程中。那麼我的問題是，我在這兩者之間缺少什麼？主要區別是在對數項上刪除因子 2 而不是平方方差。從分析上講，我已經成功地使用了後者，因為它的價值。提前感謝您的幫助！
請注意，通過替換和在最後一個等式中，您恢復了前一個（即）。讓我想到，在第一種情況下，編碼器用於預測方差，而在第二種情況下，它用於預測標準偏差。
兩種表述是等價的，目標不變。