KL 分歧和預期

我試圖理解下面對 KL 散度的解釋。據我了解，它指的是對第二個任期的期望。“在這個術語中近似於 q 的期望”。但是，我們將 q(x) 與 p(x) 的對數相乘（而不是 p(x)。將此構造稱為期望值是否仍然正確？請告訴我。

期望值是可以為結果的任何函數計算的量。

讓是所有可能結果的空間，讓是一個概率分佈定義在. 對於任何功能 在哪裡是在加法和標量乘法下閉合的任意集合（例如) 我們可以計算的期望值分配中如下：

在 KL 散度中，我們有對於一些固定的.

引用自：https://stats.stackexchange.com/questions/187330