Distributions
Kullback–Leibler (KL) 分歧的直覺
我已經了解了 KL Divergence 背後的直覺，即模型分佈函數與數據的理論/真實分佈有多大不同。我正在閱讀的資料繼續說，對這兩個分佈之間的“距離”的直觀理解是有幫助的，但不應該從字面上理解，因為對於兩個分佈 $ P $ 和 $ Q $ , KL 散度在 $ P $ 和 $ Q $ .
我不知道如何理解最後一句話，或者這就是“距離”的直覺崩潰的地方？
我會很感激一個簡單但有見地的例子。
A（公制）距離必須是對稱的，即. 但是，根據定義，不是。
例子：,,.
我們有：
和
因此因此不是（公制）距離。