KL-Divergence 可以大於 1 嗎？
我一直在基於 KL-Divergence 構建一些測試統計數據，
我最終得到了一個價值對於我的發行版。請注意，發行版支持K 水平，所以我認為在這裡繪製整個分佈是不合理的。
我想知道的是，KL-Divergence 是否可能大於 1？我看到的很多 KL-Divergence 的解釋都是基於 1 的上限。如果它可以大於 1，KL-Divergence 超過 1 的解釋是什麼？
編輯：我知道這是一個不好的參考選擇，但是關於 KL Divergence 的 Wikipedia 文章建議“Kullback-Leibler 散度為 1 表明這兩個分佈的行為方式如此不同，以至於給定第一個分佈的期望接近於零。” 我曾認為這暗示這意味著 KL-Divergence 以 1 為界，但很明顯這是文章中的錯誤。
**Kullback-Leibler 散度是無限的。**確實，因為沒有下界 $ q(i) $ ，沒有上限 $ p(i)/q(i) $ 的。例如，Normal 之間的 Kullback-Leibler 散度 $ N(\mu_1,\sigma_1^2) $ 和一個正常的 $ N(\mu_2,\sigma_1^2) $ 是 $$ \frac{1}{2\sigma_1^{2}}(\mu_1-\mu_2)^2 $$這顯然是無界的。
維基百科[眾所周知是錯誤的！] 確實指出
“…… Kullback-Leibler 散度為 1 表明這兩個分佈的行為方式如此不同，以至於給定第一個分佈的期望值接近於零。”
這沒有任何意義（期望哪個功能？為什麼是 1 而不是 2？）
來自同一 維基百科頁面的更令人滿意的解釋是 Kullback-Leibler 散度
“……可以解釋為使用針對 Q 優化的代碼而不是針對 P 優化的代碼來測量從 P 中編碼樣本所需的預期額外比特數。”