Kullback-Leibler
互信息和 Kullback-Leibler 散度是否等價？
從我的閱讀中，我了解到：
- 相互信息 $ \mathit{(MI)} $ 是一個度量，因為它滿足三角不等式、非負性、不可分辨性和對稱性標準。
- Kullback-Leibler 分歧 $ \mathit{(D_{KL})} $ 不是度量，因為它不服從三角不等式
但是，關於 Cross Validated 的一個答案（信息增益、互信息和相關度量）[第二個答案]，表明互信息和 Kullback-Leibler 散度是等價的。這怎麼能被賦予 $ \mathit{MI} $ 是一個度量和 $ \mathit{D_{KL}} $ 不是？我只能假設我在這裡遺漏了一些東西。
相互信息不是衡量標準。一個指標 $ d $ 滿足 indisceribles 的身份： $ d(x, y) = 0 $ 當且僅當 $ x = y $ . 這不適用於互信息，它的行為方式相反——零互信息意味著兩個隨機變量是獨立的（與你所能得到的完全不同）。而且，如果兩個隨機變量相同，則它們具有最大的互信息（盡可能遠離零）。
你是正確的，KL散度不是一個指標。它不是對稱的，也不滿足三角不等式。
互信息和KL散度不等價。但是，互信息 $ I(X, Y) $ 隨機變量之間 $ X $ 和 $ Y $ 由聯合分佈之間的 KL 散度給出 $ p_{XY} $ 和邊際分佈的乘積 $ p_X \otimes p_Y $ （如果聯合分佈是什麼 $ X $ 和 $ Y $ 是獨立的）。
$$ I(X, Y) = D_{KL}(p_{XY} \parallel p_X \otimes p_Y) $$
雖然互信息本身不是一個度量，但有基於它的度量。例如，信息的變化：
$$ VI(X, Y) = H(X, Y) - I(X, Y) = H(X) + H(Y) - 2 I(X, Y) $$
在哪裡 $ H(X) $ 和 $ H(Y) $ 是邊際熵和 $ H(X, Y) $ 是聯合熵。