Kullback-Leibler 散度：負值？[複製]

Wikipedia - KL properties說 KL 永遠不會是負數。但是例如對於概率很小的文本，我會以某種方式得到負值？例如

集合 A：-字數：321 文檔數：65888 概率：0,004871904

集合 B：-字數：1244 文檔數：120344 probB：=0,010337034

KL =

KL-散度是跨越所有值. 你只有一個實例（) 在你的等式中。例如，如果您的模型是二項式（您的文檔中只出現了兩個可能的詞）並且在文檔 1 中為 0.005，在文檔 2 中為 0.01，那麼您將擁有：

根據 Gibbs 不等式（參見http://en.wikipedia.org/wiki/Gibbs%27_inequality ） ，這個總和（或在連續隨機變量的情況下為積分）將始終為正。

引用自：https://stats.stackexchange.com/questions/41297