Kullback-Leibler
Kullback-Leibler 散度:負值?[複製]
Wikipedia - KL properties說 KL 永遠不會是負數。但是例如對於概率很小的文本,我會以某種方式得到負值?例如
集合 A:-字數:321 文檔數:65888 概率:0,004871904
集合 B:-字數:1244 文檔數:120344 probB:=0,010337034
KL =
KL-散度是跨越所有值. 你只有一個實例() 在你的等式中。例如,如果您的模型是二項式(您的文檔中只出現了兩個可能的詞)並且在文檔 1 中為 0.005,在文檔 2 中為 0.01,那麼您將擁有:
根據 Gibbs 不等式(參見http://en.wikipedia.org/wiki/Gibbs%27_inequality ) ,這個總和(或在連續隨機變量的情況下為積分)將始終為正。