Kullback-Leibler 距離的改編？
看這張圖片：
如果我們從紅色密度中抽取樣本，那麼一些值預計會小於 0.25，而從藍色分佈中生成這樣的樣本是不可能的。因此，從紅色密度到藍色密度的 Kullback-Leibler 距離是無窮大。然而，在某種“自然意義上”，這兩條曲線並沒有那麼明顯。
這是我的問題：是否存在對 Kullback-Leibler 距離的適應，允許這兩條曲線之間的距離有限？
你可以看看 Devroye、Gyorfi 和 Lugosi，A Probabilistic Theory of Pattern Recognition的第 3 章，Springer，1996。- 差異。
-分歧可以被看作是 Kullback–Leibler 的概括（或者，KL 可以看作是-分歧）。
一般形式是
在哪裡是支配與相關的措施的措施和和是一個凸函數滿足. （如果和是關於勒貝格測度的密度，只需替換符號為了你可以走了。）
我們通過服用恢復 KL. 我們可以通過以下方式獲得 Hellinger 差異我們得到總變化或通過採取距離. 後者給出
請注意，最後一個至少給你一個有限的答案。
在另一本名為《密度估計：View，Devroye 強烈主張使用後一種距離，因為它有許多很好的不變性屬性（以及其他屬性）。後一本書可能比前一本書更難掌握，而且正如標題所示，更專業一些。
附錄：通過這個問題，我意識到@Didier 提出的度量似乎（直到一個常數）被稱為 Jensen-Shannon Divergence。如果您點擊該問題中提供的答案的鏈接，您會發現該數量的平方根實際上是一個度量，並且之前在文獻中被認為是-分歧。我發現有趣的是，我們似乎通過對這個問題的討論集體“重新發明”了輪子（相當快）。我在@Didier 的回復下面的評論中給出的解釋也被先前認可。四周，其實很整潔。