Mathematical-Statistics
Bhattacharya 係數和 Bhattacharya 距離的直覺？
Bhattacharyya 距離定義為， 在哪裡對於離散變量，對於連續隨機變量也是如此。我試圖獲得一些直覺，了解這個指標告訴你關於 2 個概率分佈的內容，以及何時它可能是比 KL 散度或 Wasserstein 距離更好的選擇。（注意：我知道 KL-divergence 不是距離）。
Bhattacharyya 係數為 BC(h,g)=∫√h(x)g(x);dx
在連續情況下。有一篇很好的維基百科文章https://en.wikipedia.org/wiki/Bhattacharyya_distance。如何理解這一點（以及相關的距離）？讓我們從多元正態案例開始，它具有指導意義，可以在上面的鏈接中找到。當兩個多元正態分佈具有相同的協方差矩陣時，Bhattacharyya 距離與馬氏距離一致，而在兩個不同的協方差矩陣的情況下，它確實有第二項，因此推廣了馬氏距離。這可能是聲稱在某些情況下 Bhattacharyya 距離比 Mahalanobis 更好的說法的基礎。Bhattacharyya 距離也與 Hellinger 距離密切相關https://en.wikipedia.org/wiki/Hellinger_distance。使用上面的公式，我們可以找到一些隨機解釋。寫 BC(h,g)=∫√h(x)g(x);dx= ∫h(x)⋅√g(x)h(x);dx=Eh√g(X)h(X)
所以它是似然比統計量的平方根的期望值，在分佈下計算 h （的零分佈 X ）。這可以與Kullback-Leibler (KL) Divergence 上的 Intuition進行比較，後者將 Kullback-Leibler 散度解釋為對數似然比統計量的期望（但在替代項下計算） g ）。這種觀點在某些應用中可能很有趣。還有另一種觀點，與一般的 f-分歧族相比，定義為，參見Rényi entropy Df(h,g)=∫h(x)f(g(x)h(x));dx
如果我們選擇 f(t)=4(1+t2−√t) 由此產生的 f 散度是 Hellinger 散度，我們可以從中計算 Bhattacharyya 係數。這也可以看作是從 Renyi 熵獲得的 Renyi 散度的示例，請參見上面的鏈接。