雙變量正態分佈的 Jensen-Shannon 散度
給定兩個二元正態分佈和，我正在嘗試計算它們之間的 Jensen-Shannon 散度，定義為（對於離散情況）：
在哪裡是 Kullback-Leibler 散度，並且
我找到了計算方法就分佈的參數而言，因此.
我的疑問是：
- 計算， 我已經做了. 這是正確的嗎？
- 我在 [ 1 ] 中讀到是有界的，但是當我按照上面描述的正態分佈計算它時，這似乎不是真的。這是否意味著我計算錯誤、違反假設或其他我不理解的東西？
中點測量是兩個多元法線的混合分佈，因此它不具有您在原始帖子中給出的形式。讓是 a 的概率密度函數隨機向量和成為的pdf. 那麼中點測量的pdf是
Jensen-Shannon 散度為
在哪裡表示對應於度量的（微分）熵. 因此，您的計算簡化為計算微分熵。對於多元正態, 答案是眾所周知的
並且證明可以在任何數量的來源中找到，例如，Cover and Thomas (1991), pp. 230-231。值得指出的是，多元正態的熵相對於均值是不變的，如上面的表達式所示。然而，這幾乎肯定不會延續到法線混合的情況。（考慮選擇一個以零為中心的廣泛法線和另一個集中法線，後者被推離原點很遠。） 對於中點測量，事情似乎更複雜。據我所知，微分熵沒有封閉形式的表達式. 在 Google 上搜索會產生一些潛在的點擊，但在一般情況下，排名靠前的似乎並沒有給出封閉的形式。你可能會被困在以某種方式近似這個數量。
另請注意，您引用的論文並未將處理僅限於離散分佈。他們對案例的處理足夠籠統，以至於您的問題屬於他們的框架。參見第 1859 頁第二欄的中間部分。這裡也顯示了分歧是有界的。這適用於兩個一般度量的情況，並且不限於兩個離散分佈的情況。
Jensen-Shannon Divergence 最近在本網站的其他問題中出現了幾次。見這里和這裡。
附錄：請注意，法線的混合與法線的線性組合不同。看到這一點的最簡單方法是考慮一維情況。讓和讓它們彼此獨立。然後使用權重混合兩個法線為了有分佈
線性組合的分佈和使用與以前相同的權重，通過正態分佈 的穩定屬性是
在哪裡. 這兩個分佈非常不同，儘管它們具有相同的均值。這不是偶然的，而是源於預期的線性。
要了解混合分佈，假設您必須去找一位統計顧問，以便她可以從該分佈中為您生成值。她擁有一個認識在一個手掌和一個實現在另一隻手掌中（儘管您不知道兩個手掌中的哪一個）。現在，她的助手以概率拋硬幣在你看不見的地方，然後過來把結果低聲告訴統計學家。她張開一隻手掌，向你展示了這一點，但沒有告訴你擲硬幣的結果。此過程產生混合分佈。
另一方面，可以在相同的上下文中理解線性組合。統計顧問只採用兩種實現，將第一個乘以第二個是，將結果相加並顯示給您。