Entropy

證明具有固定協方差矩陣的最大熵分佈是高斯分佈

  • February 4, 2016

我試圖弄清楚高斯具有最大熵的以下證明。

加星標的步驟如何有意義?一個特定的協方差只修復了第二個時刻。第三,第四,第五時刻等會發生什麼?

在此處輸入圖像描述

加星號的步驟是有效的,因為 (a)和具有相同的零和二階矩和 (b)是分量的多項式函數其項具有總度數或者.


你只需要知道關於零均值的多元正態分佈的兩件事:

  1. 是一個二次函數 沒有線性項。具體來說,有常數和為此

(當然和可以寫成,但這個細節無關緊要。) 2. 給出分佈的二階矩. 那是,

我們可以使用這些信息來計算一個積分:

它分為兩部分的總和:

  • , 因為兩者和是概率密度函數。
  • 因為右手邊的每個積分,和, 具有相同的值(也就是說,)。這就是“產生二次形式的相同矩”這句話的意思。

結果立即出現:因為, 我們得出結論

引用自:https://stats.stackexchange.com/questions/194051

comments powered by Disqus