Distributions

對於已知的平均絕對偏差,什麼分佈具有最大熵?

  • January 16, 2014

我正在閱讀Hacker News 上關於使用標準偏差而不是其他指標(例如平均絕對偏差)的討論。那麼,如果我們遵循最大熵原理,如果我們只知道分佈的均值和均值絕對偏差,我們會使用什麼樣的分佈呢?

還是使用中位數和與中位數的平均絕對偏差更有意義?

我發現了 Grechuk、Molyboha 和 Zabarankin 的論文最大熵原理和一般偏差測量,其中似乎包含我很好奇的信息,但我需要一段時間才能破譯它。

這些聰明的先生們, Kotz, S., Kozubowski, TJ, & Podgorski, K. (2001)。拉普拉斯分佈和概括:對通信、經濟、工程和金融應用的重新審視(第 183 號)。施普林格。

用一個練習挑戰我們:

在此處輸入圖像描述

證明可以遵循信息論證明,即正態是給定均值和方差的最大熵。具體來說:讓是上面的拉普拉斯密度,並且讓是任何其他密度,但具有相同的均值和均值絕對偏差。這意味著以下等式成立:

現在考慮兩個密度的Kullback-Leibler 散度:

第一個積分是(微分)熵的負數, 表示. 第二個積分是(明確寫出拉普拉斯pdf)

第一個積分積分為單位,也使用 eq。我們獲得

但這是拉普拉斯微分熵的負數,表示它. 將這些結果插入等式。我們有

自從是任意的,這證明上述拉普拉斯密度是具有上述規定的所有分佈中的最大熵。

引用自:https://stats.stackexchange.com/questions/82410

comments powered by Disqus