Distributions
對於已知的平均絕對偏差,什麼分佈具有最大熵?
我正在閱讀Hacker News 上關於使用標準偏差而不是其他指標(例如平均絕對偏差)的討論。那麼,如果我們遵循最大熵原理,如果我們只知道分佈的均值和均值絕對偏差,我們會使用什麼樣的分佈呢?
還是使用中位數和與中位數的平均絕對偏差更有意義?
我發現了 Grechuk、Molyboha 和 Zabarankin 的論文最大熵原理和一般偏差測量,其中似乎包含我很好奇的信息,但我需要一段時間才能破譯它。
這些聰明的先生們, Kotz, S., Kozubowski, TJ, & Podgorski, K. (2001)。拉普拉斯分佈和概括:對通信、經濟、工程和金融應用的重新審視(第 183 號)。施普林格。
用一個練習挑戰我們:
證明可以遵循信息論證明,即正態是給定均值和方差的最大熵。具體來說:讓是上面的拉普拉斯密度,並且讓是任何其他密度,但具有相同的均值和均值絕對偏差。這意味著以下等式成立:
現在考慮兩個密度的Kullback-Leibler 散度:
第一個積分是(微分)熵的負數, 表示. 第二個積分是(明確寫出拉普拉斯pdf)
第一個積分積分為單位,也使用 eq。我們獲得
但這是拉普拉斯微分熵的負數,表示它. 將這些結果插入等式。我們有
自從是任意的,這證明上述拉普拉斯密度是具有上述規定的所有分佈中的最大熵。