當任何隨機變量歸一化為單位方差時，微分熵下降
高斯 RV 的微分熵是. 這取決於，這是標準差。
如果我們對隨機變量進行歸一化，使其具有單位方差，那麼它的微分熵就會下降。對我來說，這是違反直覺的，因為與熵的減少相比，歸一化常數的 Kolmogorov 複雜性應該非常小。人們可以簡單地設計一個編碼器解碼器，它與歸一化常數相除/相乘，以恢復由該隨機變量生成的任何數據集。
可能我的理解是錯誤的。你能指出我的缺點嗎？
我會試試這個，雖然它有點在我頭上，所以撒點鹽來治療……
你並沒有完全錯。我認為你的思想實驗失敗的地方是微分熵不是熵的極限情況。我猜正因為如此，它與 Kolmogorov 複雜性之間的相似之處就消失了。
假設我們有一個離散隨機變量. 我們可以通過對所有可能值求和來計算其香農熵如下,
到目前為止很無聊。現在讓我們這麼說是連續隨機變量的量化版本 - 比如說，我們有密度函數它從一組實數中生成樣本，我們將其轉換為直方圖。我們將有一個足夠精細的直方圖，密度函數基本上是線性的。在那種情況下，我們將有一個像這樣的熵，
在哪裡是我們的直方圖箱的寬度和是每個的中點。我們在該對數內有一個產品 - 讓我們將其分開並使用概率分佈總和為 1 的屬性將其移到總和之外，給我們
如果我們採取限制，讓並將總和轉換為積分，我們的近似值變得精確，我們得到以下結果，
右邊的項是微分熵。但是看看那可怕的學期。我們必須忽略它以避免我們所有的答案都是 NaN。恐怕這意味著微分熵不是香農熵的極限情況。
所以，我們失去了一些屬性。是的，重新調整您的數據會改變微分熵 - 微分熵是衡量 pdf 的“緊湊程度”的一種度量。如果你重新調整它，那麼這會改變。另一個有趣的屬性是它可以變為負數，這與香農熵不同 - 嘗試設置真的很小，看看會發生什麼。我認為失去與 Kolmogorov 複雜性的聯繫只是另一個犧牲品。
幸運的是，我們並沒有完全迷失。Kullback-Leibler 散度，以及擴展互信息，表現得相當好，因為所有的的取消。例如，您可以計算
在哪裡是一些參考分佈 - 比如說，一個統一的分佈。這總是積極的，當你重新調整變量它改變了兩者和，所以結果遠沒有那麼嚴重。