Information-Theory
什麼是經驗熵？
在聯合典型集的定義中（在“信息理論的要素”，第 7.6 章，第 195 頁），我們使用
作為一個經驗熵-序列與. 我以前從未遇到過這個術語。根據本書的索引，它沒有在任何地方明確定義。 我的問題基本上是：為什麼經驗熵不是在哪裡是經驗分佈？
這兩個公式之間最有趣的區別和相似之處是什麼？（就他們共享/不共享的屬性而言）。
如果數據是，也就是說，一個- 來自樣本空間的序列，經驗點概率是
為了. 這裡是一個如果否則為零。那是，是相對頻率在觀察到的序列中。經驗點概率給出的概率分佈的熵是
後一個恆等式通過交換兩個總和並註意到 由此我們看到
和並使用問題中的術語，這是經驗概率分佈的經驗熵。正如@cardinal 在評論中指出的那樣，是具有點概率的給定概率分佈的經驗熵.