典型的集合概念
我認為典型集合的概念非常直觀：長度序列將屬於典型集合如果序列出來的概率很高。因此，任何可能出現的序列. （我避免使用與熵相關的正式定義，因為我試圖定性地理解它。）
但是，我讀過，一般來說，最可能的序列不屬於典型的集合。這讓我很困惑。
典型集合有直觀的定義嗎？或者它只是一個與常識沒有太大關係的數學工具？
我知道您明確要求提供直觀的解釋並省略正式定義，但我認為它們相當相關，所以讓我回憶一下典型集的定義：
$ X_1, X_2 ,… $ 是獨立同分佈的隨機變量 $ \sim $ $ p(x) $ 然後是典型的集合 $ A_\epsilon^{(n)} $ 關於 $ p(x) $ 是序列的集合 $ (x_1,x_2,…,x_n) \in \chi^n $ 與財產 $$ 2^{-n(H(X)+\epsilon)}\le p(x_1,x_2,…,x_n) \le 2^{-n(H(X)-\epsilon)} \tag{1} $$ 這意味著對於固定 $ \epsilon $ ，典型集合由概率接近的所有序列組成 $ 2^{-nH(X)} $ . 所以為了讓一個序列屬於典型集合，它只需要有一個接近於 $ 2^{-nH(X)} $ ，但通常不會。為了理解原因，讓我通過應用重寫等式 1 $ log_2 $ 在上面。
$$ H(X)-\epsilon\le \frac{1}{n}\log_2\left(\frac{1}{p(x_1,x_2,…,x_n)}\right) \le H(X)+\epsilon \tag{2} $$
現在典型的集合定義更直接地與熵的概念相關，或者換句話說，隨機變量的平均信息。中間項可以被認為是序列的樣本熵，因此典型的集合是由所有給我們提供接近隨機變量平均信息量的信息量的序列組成的 $ X $ . 最可能的序列通常給我們提供的信息少於平均值。請記住，結果的概率越低，它給我們的信息就越高。為了理解為什麼讓我舉個例子：
假設您住在一個天氣很可能是晴天和溫暖的城市，溫度介於 24°C 和 26°C 之間。你可能每天早上都會看天氣預報，但你不會太在意它，我的意思是，它總是陽光明媚和溫暖。但是，如果有一天天氣男/女告訴你今天會下雨而且很冷，那會改變遊戲規則。你將不得不穿一些不同的衣服，帶上雨傘，做一些你通常不會做的事情，所以天氣預報員給了你一個真正重要的信息。
總而言之，典型集合的直觀定義是它由序列組成，這些序列為我們提供的信息量接近於預期的源（隨機變量）。