Information-Theory
作為概率的互信息
聯合熵上的互信息是否可以： $$ 0 \leq \frac{I(X,Y)}{H(X,Y)} \leq 1 $$
被定義為：“一條信息從 X 傳送到 Y 的概率”？
我很抱歉這麼幼稚，但我從未學習過信息論，我只是想了解其中的一些概念。
您所描述的衡量標準稱為信息質量比[IQR]（Wijaya、Sarno 和 Zulaika，2017 年）。IQR 是互信息 $ I(X,Y) $ 除以“總不確定性”（聯合熵） $ H(X,Y) $ （圖片來源：Wijaya、Sarno 和 Zulaika，2017 年）。
正如 Wijaya、Sarno 和 Zulaika (2017) 所述，
IQR 的範圍是 $ [0,1] $ . 如果 DWT 可以完美地重構信號而不會丟失信息，則可以達到最大值（IQR=1）。否則，最小值（IQR=0）意味著MWT與原始信號不兼容。換言之，具有特定MWT的重構信號不能保留基本信息，並且與原始信號特徵完全不同。
您可以將其解釋為信號將被完美重建而不會丟失信息的概率。請注意，這種解釋更接近於對概率的主觀解釋，然後是傳統的頻率主義解釋。
這是一個二元事件的概率（重建信息與不重建信息），其中 IQR=1 表示我們認為重建的信息是可信的，而 IQR=0 表示相反。它共享二進制事件概率的所有屬性。此外，熵與概率共享許多其他屬性（例如條件熵的定義、獨立性等）。所以它看起來像一個概率並且嘎嘎喜歡它。
Wijaya, DR, Sarno, R. 和 Zulaika, E. (2017)。信息質量比作為母小波選擇的新度量。化學計量學和智能實驗室系統，160, 59-71。
