如何計算互信息？

我有點困惑。有人可以向我解釋如何基於以二進制術語出現作為權重的術語文檔矩陣計算兩個術語之間的互信息嗎？

$$ \begin{matrix} & ‘Why’ & ‘How’ & ‘When’ & ‘Where’ \ Document1 & 1 & 1 & 1 & 1 \ Document2 & 1 & 0 & 1 & 0 \ Document3 & 1 & 1 & 1 & 0 \end{matrix} $$

$$ I(X;Y)= \sum_{y \in Y} \sum_{x \in X} p(x,y) \log\left(\frac{p(x,y)}{p(x)p(y)} \right) $$

謝謝

如何形成一個聯合概率表來保存文檔中的標準化共現。然後您可以使用該表獲得聯合熵和邊際熵。最後，

引用自：https://stats.stackexchange.com/questions/46683