什麼時候做馬爾可夫隨機場≠≠neq指數族？
在他們的教科書“圖形模型、指數族和變分推理”中，M. Jordan和M. Wainwright討論了指數族和馬爾可夫隨機場（無向圖模型）之間的聯繫。
我試圖通過以下問題更好地理解它們之間的關係：
- 所有 MRF 都是指數族的成員嗎？
- 指數族的所有成員都可以代表一個 MRF 嗎？
- 如果 MRF指數族，有哪些很好的例子說明一種類型的分佈不包含在另一種類型中？
根據我在他們的教科書（第 3 章）中的理解，Jordan 和 Wainwright 提出了下一個論點：
- 假設我們有一個遵循某種分佈的標量隨機變量 X, 並繪製獨立同分佈觀察，我們想要識別.
- 我們計算某些函數的經驗期望
對所有人
其中每個在某些集合中索引一個函數 3. 那麼如果我們強制以下兩組量一致，即匹配（識別):
- 期望的充分統計分佈的
- 經驗分佈下的期望
我們得到了一個未確定的問題，從某種意義上說，有很多分佈 與觀察結果一致。所以我們需要一個原則來選擇它們（識別）。
如果我們使用最大熵原理來消除這種不確定性，我們可以得到一個：
受制於對所有人
這在哪裡採取形式經驗在哪裡表示指數族形式的分佈參數化.
換句話說，如果我們
- 使分佈的期望與經驗分佈下的期望一致
- 使用最大熵原理擺脫不確定性
我們最終得到指數族的分佈。
然而，這看起來更像是一個引入指數族的論點，並且（據我所知）它沒有描述 MRF 和 exp 之間的關係。家庭。我錯過了什麼嗎？
你是完全正確的——你提出的論點將指數族與最大熵原理聯繫起來，但與 MRF 沒有任何關係。
為了解決您最初的三個問題：
指數族的所有成員都可以代表一個 MRF 嗎？
**是的。**事實上，**任何密度或質量函數都可以表示為 MRF！**根據 Wikipedia [1]，MRF 被定義為一組隨機變量，它們是關於無向圖的馬爾可夫。等價地，變量的聯合分佈可以寫成以下分解：
在哪裡是最大團的集合. 從這個定義中，您可以看到一個完全連接的圖，雖然完全沒有信息，但與任何分佈都是一致的。
所有 MRF 都是指數族的成員嗎？
**不。**由於所有分佈都可以表示為 MRF（並非所有分佈都屬於指數族），因此必須有一些“MRF 成員”不是指數族成員。儘管如此，這是一個非常自然的問題——似乎人們在實踐中使用的絕大多數 MRF指數族分佈。所有有限域離散 MRF 和高斯 MRF 都是指數族的成員。事實上，由於指數族分佈的乘積也在指數族中，任何 MRF 的聯合分佈，其中每個潛在函數都具有（非歸一化）指數族成員的形式，其本身將在指數族中。
如果 MRF指數族，有哪些很好的例子說明一種類型的分佈不包括在另一種類型中？
混合分佈是非指數族分佈的常見示例。考慮線性高斯狀態空間模型（類似於隱藏馬爾可夫模型，但具有連續隱藏狀態和高斯轉換和發射分佈）。如果用混合高斯函數替換轉換核，得到的分佈不再屬於指數族（但仍保留了實用圖模型豐富的條件獨立結構特徵）。