Machine-Learning

圖形模型和玻爾茲曼機在數學上是否相關?

  • September 2, 2016

雖然我實際上已經在物理課上使用玻爾茲曼機進行了一些編程,但我並不熟悉它們的理論表徵。相比之下,我對圖形模型的理論了解不多(關於 Lauritzen 的《圖形模型》一書的前幾章)。

**問題:**圖模型和玻爾茲曼機之間有什麼有意義的關係嗎?玻爾茲曼機是一種圖形模型嗎?

顯然玻爾茲曼機是一種神經網絡。我聽說有些神經網絡在數學上與圖形模型相關,而有些則不是。

CrossValidated 上未回答我的問題的相關問題:

這與之前提出的問題類似:層次模型、神經網絡、圖形模型、貝葉斯網絡之間的關係是什麼?但更具體。

此外,對該問題的公認答案並不能澄清我的困惑——即使神經網絡的標準圖形表示中的節點不代表隨機變量,也不一定意味著不存在這樣的表示。具體來說,我正在考慮馬爾可夫鏈的典型圖形表示中的節點如何表示一組可能的狀態,而不是隨機變量, 但也可以創建一個圖表來顯示,這表明每個馬爾可夫鏈實際上都是一個馬爾可夫隨機場。答案還說神經網絡(可能包括玻爾茲曼機)是“有辨別力的”,但沒有更詳細地解釋這種說法的含義,明顯的後續問題也不是“圖模型沒有辨別力嗎?” 解決。同樣,接受的答案鏈接到 Kevin Murphy 的網站(我實際上在學習貝葉斯網絡時閱讀了他的一些博士論文),但是這個網站只討論貝葉斯網絡,根本沒有提到神經網絡——因此它無法說明它們是如何是不同的。

這個另一個問題可能與我的最相似:數學建模神經網絡作為圖形模型但是,沒有一個答案被接受,同樣只提供參考但不解釋參考(例如這個答案)。雖然有朝一日我希望能夠理解這些參考資料,但現在我處於基本知識水平,並且最希望得到盡可能簡化的答案。此外,在最佳答案 ( http://www.cs.toronto.edu/~tijmen/csc321/lecture_notes.shtml ) 中鏈接的多倫多課程解決了這個問題,但不是很詳細。此外,可能會回答我的問題的一次講座的筆記不向公眾提供。

3 月 25 日講座 13b:信念網 7:43。對於這張幻燈片,請記住玻爾茲曼機。在那裡,我們也有隱藏單元和可見單元,而且都是概率性的。BM 和 SBN 的共同點多於差異。9:16。如今,“圖形模型”有時被認為是神經網絡的一種特殊類別,但在此處描述的歷史中,它們被認為是非常不同類型的系統。

玻爾茲曼機與受限玻爾茲曼機

AFAIK 玻爾茲曼機是一種圖形模型,與神經網絡相關的模型是受限玻爾茲曼機(RBM)。

玻爾茲曼機和受限玻爾茲曼機之間的區別,來自《機器學習 A Probabilistic Perspective》一書 在此處輸入圖像描述

RBM 與神經網絡

對於 RBM(參考:Geoffrey Hinton 訓練受限玻爾茲曼機的實用指南

在哪裡和對應於上圖中的可見單元和隱藏單元,以及是 Sigmoid 函數。 條件概率以相同的網絡層形式計算,因此訓練得到的 ​​RBM 權重可以直接用作神經網絡的權重或作為訓練的起點。

我認為 RBM 本身更像是一個圖形模型而不是一種神經網絡,因為它是無向的,它具有明確定義的條件獨立性,並且它使用自己的訓練算法(例如對比散度)。

引用自:https://stats.stackexchange.com/questions/233077

comments powered by Disqus