Data-Mining

隱馬爾可夫模型和神經網絡有什麼區別?

  • December 31, 2011

我只是在統計數據中弄濕了我的腳,所以如果這個問題沒有意義,我很抱歉。我使用馬爾可夫模型來預測隱藏狀態(不公平的賭場、擲骰子等),並使用神經網絡來研究用戶在搜索引擎上的點擊。兩者都有隱藏狀態,我們試圖通過觀察來找出這些狀態。

據我了解,它們都預測隱藏狀態,所以我想知道什麼時候會在神經網絡上使用馬爾可夫模型?它們只是解決類似問題的不同方法嗎?

(我對學習很感興趣,但我也有另一個動機,我有一個問題,我試圖使用隱藏的馬爾可夫模型來解決,但這讓我發瘋了,所以我很想看看我是否可以改用其他東西。)

什麼是隱藏的,什麼是觀察到的

隱藏在隱馬爾可夫模型中的東西與隱藏在離散混合模型中的東西相同,因此為了清楚起見,忘記隱藏狀態的動力學並堅持以有限混合模型為例。此模型中的“狀態”是導致每次觀察的組件的身份。在此類模型中,從未觀察到此類原因,因此“隱藏原因”在統計上被轉換為聲稱觀察到的數據具有邊際依賴關係,這些依賴關係在源組件已知時被移除。並且估計源組件是使這種統計關係成立的任何因素。

隱藏在具有 sigmoid 中間單元的前饋多層神經網絡中的是這些單元的狀態,而不是作為推理目標的輸出。當網絡的輸出是一個分類,即可能的輸出類別的概率分佈時,這些隱藏單元值定義了一個空間,在該空間內類別是可分離的。學習這種模型的技巧是創建一個隱藏空間(通過調整輸入單元的映射),在該隱藏空間中問題是線性的。因此,從系統整體來看,非線性決策邊界是可能的。

生成式與判別式

混合模型(和 HMM)是數據生成過程的模型,有時稱為似然性或“前向模型”。當結合關於每個狀態的先驗概率的一些假設時,您可以使用貝葉斯定理(一種生成方法)推斷隱藏狀態的可能值的分佈。請注意,雖然稱為“先驗”,但先驗和可能性中的參數通常都是從數據中學習的。

與混合模型(和 HMM)相比,神經網絡直接學習輸出類別的後驗分佈(一種判別方法)。這是可能的,因為在估計期間觀察到了輸出值。並且由於它們是被觀察到的,因此沒有必要從先驗和特定模型(例如混合)構建後驗分佈。後驗直接從數據中學習,效率更高,模型依賴性更小。

連連看

為了使事情更加混亂,這些方法可以混合在一起,例如,當有時實際觀察到混合模型(或 HMM)狀態時。如果這是真的,並且在其他一些與此無關的情況下,可以在其他生成模型中進行有區別的訓練。類似地,可以用更靈活的前向模型(例如神經網絡)替換 HMM 的混合模型映射。

問題

因此,兩個模型都預測隱藏狀態並不完全正確。HMM用於預測隱藏狀態,儘管只是前向模型所期望的那種。神經網絡可用於預測尚未觀察到的狀態,例如預測器可用的未來狀態。這種狀態原則上是不隱藏的,只是還沒有被觀察到。

你什麼時候會使用一個而不是另一個?嗯,根據我的經驗,神經網絡製作了相當尷尬的時間序列模型。他們還假設您已經觀察到輸出。HMM 沒有,但您實際上無法控制隱藏狀態的實際含義。然而,它們是適當的時間序列模型。

引用自:https://stats.stackexchange.com/questions/20429

comments powered by Disqus