Classification

樸素貝葉斯如何成為線性分類器?

  • March 17, 2015

我在這裡看到了另一個線程,但我認為答案不滿足實際問題。我不斷閱讀的是樸素貝葉斯是一個線性分類器(例如:here)(這樣它就可以繪製一個線性決策邊界),使用對數賠率演示。

但是,我模擬了兩個高斯雲並擬合了決策邊界並得到了這樣的結果(r 中的庫 e1071,使用 naiveBayes()) 1 - 綠色,0 - 紅色

正如我們所見,決策邊界是非線性的。是想說參數(條件概率)是對數空間中的線性組合,而不是說分類器本身線性地分離數據?

一般來說,樸素貝葉斯分類器不是線性的,但如果似然因子來自指數族,樸素貝葉斯分類器對應於特定特徵空間中的線性分類器。這裡是如何看待這個。

您可以將任何樸素貝葉斯分類器編寫為*

在哪裡是邏輯函數。如果來自一個指數族,我們可以寫成

因此

在哪裡

請注意,這類似於邏輯回歸- 一個線性分類器 - 在由. 對於兩個以上的類,我們類似地得到多項邏輯(或 softmax)回歸

如果是高斯,那麼我們應該有

假設.


*以下是得出此結果的方法:

引用自:https://stats.stackexchange.com/questions/142215

comments powered by Disqus