Classification
樸素貝葉斯如何成為線性分類器?
我在這裡看到了另一個線程,但我認為答案不滿足實際問題。我不斷閱讀的是樸素貝葉斯是一個線性分類器(例如:here)(這樣它就可以繪製一個線性決策邊界),使用對數賠率演示。
但是,我模擬了兩個高斯雲並擬合了決策邊界並得到了這樣的結果(r 中的庫 e1071,使用 naiveBayes())
正如我們所見,決策邊界是非線性的。是想說參數(條件概率)是對數空間中的線性組合,而不是說分類器本身線性地分離數據?
一般來說,樸素貝葉斯分類器不是線性的,但如果似然因子來自指數族,樸素貝葉斯分類器對應於特定特徵空間中的線性分類器。這裡是如何看待這個。
您可以將任何樸素貝葉斯分類器編寫為*
在哪裡是邏輯函數。如果來自一個指數族,我們可以寫成
因此
在哪裡
請注意,這類似於邏輯回歸- 一個線性分類器 - 在由. 對於兩個以上的類,我們類似地得到多項邏輯(或 softmax)回歸。
如果是高斯,那麼我們應該有
假設.
*以下是得出此結果的方法: