Logistic

哪個損失函數對邏輯回歸是正確的?

  • December 11, 2016

我閱讀了關於邏輯回歸損失函數的兩個版本,其中哪個是正確的,為什麼?

  1. 來自機器學習, Zhou ZH (in Chinese), with $ \beta = (w, b)\text{ and }\beta^Tx=w^Tx +b $ :

$$ l(\beta) = \sum\limits_{i=1}^{m}\Big(-y_i\beta^Tx_i+\ln(1+e^{\beta^Tx_i})\Big) \tag 1 $$ 2. 從我的大學課程中,與 $ z_i = y_if(x_i)=y_i(w^Tx_i + b) $ :

$$ L(z_i)=\log(1+e^{-z_i}) \tag 2 $$


我知道第一個是所有樣本的累加,第二個是針對單個樣本的,但是我比較好奇的是兩個損失函數形式的區別。不知何故,我有一種感覺,它們是等價的。

關係如下:.

定義一個邏輯函數為. 他們擁有的財產. 或者換句話說:

如果你取雙方的倒數,然後取你得到的日誌:

減去從雙方,你應該看到這個:

編輯:

目前我正在重新閱讀這個答案並且對我是如何得到的感到困惑等於. 也許原始問題中有錯字。

編輯2:

在原始問題中沒有錯字的情況下,@ManelMorales 似乎是正確的,以提醒人們注意以下事實:當,概率質量函數可以寫為, 由於屬性. 我在這裡用不同的方式重寫它,因為他在符號上引入了一個新的模棱兩可. 其餘的是對每個取負對數似然編碼。有關更多詳細信息,請參閱下面的答案。

引用自:https://stats.stackexchange.com/questions/250937

comments powered by Disqus