Logistic
哪個損失函數對邏輯回歸是正確的?
我閱讀了關於邏輯回歸損失函數的兩個版本,其中哪個是正確的,為什麼?
- 來自機器學習, Zhou ZH (in Chinese), with $ \beta = (w, b)\text{ and }\beta^Tx=w^Tx +b $ :
$$ l(\beta) = \sum\limits_{i=1}^{m}\Big(-y_i\beta^Tx_i+\ln(1+e^{\beta^Tx_i})\Big) \tag 1 $$ 2. 從我的大學課程中,與 $ z_i = y_if(x_i)=y_i(w^Tx_i + b) $ :
$$ L(z_i)=\log(1+e^{-z_i}) \tag 2 $$
我知道第一個是所有樣本的累加,第二個是針對單個樣本的,但是我比較好奇的是兩個損失函數形式的區別。不知何故,我有一種感覺,它們是等價的。
關係如下:.
定義一個邏輯函數為. 他們擁有的財產. 或者換句話說:
如果你取雙方的倒數,然後取你得到的日誌:
減去從雙方,你應該看到這個:
編輯:
目前我正在重新閱讀這個答案並且對我是如何得到的感到困惑等於. 也許原始問題中有錯字。
編輯2:
在原始問題中沒有錯字的情況下,@ManelMorales 似乎是正確的,以提醒人們注意以下事實:當,概率質量函數可以寫為, 由於屬性. 我在這裡用不同的方式重寫它,因為他在符號上引入了一個新的模棱兩可. 其餘的是對每個取負對數似然編碼。有關更多詳細信息,請參閱下面的答案。