Logistic

scikit-learn LogisticRegression 的損失函數

  • December 30, 2015

我無法理解 scikit-learn 用於擬合邏輯回歸的損失函數,可以在此處找到。

具體來說,我對第二個學期有疑問。它似乎與通常的 MLE 標準非常不同。有人可以給我一些暗示這是從哪裡來的嗎?

$$ \mathop {\min{\mkern 1mu} }\limits_{w,c} \frac{1}{2}{w^T}w + C\sum\limits_{i = 1}^n {\log } (\exp ( - {y_i}(X_i^Tw + c)) + 1) $$

我認為通常邏輯回歸的對數似然如下所示。顯然,scikit-learn 目標函數中缺少以下第一項。

$$ LLH=\sum_{i=1}^n \left[{y_i}(X_i^Tw + c) - \ln{1+\exp(X_i^Tw + c)} \right] $$

由於邏輯函數的以下屬性,這兩個實際上(幾乎)是等價的:

但請注意,您的公式沒有在“日誌部分”中,而這個是。(我想這是一個錯字)

引用自:https://stats.stackexchange.com/questions/188699

comments powered by Disqus