Logistic
scikit-learn LogisticRegression 的損失函數
我無法理解 scikit-learn 用於擬合邏輯回歸的損失函數,可以在此處找到。
具體來說,我對第二個學期有疑問。它似乎與通常的 MLE 標準非常不同。有人可以給我一些暗示這是從哪裡來的嗎?
$$ \mathop {\min{\mkern 1mu} }\limits_{w,c} \frac{1}{2}{w^T}w + C\sum\limits_{i = 1}^n {\log } (\exp ( - {y_i}(X_i^Tw + c)) + 1) $$
我認為通常邏輯回歸的對數似然如下所示。顯然,scikit-learn 目標函數中缺少以下第一項。
$$ LLH=\sum_{i=1}^n \left[{y_i}(X_i^Tw + c) - \ln{1+\exp(X_i^Tw + c)} \right] $$
由於邏輯函數的以下屬性,這兩個實際上(幾乎)是等價的:
還
但請注意,您的公式沒有在“日誌部分”中,而這個是。(我想這是一個錯字)