了解邏輯回歸和可能性

邏輯回歸的參數估計/訓練如何真正起作用？我會盡量把我到目前為止所擁有的。

1. 輸出是 y 邏輯函數的輸出，以概率的形式取決於 x 的值： $$ P(y=1|x)={1\over1+e^{-\omega^Tx}}\equiv\sigma(\omega^Tx) $$ $$ P(y=0|x)=1-P(y=1|x)=1-{1\over1+e^{-\omega^Tx}} $$
2. 對於一維，所謂的賠率定義如下： $$ {{p(y=1|x)}\over{1-p(y=1|x)}}={{p(y=1|x)}\over{p(y=0|x)}}=e^{\omega_0+\omega_1x} $$
3. 現在添加log函數以線性形式獲取 W_0 和 W_1： $$ Logit(y)=log({{p(y=1|x)}\over{1-p(y=1|x)}})=\omega_0+\omega_1x $$
4. 現在到問題部分 使用可能性（大 X 是 y ） $$ L(X|P)=\prod^N_{i=1,y_i=1}P(x_i)\prod^N_{i=1,y_i=0}(1-P(x_i)) $$ 誰能告訴我們為什麼要考慮兩次 y=1 的概率？自從 ： $$ P(y=0|x)=1-P(y=1|x) $$

以及如何從中獲得 ω 的值？

一般假設您決定採用以下形式的模型

對於某些參數. 然後你只需寫下它的可能性，即

這與

現在你決定“假設”（模型）

在哪裡

所以你只需計算可能性的公式並執行某種優化算法即可找到，例如，牛頓法或任何其他基於梯度的方法。

請注意，有時人們會說，當他們進行邏輯回歸時，他們並沒有最大化可能性（就像我們/你在上面所做的那樣），而是他們最小化了損失函數

但請注意.

這是機器學習中的一般模式：實際方面（最小化衡量啟發式模型“錯誤”程度的損失函數）實際上等於“理論方面”（使用-符號，最大化統計量，如可能性），事實上，許多看起來不像概率模型（例如支持向量機）的模型可以在概率上下文中重新理解，實際上是可能性的最大化。

引用自：https://stats.stackexchange.com/questions/304988