Regression

邏輯回歸中的 Pearson VS 偏差殘差

  • August 11, 2015

我知道標準化的 Pearson Residuals 是以傳統的概率方式獲得的:

$$ r_i = \frac{y_i-\hat{\pi}_i}{\sqrt{\hat{\pi}_i(1-\hat{\pi}_i)}} $$

而Deviance Residuals是通過更加統計的方式獲得的(每個點對可能性的貢獻):

$$ d_i = s_i \sqrt{-2[y_i \log \hat{\pi_i} + (1 - y_i)\log(1-\hat{\pi}_i)]} $$

在哪裡 $ s_i $ = 1 如果 $ y_i $ = 1 和 $ s_i $ = -1 如果 $ y_i $ = 0。

你能直觀地向我解釋一下如何解釋偏差殘差的公式嗎?

而且,如果我要選擇一個,哪個更合適,為什麼?

順便說一句,一些參考文獻聲稱我們根據術語得出偏差殘差

$$ -\frac{1}{2}{r_i}^2 $$

在哪裡 $ r_i $ 上面提到過。

邏輯回歸尋求最大化對數似然函數

在哪裡是案例 i 的預測概率;是觀察到的案例數和是觀察到的(其餘)病例數.

該表達式等於

因為案例的偏差殘差定義為:

因此,二元邏輯回歸直接尋求最小化偏差殘差平方和。它是回歸的 ML 算法中隱含的偏差殘差。

模型擬合的卡方統計量為,其中完整模型包含預測變量,而簡化模型不包含。

引用自:https://stats.stackexchange.com/questions/166585

comments powered by Disqus