在其他回歸器上回歸 Logistic 回歸殘差
將 OLS 回歸應用於連續響應，可以通過對每個協變量的殘差進行順序回歸來建立多元回歸方程。我的問題是，有沒有辦法通過邏輯回歸殘差進行邏輯回歸？
也就是說，如果我想估計 $ \Pr(Y = 1 | x, z) $ 使用標準的廣義線性建模方法，有沒有辦法運行邏輯回歸 $ x $ 並得到偽殘差 $ R_1 $ ，然後回歸 $ R_1 $ 在 $ z $ 得到邏輯回歸係數的無偏估計。參考教科書或文獻將不勝感激。
在標準多元線性回歸中，兩步擬合普通最小二乘 (OLS) 估計的能力來自Frisch-Waugh-Lovell 定理。該定理表明，多元線性模型中特定預測變量的係數估計值等於通過將響應殘差（響應變量與其他解釋變量回歸的殘差）與預測變量殘差（殘差來自預測變量與其他解釋變量的回歸）。顯然，您正在尋找可用於邏輯回歸模型的該定理的類比。
對於這個問題，回顧邏輯回歸的潛變量特徵是有幫助的：
$$ Y_i = \mathbb{I}(Y_i^* > 0) \quad \quad \quad Y_i^* = \beta_0 + \beta_X x_i + \beta_Z z_i + \varepsilon_i \quad \quad \quad \varepsilon_i \sim \text{IID Logistic}(0,1). $$
在模型的這種表徵中，潛在響應變量 $ Y_i^* $ 是不可觀察的，而是我們觀察指標 $ Y_i $ 它告訴我們潛在的反應是否是積極的。這種形式的模型看起來類似於多元線性回歸，只是我們使用了稍微不同的誤差分佈（邏輯分佈而不是正態分佈），更重要的是，我們只觀察到一個指示潛在響應是否為正的指標.
這會為任何嘗試創建模型的兩步擬合帶來問題。這個 Frisch-Waugh-Lovell 定理取決於獲得針對其他解釋變量的響應和預測變量的中間殘差的能力。在本例中，我們只能從“分類”響應變量中獲得殘差。為邏輯回歸創建兩步擬合過程將需要您使用此分類響應變量的響應殘差，而無需訪問潛在的潛在響應。在我看來，這似乎是一個主要障礙，雖然它不能證明是不可能的，但似乎不太可能分兩步擬合模型。
下面我將向您說明找到適合邏輯回歸的兩步過程所需的內容。我不確定這個問題是否有解決方案，或者是否有不可能的證據，但這裡的材料應該能讓你在某種程度上理解所需的內容。
**兩步邏輯回歸擬合會是什麼樣子？**假設我們想為邏輯回歸模型構建一個兩步擬合，其中通過每一步的最大似然估計來估計參數。我們希望該過程涉及適合以下兩個模型的中間步驟：
$$ \begin{matrix} Y_i = \mathbb{I}(Y_i^{} > 0) & & & Y_i^{} = \alpha_0 + \alpha_X x_i + \tau_i & & & \tau_i \sim \text{IID Logistic}(0,1), \[6pt] & & & \text{ } \text{ } Z_i = \gamma_0 + \gamma_X x_i + \delta_i & & & \delta_i \sim \text{IID } g. \quad \quad \quad \quad \quad \ \end{matrix} $$
我們估計這些模型的係數（通過 MLE），這會產生中間擬合值 $ \hat{\alpha}_0, \hat{\alpha}_X, \hat{\gamma}_0, \hat{\gamma}_X $ . 然後在第二步中我們擬合模型：
$$ Y_i = \text{logistic}(\hat{\alpha}_0 + \hat{\alpha}_1 x_i) + \beta_Z (z_i - \hat{\gamma}_0 - \hat{\gamma}_X x_i) + \epsilon_i \quad \quad \quad \epsilon_i \sim \text{IID } f. $$
如指定的，該過程有很多固定元素，但密度函數 $ g $ 和 $ f $ 在這些步驟中未指定（儘管它們應該是不依賴於數據的零均值分佈）。為了在這些約束下獲得兩步擬合方法，我們需要選擇 $ g $ 和 $ f $ 以確保 MLE 用於 $ \beta_Z $ 在這個兩步模型擬合算法中，與上面一步邏輯回歸模型得到的 MLE 相同。
為了看看這是否可能，我們首先寫出第一步中的所有估計參數：
$$ \begin{equation} \begin{aligned} \ell_{\mathbf{y}| \mathbf{x}} (\hat{\alpha}0, \hat{\alpha}X) &= \underset{\alpha_0, \alpha_X}{\max} \sum{i=1}^n \ln \text{Bern}(y_i | \text{logistic}(\alpha_0 + \alpha_X x_i)), \[10pt] \ell{\mathbf{z}| \mathbf{x}} (\hat{\gamma}_0, \hat{\gamma}X) &= \underset{\gamma_0, \gamma_X}{\max} \sum{i=1}^n \ln g( z_i - \gamma_0 - \gamma_X x_i ). \end{aligned} \end{equation} $$
讓 $ \epsilon_i = y_i - \text{logistic}(\hat{\alpha}_0 - \hat{\alpha}_1 x_i) + \beta_Z (z_i - \hat{\gamma}_0 - \hat{\gamma}_X x_i) $ 因此第二步的對數似然函數為：
$$ \ell_{\mathbf{y}|\mathbf{z}|\mathbf{x}}(\beta_Z) = \sum_{i=1}^n \ln f(y_i - \text{logistic}(\hat{\alpha}_0 - \hat{\alpha}_1 x_i) + \beta_Z (z_i - \hat{\gamma}_0 - \hat{\gamma}_X x_i)). $$
我們要求這個函數的最大值是多元邏輯回歸模型的 MLE。換句話說，我們要求：
$$ \underset{\beta_X}{\text{arg max }} \ell_{\mathbf{y}|\mathbf{z}|\mathbf{x}}(\beta_Z) = \underset{\beta_X}{\text{arg max }} \underset{\beta_0, \beta_Z}{\max} \sum_{i=1}^n \ln \text{Bern}(y_i | \text{logistic}(\beta_0 + \beta_X x_i + \beta_Z z_i)). $$
我把它留給其他人來確定是否有解決這個問題的方法，或者證明沒有解決方案。我懷疑邏輯回歸中潛在響應變量的“分類”將無法找到兩步過程。