尋求對 Firth Logistic 回歸的理論理解

我試圖理解 Firth 邏輯回歸（在邏輯回歸中處理完美/完全或準完全分離的方法），以便我可以用簡化的術語向其他人解釋它。有人對 Firth 估計對 MLE 所做的修改有一個簡單的解釋嗎？

我已經盡我所能閱讀了 Firth (1993)，並且我知道對分數函數進行了更正。我對校正的起源和理由以及評分函數在 MLE 中扮演的角色很模糊。

對不起，如果這是基本知識。我所回顧的文獻似乎需要對 MLE 的理解比我所擁有的要深入得多。

Firth 的修正相當於指定 Jeffrey 的先驗並尋求後驗分佈的模式。粗略地說，假設回歸參數的真實值等於零，它會向數據集添加一半的觀察值。

Firth 的論文是高階漸近的一個例子。可以說，零序是由大數定律提供的：在大樣本中，在哪裡是真正的價值。您可能已經了解到 MLE 是漸近正態的，大致是因為它們基於 iid 變量（分數）總和的非線性變換。這是一階近似：在哪裡是均值和方差為零的正態變量（或 var-cov 矩陣），它是單個觀察的 Fisher 信息的倒數。然後似然比檢驗統計量是漸近的或者內積和逆協方差矩陣的多元擴展是什麼。

高階漸近學試圖了解下一個術語, 通常通過梳理下一個學期. 這樣，估計和檢驗統計量可以包含大約（如果你看到“我們有無偏見的 MLE”的論文，這些人可能不知道他們在說什麼）。這種最著名的校正是 Bartlett 對似然比檢驗的校正。Firth 的修正也是這樣的：它增加了一個固定的數量（第 30 頁頂部）的可能性，並且在大樣本中，該數量的相對貢獻以樣本信息相形見絀。

引用自：https://stats.stackexchange.com/questions/88734