什麼回歸/估計不是 MLE？

我只是嚴格地了解到 OLS 是 MLE 的一個特例。這讓我感到驚訝，因為諸如 researchgate 之類的流行且“可靠”的來源並沒有提到 MLE 和 OLS 之間最重要的聯繫！

我不確定是否有任何不屬於 MLE 的簡單回歸或估計方法。

如果錯誤是 iid 正態的，則最小二乘確實是最大似然，但如果它們不是 iid 正態，則最小二乘不是最大似然。例如，如果我的錯誤是邏輯錯誤，那麼最小二乘法不會是一個糟糕的主意，但也不會是最大可能性。

許多估計器不是最大似然估計器；雖然最大似然估計器通常具有許多有用且有吸引力的屬性，但它們並不是鎮上唯一的遊戲（實際上甚至並不總是一個好主意）。

其他估計方法的一些例子包括

• 矩量法（這涉及使足夠的樣本矩和總體矩相等來求解參數估計；有時結果是最大似然，但通常不是）

例如，將一階矩和二階矩相等來估計伽馬分佈或均勻分佈的參數；在任何一種情況下都不是最大可能性。

• 分位數方法（等於足夠的樣本和總體分位數來求解參數估計；有時這是最大似然，但通常不是），
• 最小化其他一些不適合的度量，而不是 $ -\log\mathcal{L} $ （例如最小卡方，最小KS距離）。

通過擬合線性回歸類型模型，您可以例如查看穩健回歸（其中一些確實對應於某些特定誤差分佈的 ML 方法，但其中許多不對應）。

在簡單線性回歸的情況下，我展示了兩種擬合線的示例，這些方法不是最大似然- 通過將殘差和預測變量之間的一些其他相關性度量（即除了通常的 Pearson 之外）設置為 0 來估計斜率.

另一個例子是 Tukey 的抗性線/Tukey 的三組線（例如見?lineR）。還有許多其他可能性，儘管其中許多不能輕易推廣到多元回歸情況。

引用自：https://stats.stackexchange.com/questions/442337