Estimation

為什麼我們在進行 MLE 時將對數似然乘以 -2?

  • April 10, 2021

當我們執行最大似然估計 (MLE) 來估計參數時,擬合函數通常為 -2 * LL,而不僅僅是 LL。我還看到這個“-2LL”術語表示為“偏差”。為什麼我們將對數似然乘以-2?是不是我們試圖最小化函數而不是最大化?它乘以(a)負數和(b)“2”的目的是什麼?

表示“-2 對數似然”的一些位置如下:

為什麼我們在進行 MLE 時將對數似然乘以 -2?我們真的沒有。-2 與參數估計無關;為此,我們只使用(負對數)似然。這是關於假設檢驗。


你對否定的直覺是正確的。傳統上,在優化文獻中,我們最小化函數。通過否定目標很容易將最大化問題轉換為最小化問題。最大化對數似然的參數是最小化負對數似然的參數。


您已經展示了一些在線性回歸的特定情況下使用數量 -2LL 的鏈接。這有一個計算原因和一個統計原因。

  • **計算原因(較弱;更多的是“沒關係”)。**目標乘以標量常數將具有相同的最優值。在高斯對數似然中,每一項都是分母為 2 的分數。那麼為什麼要分道揚鑣呢?通過包含 -2,您不必將每個術語除以 2。(並不是說計算機在除以 2 的冪時遇到很多麻煩……)
  • 統計原因(證明 -2 的有意義的好處)。正如您所注意到的,這個量稱為偏差。-2 因子對於統計假設檢驗很有用。在似然比檢驗中,這可以幫助您計算 $ p $ -價值。引用關於似然比檢驗的維基百科文章:

乘以 -2 在數學上確保(根據威爾克斯定理) $ {\displaystyle \lambda _{\text{LR}}} $ 如果零假設恰好為真,則漸近收斂為 χ² 分佈。

為了添加上下文,我還將引用您鏈接的兩篇文章:首先

LR chi2(3)– 這是似然比 (LR) 卡方檢驗。似然卡方檢驗統計量…這是開始和結束對數似然之間差異的負兩倍(即-2)倍。

第二:_

將它乘以 -2 是將對數似然轉換為卡方分佈所必需的技術步驟,這很有用,因為它可以用來確定統計顯著性。如果您不完全了解其中的技術細節,請不要擔心。

他們都給出了與維基百科文章相同的信息。

引用自:https://stats.stackexchange.com/questions/519058

comments powered by Disqus