Generalized-Linear-Model

GLM 中的對數似然是否保證收斂到全局最大值?

  • February 24, 2014

我的問題是:

  1. 廣義線性模型 (GLM) 是否保證收斂到全局最大值?如果是這樣,為什麼?
  2. 此外,鏈接函數有哪些約束來確保凸性?

我對 GLM 的理解是它們最大化了高度非線性的似然函數。因此,我想有幾個局部最大值,你收斂到的參數集取決於優化算法的初始條件。然而,在做了一些研究之後,我沒有找到一個單一的來源表明存在多個局部最大值。此外,我不太熟悉優化技術,但我知道 Newton-Raphson 方法和 IRLS 算法很容易出現局部最大值。

如果可能,請在直觀和數學的基礎上進行解釋!

編輯:dksahuji 回答了我原來的問題,但我想在上面添加後續問題 [ 2 ]。(“鏈接函數有哪些約束來確保凸性?”)

指數族的定義是:

在哪裡是對數分區函數。現在可以證明以下三件事適用於一維情況(它們可以推廣到更高的維度——您可以查看指數族或對數分區的屬性):

上述結果證明是凸的(如是半正定的)。現在我們來看看 MLE 的似然函數:

現在在 theta 中是線性的並且是凹的。因此,存在唯一的全局最大值。

有一個通用版本,稱為彎曲指數族,它也類似。但是大多數證明都是規範的形式。

引用自:https://stats.stackexchange.com/questions/87615

comments powered by Disqus