Generalized-Linear-Model
GLM 中的對數似然是否保證收斂到全局最大值?
我的問題是:
- 廣義線性模型 (GLM) 是否保證收斂到全局最大值?如果是這樣,為什麼?
- 此外,鏈接函數有哪些約束來確保凸性?
我對 GLM 的理解是它們最大化了高度非線性的似然函數。因此,我想有幾個局部最大值,你收斂到的參數集取決於優化算法的初始條件。然而,在做了一些研究之後,我沒有找到一個單一的來源表明存在多個局部最大值。此外,我不太熟悉優化技術,但我知道 Newton-Raphson 方法和 IRLS 算法很容易出現局部最大值。
如果可能,請在直觀和數學的基礎上進行解釋!
編輯:dksahuji 回答了我原來的問題,但我想在上面添加後續問題 [ 2 ]。(“鏈接函數有哪些約束來確保凸性?”)
指數族的定義是:
在哪裡是對數分區函數。現在可以證明以下三件事適用於一維情況(它們可以推廣到更高的維度——您可以查看指數族或對數分區的屬性):
上述結果證明是凸的(如是半正定的)。現在我們來看看 MLE 的似然函數:
現在在 theta 中是線性的並且是凹的。因此,存在唯一的全局最大值。
有一個通用版本,稱為彎曲指數族,它也類似。但是大多數證明都是規範的形式。