Least-Squares

R平方真的是非線性模型的無效指標嗎?

  • July 31, 2018

我讀過 R 平方對非線性模型無效,因為 SSR + SSE = SSTotal 的關係不再成立。有人可以解釋為什麼這是真的嗎?

SSR 和 SSE 只是回歸和殘差向量的平方範數,其組件是和, 分別。只要這些向量彼此正交,那麼上述關係不應該始終成立,無論使用哪種函數將預測值映射到擬合值?

此外,根據最小二乘的定義,與任何最小二乘模型相關的回歸和殘差向量不應該是正交的嗎?殘差向量是向量之間的差和回歸向量。如果回歸向量使得殘差/差異向量與其不正交,則回歸向量可以乘以一個常數,從而它現在與殘差/差異向量正交。這也應該減少殘差/差異向量的範數。

如果我解釋得不好,請告訴我,我會盡力澄清。

線性回歸中的平方和是廣義線性模型中更一般的**偏差值的特例。**在更一般的模型中,有一個響應分佈,其均值與解釋變量的線性函數(帶有截距項)相關聯。GLM 中的三個偏差統計定義為:

在這些表達式中,值是飽和模型下的最大化對數似然(每個數據點一個參數),是空模型下的最大對數似然(僅截距),並且是模型下的最大對數似然(截距項和係數)。

這些偏差統計的作用類似於線性回歸中平方和的縮放版本。很容易看出它們滿足分解,這類似於線性回歸中平方和的分解。事實上,如果你有一個帶有線性鏈接函數的正態響應分佈,你就會得到一個線性回歸模型,並且偏差統計量減少到以下內容:

現在,線性回歸模型中的變異係數是一個擬合優度統計量,用於衡量響應中可歸因於解釋變量的總變異的比例。GLM 的自然擴展是形成統計量:

很容易看出,在線性回歸的特殊情況下,這個統計量減少了變異係數,因為縮放值抵消了。在 GLM 的更廣泛背景下,統計數據具有類似於線性回歸中的解釋的自然解釋:它給出了模型中的解釋變量解釋的零偏差的比例。

現在我們已經看到線性回歸中的平方和如何擴展到 GLM 中的偏差,我們可以看到常規變異係數在非線性模型中是不合適的,因為它特定於具有正態分佈誤差項的線性模型。儘管如此,我們可以看到,雖然標準變異係數不合適,但可以使用偏差值形成適當的類比,並進行類似的解釋。


殘餘偏差有時也稱為偏差。

引用自:https://stats.stackexchange.com/questions/359906

comments powered by Disqus