自由度可以是非整數嗎？
當我使用 GAM 時，它給了我剩餘的 DF 是（代碼中的最後一行）。這意味著什麼？超越 GAM 示例，一般來說，自由度的數量可以是非整數嗎？
> library(gam) > summary(gam(mpg~lo(wt),data=mtcars)) Call: gam(formula = mpg ~ lo(wt), data = mtcars) Deviance Residuals: Min 1Q Median 3Q Max -4.1470 -1.6217 -0.8971 1.2445 6.0516 (Dispersion Parameter for gaussian family taken to be 6.6717) Null Deviance: 1126.047 on 31 degrees of freedom Residual Deviance: 177.4662 on 26.6 degrees of freedom AIC: 158.4294 Number of Local Scoring Iterations: 2 Anova for Parametric Effects Df Sum Sq Mean Sq F value Pr(>F) lo(wt) 1.0 847.73 847.73 127.06 1.239e-11 *** Residuals 26.6 177.47 6.67
在許多情況下，自由度都是非整數的。實際上，在某些情況下，您可以確定適合某些特定模型的數據的自由度必須介於某個值之間 $ k $ 和 $ k+1 $ .
我們通常將自由度視為自由參數的數量，但在某些情況下，參數不是完全自由的，因此很難計算。例如，在平滑/正則化時可能會發生這種情況。
局部加權回歸/核方法和平滑樣條曲線的例子就是這種情況的例子——自由參數的總數不是你可以通過添加預測變量輕易計算出來的，因此需要更一般的自由度概念。
在部分基於的廣義加法模型中
gam，Hastie 和 Tibshirani (1990) [1]（實際上在許多其他參考資料中）對於我們可以編寫的一些模型 $ \hat y = Ay $ , 自由度有時被認為是 $ \operatorname{tr}(A) $ （他們還討論 $ \operatorname{tr}(AA^T) $ 或者 $ \operatorname{tr}(2A-AA^T) $ ）。第一個與兩者都起作用的更常見的方法一致（例如，在回歸中，在正常情況下 $ \operatorname{tr}(A) $ 將是的列維度 $ X $ ）， 但當 $ A $ 是對稱和冪等的，這三個公式都是一樣的。[我手頭沒有這個參考資料來檢查足夠的細節；同一作者（加上弗里德曼）的另一個容易掌握的替代方法是統計學習元素[2]；參見例如方程 5.16，它將平滑樣條的有效自由度定義為 $ \operatorname{tr}(A) $ （在我的符號中）]
更一般地說，Ye (1998) [3] 將廣義自由度定義為 $ \sum_i \frac{\partial \hat y_i}{\partial y_i} $ ，這是擬合值對其相應觀察值的敏感性之和。反過來，這與 $ \operatorname{tr}(A) $ 該定義適用的地方。要使用 Ye 的定義，您只需能夠計算 $ \hat y $ 並對數據進行少量擾動（為了計算 $ \frac{\partial \hat y_i}{\partial y_i} $ 數字）。這使得它的應用非常廣泛。
對於由 擬合的模型
gam，這些各種度量通常不是整數。（我強烈建議閱讀這些參考資料對這個問題的討論，儘管在某些情況下故事會變得相當複雜。參見，例如 [4]）
[1] Hastie, T. 和 Tibshirani, R. (1990)，倫敦
廣義加法模型
：Chapman 和 Hall。
[2] Hastie, T.、Tibshirani, R. 和 Friedman, J. (2009)，
統計學習的要素：數據挖掘、推理和預測，第二版
Springer-Verlag。
https://statweb.stanford.edu/~tibs/ElemStatLearn/
[3] Ye, J. (1998)，
“On Measurement and Correcting Effects of Data Mining and Model Selection”
美國統計學會雜誌，卷。93，第 441 號，第 120-131 頁
[4] Janson, L.、Fithian, W. 和 Hastie, T. (2013)，
“有效的自由度：一個有缺陷的隱喻”