有效自由度

我們可以在核回歸的情況下使用帽子矩陣的軌跡來計算有效自由度嗎？我們獲得帽子矩陣的地方，H 為：

在哪裡是預測的響應值，是的偽逆.

如果 $ H $ 是這樣的 $ \hat y = H y $ , 那麼從 $ \text{tr}(H) $ .

請參閱 Hastie 和 Tibshirani 的Generalized Additive Models，Hastie 等人的 Elements of Statistical Learning（第 2 版）第 5 章（在關於自由度和平滑矩陣的部分）中也有類似的處理。ESL II 那部分的討論是關於平滑樣條曲線的有效自由度，但正如他們所說的那樣（他們專門討論 eq 5.16 中給出的廣義自由度的這種定義）“這個非常有用的定義允許我們一種更直觀的方法來參數化平滑樣條，實際上還有許多其他平滑器，以一致的方式"; 然後他們提到有許多可能的理由，他們繼續給出一些可能的理由。另見方程 7.6 和附近的文本。

更廣泛地看 Ye (1998) “On Measurement and Correcting the Effects of Data Mining and Model Selection”，JASA 93(441):120-131，作者建議使用 $ \sum_i \frac{\partial \hat{y}_i}{\partial y_i} $ 作為可以獲取一組數據的大量模型的自由度 $ y $ 併計算一個 $ \hat{y} $ . 對於可以寫成帽子矩陣形式的模型 $ \hat y = H y $ ，這就是痕跡 $ H $ .

引用自：https://stats.stackexchange.com/questions/188662