MSE 是否隨著解釋變量數量的增加而降低？

我想知道，如果均方誤差之間存在負相關

和解釋變量的數量。直覺上，我猜想更多的自變量應該能夠解釋我的因變量的更多變化。但是，我找不到有關該主題的任何文獻。

問題 1：MSE 是否會隨著解釋變量數量的增加而降低？如果是，為什麼？

問題 2：是否有關於該主題的文獻？

我假設您正在談論一個普通的最小二乘回歸場景並且指的是樣本內 MSE，並且是一個 n×1 向量，並且是正交預測變量（或變量，按您的術語）的 n×p 矩陣。請記住，任何矩陣的列可以正交化；這對於以後進行直觀的飛躍將變得很重要。我們還假設有方差並且居中，因此它們的均值為零。

綜上所述，（1）的答案是*肯定的。*這就是為什麼。

MSE =

現在，只是一個 p×p 單位矩陣（這源於我們之前施加的正交性）。然後它遵循，我們有

MSE =

那麼，我們能說什麼? 我們知道它是一個 n×n 矩陣，在 p=n 的特殊情況下，它是一個 n×n單位矩陣。也就是說，對於 p=n，

MSE =

我們知道這在直覺上是正確的。此外，我們知道，當我們缺乏任何預測變量和只是一列；這就是我們如何擬合僅攔截模型的方式。在這種情況下，是一個由 1 組成的 n×n 矩陣。隨著 p 變大，收縮，最終在 p=n 時達到零。

這不是一個嚴格的證明，事實上它並沒有證明 MSE 隨 p 單調遞減，但我認為它為理解最小二乘擬合的行為提供了一個很好的直觀基礎。

編輯：如果您想將此分析擴展到估計樣本外的 MSE，那麼您將考慮以下事項：

隨 p 單調遞減，並且隨 p 單調遞增。p、n 和，為此，我推薦Wessel van Wieringen 的關於嶺回歸的講義以及統計學習的要素，正如您在原始問題的另一個答案中提到的那樣。希望答案（2）。

編輯：我對此進行了更多思考，這是我想補充的兩點。第一個是額外的預測因子會降低樣本內 MSE 的特定條件。這些條件是：

1. 附加預測變量不完全位於; 也就是說，它不能通過現有預測變量的任何線性組合來獲得，並且

2. 位於列空間之外的新預測變量的分量不正交於.

第二點是我們可以做一個簡單的思想實驗，表明添加新的預測變量通常會降低樣本內的 MSE。想像一下，我們已經解決了我們的線性回歸併獲得了，即模型係數的 p×1 向量。現在假設我們添加了一個額外的預測器。除非同時滿足上述兩個條件，否則 (p+1) 值將為零，並且模型與添加新預測變量之前的模型完全相同（相同的 MSE）。不過，一般來說，這兩個條件都會滿足，因此 (p+1) 的值將不是零。由於兩個零附加和非零附加位於具有 p+1 個預測變量的最小二乘回歸的解空間內，我們得出結論，如果新係數不為零，則 p+1 模型的 MSE必須低於 p 模型。

引用自：https://stats.stackexchange.com/questions/306267