統計學習要素中的圖 3.6 是否正確？
這是教科書上的圖：
它顯示了子集大小之間的遞減關係 $ k $ 和真實參數的均方誤差 (MSE)， $ \beta $ 和估計 $ \hat{\beta}(k) $ . 顯然，情況不應該如此——向線性模型添加更多變量並不意味著更好地估計真實參數。添加更多變量確實意味著較低的訓練誤差，即較低的殘差平方和。
是個 $ y $ -軸標記不正確？特別是，是否有可能 $ y $ 軸顯示例如殘差平方和而不是 $ \mathbb{E}|| \hat{\beta}(k) - \beta||^2 $ ?
編輯：
討論和多次復制嘗試表明該軸可能被正確標記。特別是，它不是 RSS，因為那將是完全不同的規模。
標題問題仍然存在——“ESL 中的圖 3.6 是否正確？”。我的直覺是 MSE 應該在最優值附近最低 $ k $ （@SextusEmpiricus 的回答表明情況確實如此，但相關性較低）。目測圖 3.6，我們看到 MSE 繼續下降 $ k=10 $ .
特別是，我希望看到類似於圖 3.16 中的曲線：
它確實顯示了額外的程序，因為那是在不同的 $ x $ -軸; 它還使用不同數量的樣本（300 對 100）。這里相關的是例如“Forward stepwise”的形狀（在兩個圖表中都很常見——第一個是橙色，第二個是黑色），它在兩個圖形中表現出完全不同的行為。
最終編輯
它顯示了子集大小之間的遞減關係 $ k $ 和真實參數的均方誤差 (MSE)， $ \beta $ 和估計 $ \hat{\beta}(k) $ .
該圖顯示了替代子集選擇方法的結果。圖片說明解釋了實驗設計：有 10 個元素 $ \beta $ 非零。其餘 21 個元素為零。理想的子集選擇方法將正確報告哪個 $ \beta $ 非零且 $ \beta $ 為零；換句話說，沒有特徵被錯誤地包含，也沒有特徵被錯誤地排除。
當數據生成過程中的一個或多個特徵被省略時，就會出現遺漏變量偏差。**有偏差的參數估計具有不等於其真實值的期望值（這是偏差的定義），因此選擇繪圖 $ \mathbb{E}|\beta -\hat{\beta}(k) |^2 $ 說得通。（請注意，偏差的定義與此實驗設置並不完全一致，因為 $ \beta $ 也是隨機的。）換句話說，該圖向您展示了各種不正確的估計 $ k $ 用於各種子集選擇方法。什麼時候 $ k $ 太小（在這種情況下，當 $ k<10 $ ) 參數估計有偏差，這就是圖表顯示較大值的原因 $ \mathbb{E}|\beta -\hat{\beta}(k) |^2 $ 對於小 $ k $ .
顯然，情況不應該如此——向線性模型添加更多變量並不意味著更好地估計真實參數。
幸運的是，這不是情節所顯示的。相反，該圖表明，使用子集選擇方法可以產生正確或不正確的結果，具體取決於選擇的 $ k $ .
然而，當添加額外的特徵確實改善了參數估計時，這個圖確實顯示了一種特殊情況。如果建立一個表現出遺漏變量偏差的模型，那麼包含這些變量的模型將實現較低的參數估計誤差，因為不存在遺漏變量偏差。
添加更多變量確實意味著較低的訓練誤差，即較低的殘差平方和。
您將本段中的演示與不使用子集選擇的替代方案混淆了。一般來說，估計具有較大基數的回歸會降低使用訓練數據測量的殘差；這不是這裡發生的事情。
是個 $ y $ -軸標記不正確？特別是，是否有可能 $ y $ 軸顯示*殘差平方和，*而不是 $ \mathbb{E}|\beta -\hat{\beta}(k) |^2 $ ?
我不這麼認為；原始帖子中提出的推理路線本身並不能確定標籤不正確。Sextus 的實驗發現了類似的模式。它不完全相同，但曲線的形狀足夠相似。
順便說一句，我認為由於該圖顯示 了實驗的經驗結果，因此根據 Cagdas Ozgenc 的建議，寫出用於期望的估計量會更清楚。
ESL 中的圖 3.6 是否正確？
回答這個問題的唯一確定方法是獲取用於生成圖形的代碼。該代碼未公開獲得或由作者分發。
如果無法訪問過程中使用的代碼，則在標記圖形或數據或係數的比例/位置時總是*可能出現錯誤；*Sextus 在使用標題中描述的程序重新創建圖表時遇到問題，這一事實提供了一些間接證據，表明標題可能不完全準確。有人可能會爭辯說，這些再現性問題支持標籤本身或圖形點可能不正確的假設。另一方面，描述可能不正確，但標籤本身是正確的。
這本書的不同版本發布了不同的圖像。但是不同圖像的存在並不意味著任何一個都是正確的。