Variance
樣本誤差和訓練誤差以及樂觀的直覺有什麼區別?
在第 7 章(第 228 頁)的《統計學習要素》一書中,訓練誤差定義為:
而樣本內誤差定義為
這符號表示我們在每個訓練點觀察到 N 個新的響應值.
這似乎與訓練誤差完全相同,因為還計算了訓練誤差,即通過使用擬合估計計算訓練集的響應. 我已經檢查了這個和這個概念的解釋,但無法理解訓練誤差和样本內誤差之間的區別,以及為什麼樂觀並不總是 0:
那麼錯誤如何和不同,在這種情況下對樂觀的直觀理解是什麼?
此外,作者在聲明中所說的“通常偏向下”是什麼意思:
這通常是積極的,因為 err 通常作為預測誤差的估計值向下偏斜。
同時描述樂觀(統計學習的要素,第 229 頁)
在此設置中具有隨機部分,例如帶有附加誤差. 所以對於固定, 新的回應到預測器不需要與相應的訓練響應相同,因此期望. “偏下”只是意味著平均小於真實的預測誤差。