Bias-Variance 方程的數學直覺
我最近問了一個問題，尋求有關樣本均值和方差的基本方程背後的數學解釋/直覺：，幾何或其他。
但現在我對錶面上相似的偏差-方差權衡方程很好奇。
（來自維基百科 的公式） 對我來說，回歸的偏差-方差權衡方程有一個表面上的相似性：三個帶有平方的項，兩個相加。非常畢達哥拉斯式的外觀。是否存在類似的向量關係，包括所有這些項目的正交性？還是有其他適用的相關數學解釋？
我正在尋求與其他一些可能闡明的數學對象進行數學類比。我不是在尋找這裡詳細介紹的準確度-精確度類比。但是，如果人們可以在偏差-方差權衡和更基本的均值-方差關係之間進行非技術類比，那也很棒。
相似之處不僅僅是表面上的。
“偏差-方差權衡”可以解釋為應用於兩個垂直歐幾里得向量的勾股定理：一個的長度是標準偏差，另一個的長度是偏差。斜邊的長度是均方根誤差。
基本關係
作為出發點，考慮這個揭示性的計算，對任何隨機變量都有效有一個有限的二階矩和任何實數. 由於第二個時刻是有限的，有一個有限的平均值為此, 從何而來
這顯示了之間的均方偏差如何和任何“基線”值隨: 是二次函數至少在，其中均方偏差是.
與估計器和偏差的聯繫
任何估算器是一個隨機變量，因為（根據定義）它是隨機變量的（可測量的）函數。讓它發揮作用在前面，並讓估計（事物應該估計）是， 我們有
讓我們回到現在我們已經看到關於估計量的偏差+方差的陳述實際上是. 該問題尋求“與數學對象的數學類比”。通過證明平方可積的隨機變量可以自然地構成歐幾里得空間，我們可以做更多的事情。
數學背景
在非常一般的意義上，隨機變量是概率空間上的（可測量的）實值函數. 可平方可積的此類函數的集合，通常寫成（在理解給定概率結構的情況下），幾乎是一個希爾伯特空間。 為了使其合二為一，我們必須將任意兩個隨機變量混為一談和在集成方面並沒有真正的不同：也就是說，我們說和是等價的
檢查這是一個真正的等價關係很簡單：最重要的是，當相當於和相當於，那麼必然將相當於. 因此，我們可以將所有平方可積的隨機變量劃分為等價類。這些類構成了集合. 而且，繼承向量空間結構由值的逐點加法和逐點標量乘法定義。在這個向量空間上，函數
是一種規範，通常寫成. 這個規範使進入希爾伯特空間。 想想希爾伯特空間作為“無限維歐幾里得空間”。任何有限維子空間繼承了規範和，用這個範數，是一個歐幾里得空間：我們可以在其中做歐幾里得幾何。
最後，我們需要一個概率空間（而不是一般測度空間）特有的事實：因為是一個概率，它是有界的（由)，其中常數函數（對於任何固定實數) 是具有有限範數的平方可積隨機變量。
幾何解釋
考慮任何平方可積的隨機變量, 被認為是其等價類的代表. 它有一個意思其中（正如人們可以檢查的那樣）僅取決於等價類. 讓是常數隨機變量的類。
和生成歐幾里得子空間其維度最多為. 在這個子空間中，是平方長度和是常數隨機變量的平方長度. 最基本的是垂直於. （一個定義是它是這種情況的唯一編號。） 關係可以寫
它確實是勾股定理，基本上與 2500 年前已知的形式相同。物體
是帶腿的直角三角形的斜邊和. 如果你想要數學類比，那麼你可以使用任何可以用歐幾里得空間中直角三角形的斜邊來表示的東西。斜邊將代表“誤差”，邊將代表偏差和與平均值的偏差。