Covariance-Matrix
為什麼協方差矩陣的秩最多𝑛-1n−1n-1?
如本問題所述，協方差矩陣的最大秩是在哪裡是樣本量，因此如果協方差矩陣的維數等於樣本量，則它將是奇異的。我不明白為什麼我們要減去從最高等級的協方差矩陣。
給定樣本協方差矩陣的無偏估計量數據點是
在哪裡是所有點的平均值。讓我們表示作為. 這因子不會改變排名，並且總和中的每個項都有（根據定義）排名，所以問題的核心如下： 為什麼有等級而不是排名, 看起來是因為我們在求和秩-矩陣？
答案是它的發生是因為不是獨立的。通過施工，. 所以如果你知道的, 那麼最後剩下的完全確定；我們不求和獨立排名——矩陣，我們只求和獨立排名——矩陣，然後再添加一個等級-由其餘部分完全線性確定的矩陣。最後的添加不會改變整體排名。
如果我們重寫，我們可以直接看到這個作為
現在將其代入上述表達式： 現在只有總和中留下的項，很明顯整個總和最多可以有秩. 順便說一下，這個結果暗示了為什麼協方差的無偏估計中的因子是並不是.
我在上面的評論中提到的幾何直覺是，一個人總是可以將 1D 線擬合到 2D 中的任何兩個點，並且總是可以將 2D 平面擬合到 3D 中的任何三個點，即子空間的維數總是; 這只有效，因為我們假設這條線（和平面）可以“移動”以適應我們的點。“定位”這條線（或平面）使其穿過相當於在上面的代數論證中居中。