Covariance-Matrix
為什麼協方差矩陣的秩最多𝑛-1n−1n-1?
如本問題所述,協方差矩陣的最大秩是在哪裡是樣本量,因此如果協方差矩陣的維數等於樣本量,則它將是奇異的。我不明白為什麼我們要減去從最高等級的協方差矩陣。
給定樣本協方差矩陣的無偏估計量數據點是
在哪裡是所有點的平均值。讓我們表示作為. 這因子不會改變排名,並且總和中的每個項都有(根據定義)排名,所以問題的核心如下: 為什麼有等級而不是排名, 看起來是因為我們在求和秩-矩陣?
答案是它的發生是因為不是獨立的。通過施工,. 所以如果你知道的, 那麼最後剩下的完全確定;我們不求和獨立排名——矩陣,我們只求和獨立排名——矩陣,然後再添加一個等級-由其餘部分完全線性確定的矩陣。最後的添加不會改變整體排名。
如果我們重寫,我們可以直接看到這個作為
現在將其代入上述表達式: 現在只有總和中留下的項,很明顯整個總和最多可以有秩. 順便說一下,這個結果暗示了為什麼協方差的無偏估計中的因子是並不是.
我在上面的評論中提到的幾何直覺是,一個人總是可以將 1D 線擬合到 2D 中的任何兩個點,並且總是可以將 2D 平面擬合到 3D 中的任何三個點,即子空間的維數總是; 這只有效,因為我們假設這條線(和平面)可以“移動”以適應我們的點。“定位”這條線(或平面)使其穿過相當於在上面的代數論證中居中。