協方差矩陣和協方差矩陣的逆矩陣之間的幾何關係是什麼？
協方差矩陣表示數據點的離散度，而協方差矩陣的逆表示數據點的緊密度。離散度和緊密度如何在幾何上相關？
例如，協方差矩陣的行列式表示數據點的離散量。協方差矩陣的逆矩陣的行列式代表什麼？行列式與體積有關，但我不明白如何解釋協方差矩陣的逆體積（或信息矩陣的體積）。
同樣，跡線表示數據點的均方誤差，但是協方差矩陣的逆的跡線代表什麼？
我不太明白如何從幾何上解釋協方差矩陣的逆，或者它與協方差矩陣的關係。
在回答您的問題之前，請允許我分享一下我對協方差和精度矩陣的看法。
協方差矩陣具有特殊的結構：它們是半正定 (PSD)，這意味著對於協方差矩陣 Σ 大小的 mxm , 有向量 x 大小的 mx1 這樣 xTΣx≥0 .
這樣的矩陣有一個很好的性質：它們可以分解為 Σ=RΛRT ，其中 R 是旋轉矩陣，並且 Λ 是對角矩陣。
現在我們已經有了定義，讓我們看看這意味著什麼 Σ 大小為 2x2（即我們的數據集有兩個變量）。在下圖中，我們在圖a中看到了一個恆等協方差矩陣，這意味著數據變量之間沒有相關性。這可以畫成一個圓圈。在圖像下方，我們看到一個單位協方差矩陣分解為 Σ=RΛRT 形式。
在圖b中，我們可以看到如果我們用兩個不同的因子縮放變量的方差，幾何會發生什麼。這些變量仍然不相關，但它們各自的方差現在分別為m和n。現在我們如何在混合中引入相關性？我們在旋轉矩陣的幫助下旋轉橢圓，對於圖c ，它很簡單：
R=[cos(θ)sin(θ) −sin(θ)cos(θ)]
旋轉矩陣有一個很好的特性：它們是正交的並且 RRT=1∴RT=R−1
離題之後，讓我們回到我們的協方差矩陣。為了 Σ ： Σ=RΛRT=[R11R12 R21R22][λ10 0λ2][R11R21 R12R22]
現在一些有趣的事實： det(Σ)=∏iλi=λ1λ2 和 tr(Σ)=∑iλi=λ1+λ2 . 這是踢球者： R 實際上由特徵向量組成 Σ 和 λi 是特徵值。
最後，請注意 Σ−1 也是具有以下分解的PSD： Σ−1=(RΛRT)−1=(ΛRT)−1(R)−1=(RT)−1Λ−1R−1=RΛ−1RT ，在最後的簡化中，我們使用了 RRT=1 .
此外： Λ−1=[1λ10 01λ2] ，也就是說，我們只是沿對角線取元素的逆！
有了這些信息，我們現在可以回答您的問題了！
離散度和緊密度如何在幾何上相關？
色散讓您感覺橢圓的面積與圓形的面積相比，緊密度是色散的倒數。色散告訴您單位圓發生了多少面積變化（具有不相關的變量和單位特徵向量），緊密度告訴您必須在橢圓中**撤消多少面積，因此它最終成為單位方差。
協方差矩陣的逆矩陣的行列式代表什麼？
自從 Λ−1=[1λ10 01λ2] , 精度矩陣的行列式 ( 1λ1λ2 ) 告訴您必須在數據方差上撤消多少區域更改，因此您最終會得到單位方差。回想起那個 det(Σ)=λ1λ2 .
協方差矩陣的逆的跡代表什麼？
它等於 λ−11+λ−12 . 幾何解釋 tr(Σ−1) 不太清楚。
