協方差矩陣和協方差矩陣的逆矩陣之間的幾何關係是什麼？
協方差矩陣表示數據點的離散度，而協方差矩陣的逆表示數據點的緊密度。離散度和緊密度如何在幾何上相關？
例如，協方差矩陣的行列式表示數據點的離散量。協方差矩陣的逆矩陣的行列式代表什麼？行列式與體積有關，但我不明白如何解釋協方差矩陣的逆體積（或信息矩陣的體積）。
同樣，跡線表示數據點的均方誤差，但是協方差矩陣的逆的跡線代表什麼？
我不太明白如何從幾何上解釋協方差矩陣的逆，或者它與協方差矩陣的關係。
在回答您的問題之前，請允許我分享一下我對協方差和精度矩陣的看法。
協方差矩陣具有特殊的結構：它們是半正定 (PSD)，這意味著對於協方差矩陣 $ \Sigma $ 大小的 $ m\text{x}m $ , 有向量 $ x $ 大小的 $ m\text{x}1 $ 這樣 $ x^T\Sigma x\geq0 $ .
這樣的矩陣有一個很好的性質：它們可以分解為 $ \Sigma=R\Lambda R^T $ ，其中 R 是旋轉矩陣，並且 $ \Lambda $ 是對角矩陣。
現在我們已經有了定義，讓我們看看這意味著什麼 $ \Sigma $ 大小為 2x2（即我們的數據集有兩個變量）。在下圖中，我們在圖a中看到了一個恆等協方差矩陣，這意味著數據變量之間沒有相關性。這可以畫成一個圓圈。在圖像下方，我們看到一個單位協方差矩陣分解為 $ \Sigma=R\Lambda R^T $ 形式。
在圖b中，我們可以看到如果我們用兩個不同的因子縮放變量的方差，幾何會發生什麼。這些變量仍然不相關，但它們各自的方差現在分別為m和n。現在我們如何在混合中引入相關性？我們在旋轉矩陣的幫助下旋轉橢圓，對於圖c ，它很簡單：
$ R = \begin{bmatrix} cos(\theta) & sin(\theta)\ -sin(\theta) & cos(\theta) \end{bmatrix} $
旋轉矩陣有一個很好的特性：它們是正交的並且 $ RR^T=1 \therefore R^T=R^{-1} $
離題之後，讓我們回到我們的協方差矩陣。為了 $ \Sigma $ ： $ \Sigma = R\Lambda R^T = \begin{bmatrix} R_{11} & R_{12}\ R_{21} & R_{22} \end{bmatrix} \begin{bmatrix} \lambda_1 & 0\ 0 & \lambda_2 \end{bmatrix} \begin{bmatrix} R_{11} & R_{21}\ R_{12} & R_{22} \end{bmatrix} $
現在一些有趣的事實： $ det(\Sigma)=\prod_{i}\lambda_i=\lambda_1\lambda_2 $ 和 $ tr(\Sigma)=\sum_{i}\lambda_i=\lambda_1+\lambda_2 $ . 這是踢球者： $ R $ 實際上由特徵向量組成 $ \Sigma $ 和 $ \lambda_i $ 是特徵值。
最後，請注意 $ \Sigma^{-1} $ 也是具有以下分解的PSD： $ \Sigma^{-1} = (R\Lambda R^T)^{-1} = (\Lambda R^T)^{-1}(R)^{-1}=(R^T)^{-1}\Lambda^{-1}R^{-1}=R\Lambda^{-1}R^T $ ，在最後的簡化中，我們使用了 $ RR^T=1 $ .
此外： $ \Lambda^{-1} = \begin{bmatrix} \frac{1}{\lambda_1} & 0\ 0 & \frac{1}{\lambda_2} \end{bmatrix} $ ，也就是說，我們只是沿對角線取元素的逆！
有了這些信息，我們現在可以回答您的問題了！
離散度和緊密度如何在幾何上相關？
色散讓您感覺橢圓的面積與圓形的面積相比，緊密度是色散的倒數。色散告訴您單位圓發生了多少面積變化（具有不相關的變量和單位特徵向量），緊密度告訴您必須在橢圓中**撤消多少面積，因此它最終成為單位方差。
協方差矩陣的逆矩陣的行列式代表什麼？
自從 $ \Lambda^{-1} = \begin{bmatrix} \frac{1}{\lambda_1} & 0\ 0 & \frac{1}{\lambda_2} \end{bmatrix} $ , 精度矩陣的行列式 ( $ \frac{1}{\lambda_1\lambda_2} $ ) 告訴您必須在數據方差上撤消多少區域更改，因此您最終會得到單位方差。回想起那個 $ det(\Sigma)=\lambda_1\lambda_2 $ .
協方差矩陣的逆的跡代表什麼？
它等於 $ \lambda_1^{-1}+\lambda_2^{-1} $ . 幾何解釋 $ tr(\Sigma^{-1}) $ 不太清楚。
