Cholesky分解和矩陣求逆的關係？
我一直在審查高斯過程，據我所知，是否應該通過矩陣求逆來完成需要反轉的“協方差矩陣”（由內核返回）是否應該通過矩陣求逆來完成（昂貴且數值不穩定）或通過Cholesky 分解。
我對 Cholesky 分解很陌生，我開始明白它類似於標量的平方根。同樣，矩陣的逆類似於除以標量（例如，當您相乘時 $ A * A^{-1} = I $ 返回單位矩陣，類似於 $ 5/5 = 1 $ .)
我正在努力建立聯繫——協方差矩陣的 Cholesky 分解與協方差矩陣的逆矩陣之間有什麼關係？是否需要額外的步驟來鞏固解決方案的等效性？
高斯過程模型通常涉及計算一些二次形式，例如 $$ y = x^\top\Sigma^{-1}x $$ 在哪裡 $ \Sigma $ 是正定的， $ x $ 是適當維度的向量，我們希望計算標量 $ y $ . 通常，您不想計算 $ \Sigma^{-1} $ 直接因為成本或精度損失。使用 Cholesky 因子的定義 $ L $ ， 我們知道 $ \Sigma=LL^\top $ . 因為 $ \Sigma $ 是 PD，對角線 $ L $ 也是積極的，這意味著 $ L $ 是非奇異的。在本次博覽會上， $ L $ 是下三角形。
我們可以重寫 $$ \begin{align} y &= x^\top(LL^\top)^{-1}x \ &= x^\top L^{-\top}L^{-1}x \ &= (L^{-1}x)^\top L^{-1}x \ &= z^\top z \end{align} $$
第一行到第二行是矩陣逆的基本性質。第二到第三行只是重新排列轉置。最後一行將其重寫為向量點積的表達式，這很方便，因為我們只需要計算 $ z $ 一次。
三角矩陣的好處是求解起來非常簡單，所以我們實際上從不計算 $ L^{-1}x $ ; 相反，我們只使用前向替換 $ Lz=x $ ，與直接計算逆相比非常便宜。