直觀的解釋(𝑋𝑇𝑋)−1(XTX)−1(X^TX)^{-1}最小二乘估計方差中的項

如果 $ X $ 是滿秩，倒數 $ X^TX $ 存在並且我們得到最小二乘估計：$$ \hat\beta = (X^TX)^{-1}XY $$ 和$$ \operatorname{Var}(\hat\beta) = \sigma^2(X^TX)^{-1} $$

我們如何直觀地解釋 $ (X^TX)^{-1} $ 在方差公式中？推導技術對我來說很清楚。

考慮一個沒有常數項的簡單回歸，其中單個回歸量以其樣本均值為中心。然後 是 （次）它的樣本方差，和它的倒數。因此，回歸量的方差 = 變異性越高，係數估計量的方差越低：解釋變量的變異性越大，我們對未知係數的估計就越準確。

為什麼？因為回歸量變化越大，它包含的信息就越多。當回歸量很多時，這會推廣到它們的方差-協方差矩陣的逆矩陣，該矩陣還考慮了回歸量的協變性。在極端情況下是對角線，則每個估計係數的精度僅取決於相關回歸量的方差/可變性（給定誤差項的方差）。

引用自：https://stats.stackexchange.com/questions/267948