F 統計量服從 F 分佈的證明
鑑於這個問題：證明OLS模型中的係數遵循具有（nk）自由度的t分佈
我很想知道為什麼
在哪裡是模型參數的數量和觀察次數和總方差，殘差方差，遵循分配。
我必須承認我什至沒有試圖證明這一點，因為我不知道從哪裡開始。
讓我們展示一般情況下的結果，您的檢驗統計量公式是一種特殊情況。一般來說，我們需要驗證統計量是否可以，根據 $ F $ 分佈，寫成獨立的比例 $ \chi^2 $ rvs 除以其自由度。
讓 $ H_{0}:R^\prime\beta=r $ 和 $ R $ 和 $ r $ 已知的、非隨機的和 $ R:k\times q $ 具有完整的列秩 $ q $ . 這代表 $ q $ 線性限制（與 OPs 表示法不同） $ k $ 回歸量包括常數項。所以，在@user1627466 的例子中， $ p-1 $ 對應於 $ q=k-1 $ 將所有斜率係數設置為零的限制。
以…的觀點 $ Var\bigl(\hat{\beta}{\text{ols}}\bigr)=\sigma^2(X’X)^{-1} $ ， 我們有 $$ \begin{eqnarray*} R^\prime(\hat{\beta}{\text{ols}}-\beta)\sim N\left(0,\sigma^{2}R^\prime(X^\prime X)^{-1} R\right), \end{eqnarray*} $$ 這樣（與 $ B^{-1/2}={R^\prime(X^\prime X)^{-1} R}^{-1/2} $ 是一個“矩陣平方根” $ B^{-1}={R^\prime(X^\prime X)^{-1} R}^{-1} $ ，通過，例如，Cholesky 分解） $$ \begin{eqnarray*} n:=\frac{B^{-1/2}}{\sigma}R^\prime(\hat{\beta}{\text{ols}}-\beta)\sim N(0,I{q}), \end{eqnarray*} $$ 作為 $$ \begin{eqnarray*} Var(n)&=&\frac{B^{-1/2}}{\sigma}R^\prime Var\bigl(\hat{\beta}_{\text{ols}}\bigr)R\frac{B^{-1/2}}{\sigma}\ &=&\frac{B^{-1/2}}{\sigma}\sigma^2B\frac{B^{-1/2}}{\sigma}=I \end{eqnarray*} $$ 其中第二行使用 OLSE 的方差。
如您鏈接到的答案所示（另請參見此處），這與$$ d:=(n-k)\frac{\hat{\sigma}^{2}}{\sigma^{2}}\sim\chi^{2}{n-k}, $$ 在哪裡 $ \hat{\sigma}^{2}=y’M_Xy/(n-k) $ 是通常的無偏誤差方差估計，其中 $ M{X}=I-X(X’X)^{-1}X' $ 是回歸的“剩餘製造商矩陣” $ X $ .
這樣 $ n’n $ 是法線的二次形式， $$ \begin{eqnarray*} \frac{\overbrace{n^\prime n}^{\sim\chi^{2}{q}}/q}{d/(n-k)}=\frac{(\hat{\beta}{\text{ols}}-\beta)^\prime R\left{R^\prime(X^\prime X)^{-1}R\right}^{-1}R^\prime(\hat{\beta}{\text{ols}}-\beta)/q}{\hat{\sigma}^{2}}\sim F{q,n-k}. \end{eqnarray*} $$ 特別是，根據 $ H_{0}:R^\prime\beta=r $ ，這減少到統計量 $$ \begin{eqnarray} F=\frac{(R^\prime\hat{\beta}{\text{ols}}-r)^\prime\left{R^\prime(X^\prime X)^{-1}R\right}^{-1}(R^\prime\hat{\beta}{\text{ols}}-r)/q}{\hat{\sigma}^{2}}\sim F_{q,n-k}. \end{eqnarray} $$
為了說明，考慮特殊情況 $ R^\prime=I $ , $ r=0 $ , $ q=2 $ , $ \hat{\sigma}^{2}=1 $ 和 $ X^\prime X=I $ . 然後， $$ \begin{eqnarray} F=\hat{\beta}{\text{ols}}^\prime\hat{\beta}{\text{ols}}/2=\frac{\hat{\beta}{\text{ols},1}^2+\hat{\beta}{\text{ols},2}^2}{2}, \end{eqnarray} $$ OLS 估計與原點的平方歐幾里得距離由元素數量標準化 - 強調這一點，因為 $ \hat{\beta}_{\text{ols},2}^2 $ 是平方標準法線，因此 $ \chi^2_1 $ ， 這 $ F $ 分佈可以看作是“平均 $ \chi^2 $ 分配。
如果您更喜歡一點模擬（這當然不是證明！），其中 null 被測試為沒有 $ k $ 回歸量很重要——它們確實不重要，因此我們模擬了零分佈。
我們看到理論密度和蒙特卡洛檢驗統計的直方圖非常吻合。
library(lmtest) n <- 100 reps <- 20000 sloperegs <- 5 # number of slope regressors, q or k-1 (minus the constant) in the above notation critical.value <- qf(p = .95, df1 = sloperegs, df2 = n-sloperegs-1) # for the null that none of the slope regrssors matter Fstat <- rep(NA,reps) for (i in 1:reps){ y <- rnorm(n) X <- matrix(rnorm(n*sloperegs), ncol=sloperegs) reg <- lm(y~X) Fstat[i] <- waldtest(reg, test="F")$F[2] } mean(Fstat>critical.value) # very close to 0.05 hist(Fstat, breaks = 60, col="lightblue", freq = F, xlim=c(0,4)) x <- seq(0,6,by=.1) lines(x, df(x, df1 = sloperegs, df2 = n-sloperegs-1), lwd=2, col="purple")要查看問題和答案中的測試統計的版本確實是等價的，請注意 null 對應於限制 $ R'=[0;;I] $ 和 $ r=0 $ .
讓 $ X=[X_1;;X_2] $ 根據哪些係數在空值下被限制為零（在您的情況下，除了常數之外的所有係數，但要遵循的推導是一般的）。另外，讓 $ \hat{\beta}{\text{ols}}=(\hat{\beta}{\text{ols},1}^\prime,\hat{\beta}_{\text{ols},2}')' $ 是適當劃分的 OLS 估計。
然後， $$ R'\hat{\beta}{\text{ols}}=\hat{\beta}{\text{ols},2} $$ 和 $$ R^\prime(X^\prime X)^{-1}R\equiv\tilde D, $$ 的右下塊 $$ \begin{align*} (X^TX)^{-1}&=\left( \begin{array} {c,c} X_1’X_1&X_1’X_2 \ X_2’X_1&X_2’X_2\end{array} \right)^{-1}\&\equiv\left( \begin{array} {c,c} \tilde A&\tilde B \ \tilde C&\tilde D\end{array} \right) \end{align*} $$ 現在，使用分區逆的結果來獲得 $$ \tilde D=(X_2’X_2-X_2’X_1(X_1’X_1)^{-1}X_1’X_2)^{-1}=(X_2’M_{X_1}X_2)^{-1} $$ 在哪裡 $ M_{X_1}=I-X_1(X_1’X_1)^{-1}X_1' $ .
因此，分子 $ F $ 統計變為（不除以 $ q $ ) $$ F_{num}=\hat{\beta}{\text{ols},2}'(X_2’M{X_1}X_2)\hat{\beta}{\text{ols},2} $$ 接下來，回想一下Frisch-Waugh-Lovell 定理，我們可以寫成 $$ \hat{\beta}{\text{ols},2}=(X_2’M_{X_1}X_2)^{-1}X_2’M_{X_1}y $$ 以便 $$ \begin{align*} F_{num}&=y’M_{X_1}X_2(X_2’M_{X_1}X_2)^{-1}(X_2’M_{X_1}X_2)(X_2’M_{X_1}X_2)^{-1}X_2’M_{X_1}y\ &=y’M_{X_1}X_2(X_2’M_{X_1}X_2)^{-1}X_2’M_{X_1}y \end{align*} $$
仍有待證明該分子與 $ \text{RSSR}-\text{USSR} $ ，受限制和不受限制的殘差平方和之差。
這裡， $$ \text{RSSR}=y’M_{X_1}y $$ 是回歸的殘差平方和 $ y $ 在 $ X_1 $ ，即，與 $ H_0 $ 強加的。在您的特殊情況下，這只是 $ TSS=\sum_i(y_i-\bar y)^2 $ , 一個常數回歸的殘差。
再次使用 FWL（這也表明兩種方法的殘差是相同的），我們可以寫 $ \text{USSR} $ （您的符號中的 SSR）作為回歸的 SSR $$ M_{X_1}y\quad\text{on}\quad M_{X_1}X_2 $$
那是， $$ \begin{eqnarray*} \text{USSR}&=&y’M_{X_1}‘M_{M_{X_1}X_2}M_{X_1}y\ &=&y’M_{X_1}'(I-P_{M_{X_1}X_2})M_{X_1}y\ &=&y’M_{X_1}y-y’M_{X_1}M_{X_1}X_2((M_{X_1}X_2)‘M_{X_1}X_2)^{-1}(M_{X_1}X_2)‘M_{X_1}y\ &=&y’M_{X_1}y-y’M_{X_1}X_2(X_2’M_{X_1}X_2)^{-1}X_2’M_{X_1}y \end{eqnarray*} $$
因此，
$$ \begin{eqnarray*} \text{RSSR}-\text{USSR}&=&y’M_{X_1}y-(y’M_{X_1}y-y’M_{X_1}X_2(X_2’M_{X_1}X_2)^{-1}X_2’M_{X_1}y)\ &=&y’M_{X_1}X_2(X_2’M_{X_1}X_2)^{-1}X_2’M_{X_1}y \end{eqnarray*} $$
