多元線性回歸與幾個單變量回歸模型

在單變量回歸設置中，我們嘗試建模

在哪裡一個向量觀察和設計矩陣預測器。解決方案是.

在多元回歸設置中，我們嘗試建模

在哪裡是一個矩陣觀察和不同的潛變量。解決方案是.

我的問題是這與表演有何不同不同的單變量線性回歸？我在這裡讀到，在後一種情況下，我們考慮了因變量之間的相關性，但我沒有從數學中看到它。

在經典多元線性回歸的設置中，我們有模型：

在哪裡表示自變量，表示多個響應變量，並且是一個獨立同分佈的高斯噪聲項。噪聲的均值為零，並且可以跨響應變量相關。權重的最大似然解等效於最小二乘解（不考慮噪聲相關性）[1][2]：

這相當於為每個響應變量獨立求解一個單獨的回歸問題。這可以從以下事實中看出第 列（包含權重th 輸出變量）可以通過乘法獲得由第 列（包含的值第一個響應變量）。

然而，多元線性回歸不同於單獨解決單個回歸問題，因為統計推斷程序考慮了多個響應變量之間的相關性（例如，參見 [2]、[3]、[4]）。例如，噪聲協方差矩陣出現在抽樣分佈、檢驗統計量和區間估計中。

如果我們允許每個響應變量都有自己的一組協變量，則會出現另一個差異：

在哪裡代表響應變量，和和表示其對應的一組協變量和噪聲項。如上所述，噪聲項可以跨響應變量相關。在這種情況下，存在比最小二乘法更有效的估計量，並且不能簡化為解決每個響應變量的單獨回歸問題。例如，參見 [1]。

參考

1. 澤爾納 (1962)。一種估計看似不相關的回歸和聚合偏差測試的有效方法。
2. 海爾維格 (2017)。多元線性回歸 [幻燈片]
3. 福克斯和韋斯伯格 (2011)。R 中的多元線性模型。 [附錄：An R Companion to Applied Regression]
4. 邁特拉（2013）。多元線性回歸模型。[幻燈片]

引用自：https://stats.stackexchange.com/questions/318810