線性回歸中的誤差項具有非恆定方差的後果是什麼？

線性回歸的假設之一是誤差項應該有一個恆定的方差，並且與模型相關的置信區間和假設檢驗依賴於這個假設。當誤差項沒有恆定方差時，究竟會發生什麼？

異方差的後果是：

1. 普通最小二乘 (OLS) 估計器仍然是一致的，但它不再有效。
2. 估計在哪裡對於您的估計器的協方差矩陣不再是一致的估計器. 它可能是有偏見的和不一致的。在實踐中，它可能會大大低估方差。

第（1）點可能不是主要問題；無論如何，人們經常使用普通的 OLS 估計器。**但必須解決第 (2) 點。**該怎麼辦？

您需要異方差一致的標準誤差。標準方法是依靠大樣本假設、漸近結果並估計使用：

在哪裡估計為. 這給出了異方差一致的標準誤差。它們也被稱為 Huber-White 標準誤差、穩健標準誤差、“三明治”估計器等……任何基本的標準統計數據包都有穩健標準誤差的選項。用它！

一些額外的評論（更新）

如果異方差足夠大，則常規 OLS 估計可能存在很大的實際問題。雖然仍然是一個一致的估計器，但您可能會遇到小樣本問題，即您的整個估計是由幾個高方差觀察值驅動的。（這就是@seanv507 在評論中所暗示的）。OLS 估計器效率低下，因為它對高方差觀察的權重比最優值更大。估計可能非常嘈雜。

嘗試解決低效率的問題是您可能也不知道誤差項的協方差矩陣，因此如果您對誤差項協方差矩陣的估計是垃圾，使用GLS之類的東西會使事情變得更糟。

此外，我上面給出的 Huber-White 標準誤差在小樣本中可能存在很大問題。關於這個主題有很長的文獻。例如。參見 Imbens 和 Kolesar (2016)，“小樣本中的穩健標準誤差：一些實用建議”。

進修方向：

如果這是自學，下一個要考慮的實際問題是聚類標準誤。這些糾正了集群內的任意相關性。

引用自：https://stats.stackexchange.com/questions/240614