Regression

調節回歸變量與將它們視為固定變量有什麼區別?

  • April 4, 2015

有時我們假設回歸量是固定的,即它們是非隨機的。我認為這意味著我們所有的預測變量、參數估計等都是無條件的,對吧?我什至可以走得太遠以至於它們不再是隨機變量嗎?

另一方面,如果我們接受經濟學中的大多數回歸變量是隨機的,因為沒有外部力量通過一些實驗來決定它們。然後,計量經濟學家以這些隨機回歸量為條件。

這與將它們視為固定的有什麼不同?

我明白什麼是條件反射。從數學上講,這意味著我們使所有觀察和推斷都以特定回歸量集為條件,並且沒有野心說如果我們看到回歸量的不同實現(例如時間序列的癥結,每個時間序列只出現一次)。

但是,要真正掌握固定回歸量與隨機回歸量條件之間的區別,我想知道這裡是否有人知道一個估計或推理過程的示例,該示例對固定回歸量有效但在它們是隨機的時會崩潰(並且會有條件)。

我期待看到這些例子!

在這裡,我如履薄冰,但讓我嘗試一下:我有一種感覺(請發表評論!)統計學和計量經濟學之間的主要區別在於,在統計學中,我們傾向於將回歸變量視為固定的,因此術語設計矩陣顯然來自實驗設計,假設我們首先選擇然後固定解釋變量。

但是對於大多數數據集,大多數情況,這是不合適的。我們實際上是在觀察解釋變量,從這個意義上說,它們與響應變量處於同一基礎,它們都是由我們無法控制的一些隨機過程決定的。通過考慮 $ x $ ’s as “fixed”,我們決定不考慮很多可能導致的問題。

另一方面,通過將回歸變量視為隨機變量,正如計量經濟學家傾向於做的那樣,我們開啟了嘗試考慮此類問題的建模的可能性。然後我們可能會考慮並納入建模的問題的簡短列表是:

也許,這應該比今天更頻繁地完成?另一種觀點是,模型只是近似值,推理應該承認這一點。非常有趣的論文The Conspiracy of Random Predictors and Model Violations against Classical Inference in Regression by A. Buja et.al。持這種觀點並認為非線性(未明確建模)破壞了下面給出的輔助論點。

EDIT 

我將嘗試更正式地充實以回歸量為條件的論點。讓 $ (Y,X) $ 是一個隨機向量,興趣在於回歸 $ Y $ 在 $ X $ , 其中回歸是指條件期望 $ Y $ 在 $ X $ . 在多正態假設下,這將是一個線性函數,但我們的論點並不依賴於此。我們以通常的方式開始考慮聯合密度 $$ f(y,x) = f(y\mid x) f(x) $$ 但是這些函數是未知的,所以我們使用參數化模型 $$ f(y,x; \theta, \psi)=f_\theta(y \mid x) f_\psi(x) $$ 在哪裡 $ \theta $ 參數化條件分佈和 $ \psi $ 的邊際分佈 $ X $ . 在正常的線性模型中,我們可以有 $ \theta=(\beta, \sigma^2) $ 但這不是假設的。的全參數空間 $ (\theta,\psi) $ 是 $ \Theta \times \Psi $ ,一個笛卡爾積,並且兩個參數沒有共同點。

這可以解釋為統計實驗(或數據生成過程,DGP)的分解,首先 $ X $ 是根據生成的 $ f_\psi(x) $ ,作為第二步, $ Y $ 根據條件密度生成 $ f_\theta(y \mid X=x) $ . 請注意,第一步不使用任何關於 $ \theta $ ,只進入第二步。統計數據 $ X $ 是輔助的 $ \theta $ ,請參閱https://en.wikipedia.org/wiki/Ancillary_statistic

但是,根據第一步的結果,第二步可能或多或少地提供關於 $ \theta $ . 如果分佈由 $ f_\psi(x) $ 具有非常低的方差,例如,觀察到的 $ x $ 會集中在一個小區域,所以估計會比較困難 $ \theta $ . 所以,這個兩步實驗的第一部分確定了 $ \theta $ 可以估計。因此,很自然地以條件為條件 $ X=x $ 關於回歸參數的推斷。這就是條件論點,上面的大綱清楚地表明了它的假設。

在設計的實驗中,它的假設大部分都成立,通常觀察數據不成立。一些問題的例子是:以滯後響應作為預測變量的回歸。在這種情況下,以預測變量為條件也將以響應為條件!(我將添加更多示例)。

一本詳細討論這個問題的書是信息和指數族: O. E Barndorff-Nielsen 的統計理論。尤其見第 4 章。作者說這種情況下的分離邏輯很少被解釋,但給出了以下參考資料:RA Fisher (1956) Statistical Methods and Scientific Inference $ \S 4.3 $ 和 Sverdrup (1966)決策理論和 Neyman-Pearson 理論的現狀

引用自:https://stats.stackexchange.com/questions/144826

comments powered by Disqus