Regression

將多元線性模型轉換為多元回歸

  • December 22, 2013

將多元線性回歸模型重鑄為多元線性回歸完全等效嗎?我不是指簡單的跑步單獨的回歸。

我已經在幾個地方(貝葉斯數據分析——Gelman 等人,以及多元老派——Marden)讀到,多元線性模型可以很容易地重新參數化為多元回歸。然而,這兩個消息來源都沒有詳細說明這一點。他們基本上只是提到它,然後繼續使用多元模型。在數學上,我會先寫多變量版本,

其中粗體變量是其大小低於它們的矩陣。照常,是數據,是設計矩陣,是正態分佈的殘差,並且是我們感興趣的推理。 要將其重新參數化為熟悉的多元線性回歸,只需將變量重寫為:

其中使用的重新參數化是,, 和. 意味著矩陣的行首尾相連排列成一個長向量,並且是克羅內克或外部產品。

那麼,如果這很容易,為什麼還要寫關於多元模型的書籍,為它們測試統計數據等等?最有效的方法是先轉換變量並使用常見的單變量技術。我確信有一個很好的理由,我只是很難想到一個,至少在線性模型的情況下。多元線性模型和正態分佈的隨機誤差是否存在這種重新參數化不適用的情況,或者限制了您可以進行的分析的可能性?

資料來源:Marden - Multivariate Statistics:Old School。請參閱第 5.3 - 5.5 節。該書可從以下網址免費獲得:http: //istics.net/stat/

格爾曼等人。- 貝葉斯數據分析。我有第二版,在這個版本中,Ch 中有一小段。19 個“多元回歸模型”,標題為:“等效單變量回歸模型”

基本上,你能用等價的線性單變量回歸模型做所有事情嗎?如果是這樣,為什麼要開發多元線性模型的方法呢?

貝葉斯方法呢?

基本上,你能用等價的線性單變量回歸模型做所有事情嗎?

我相信答案是否定的。

如果您的目標只是估計效果(參數) 或者根據模型進一步做出預測,那麼是的,兩者之間採用哪種模型公式並不重要。

然而,為了進行統計推斷,特別是為了執行經典的顯著性檢驗,多元公式似乎實際上是不可替代的。更具體地說,讓我以心理學中的典型數據分析為例。數據來自主題表示為

在哪裡受試者之間的解釋變量(因子或/和定量協變量)被編碼為而重複測量(或受試者內)因子水平表示為同時變量或.

使用上述公式,任何一般線性假設都可以很容易地表示為

在哪裡由主體間解釋變量之間的權重組成,而包含重複測量因子水平之間的權重,並且是一個常數矩陣,通常.

多元系統的美妙之處在於它區分了兩種類型的變量,即主體間和主體內。正是這種分離允許在多元框架下輕鬆制定三種類型的顯著性檢驗:經典多元檢驗、重複測量多變量檢驗和重複測量單變量檢驗。此外,球度違規的 Mauchly 檢驗和相應的校正方法(Greenhouse-Geisser 和 Huynh-Feldt)對於多變量系統中的單變量檢驗也很自然。這正是統計包實現這些測試的方式,例如R中的car 、IBM SPSS Statistics 中的**GLM,以及 SAS的PROC GLM中的REPEATED 語句 。

我不太確定公式在貝葉斯數據分析中是否重要,但我懷疑上述測試能力是否可以在單變量平台下制定和實施。

引用自:https://stats.stackexchange.com/questions/80342

comments powered by Disqus