薈萃分析中固定效應與隨機效應模型的理由
我已經閱讀了幾篇試圖證明使用固定效應模型的出版物,其中的陳述類似於“選擇固定效應模型是因為異質性低”。但是,我擔心這可能仍然是一種不合適的數據分析方法。
是否有理由或出版物討論這是否以及為什麼可能是一個錯誤?
注意:如果您想快速回答有關使用異質性測試做出此決定的問題,請向下滾動至“哪些理由是合理的? ”。
研究人員為他們選擇固定效應與隨機效應薈萃分析綜合提供了一些理由(有些理由比其他理由更合理/更不合理)。這些在介紹性薈萃分析教科書中進行了討論,例如 Borenstein 等人。(2009 年)、卡(2011 年)和庫珀(2017 年)。
在不譴責或寬恕任何這些理由的情況下(尚未),它們包括:
選擇固定效應模型的理由
- 分析簡單性:有些人認為隨機效應模型的計算/解釋超出了他們的統計理解範圍,因此堅持使用更簡單的模型。使用固定效應模型,研究人員只需要估計由抽樣誤差驅動的效應大小的可變性。無論好壞,這是 Card (2011) 明確鼓勵的務實做法。
- *先前相信沒有研究層面的變異性/*調節因素:如果研究人員認為他們的樣本中的所有效應大小僅由於抽樣誤差而變化——並且沒有系統的研究層面的變異性(因此沒有調節因素——就會有擬合隨機效應模型幾乎沒有必要。我認為,當研究人員覺得擬合隨機效應模型超出了他們的能力時,這個理由和前者有時會攜手並進,然後通過聲稱,之後使這個決定合理化事實上,他們沒有預料到任何真正的研究水平的異質性。
- 系統調節器已被詳盡考慮:一些研究人員在調查並考慮了他們能想到的每個調節器後,可能會使用固定效應分析。這裡的基本原理是,一旦研究人員解釋了研究水平變異性的每一個可能/有意義的來源,剩下的就是抽樣誤差,因此隨機效應模型就沒有必要了。
- 非顯著異質性檢驗(即,統計):如果研究人員未能拒絕效應大小的同質樣本的零值,他們可能會更願意採用固定效應模型。
- 做出有限/特定推論的意圖:固定效應模型適用於嚴格在效應樣本內討論效應模式。因此,如果研究人員願意只談論他們的樣本中發生的事情,而不是推測他們的審查遺漏的研究或審查後的研究中可能發生的事情,他們可能會證明擬合固定效應模型是合理的。
選擇隨機效應模型的理由
- 對研究水平變異性/調節因素的先驗信念:與理由 2相比。 (支持固定效應模型),如果研究人員預計會有一些有意義的研究水平變異性(因此是適度的),他們會默認指定隨機效應模型。如果你有心理學背景(我有),這正在成為一種越來越常規/受鼓勵的默認思考效果大小的方式(例如,參見 Cumming,2014 年)。
- 顯著異質性檢驗(即,統計):就像研究人員可能使用不顯著的測試以證明他們選擇固定效應模型的合理性,因此他們也可能使用顯著的測試(拒絕同質效應大小的空值)以證明他們使用隨機效應模型的合理性。
- 分析實用主義:事實證明,如果你擬合一個隨機效應模型並且沒有顯著的異質性(即不顯著),您將得出固定效應估計值;只有在存在顯著異質性的情況下,這些估計才會改變。因此,一些研究人員可能會默認使用隨機效應模型,認為他們的分析將按照他們應該的方式“工作”,具體取決於基礎數據的質量。
- 做出廣泛/可概括推論的意圖:與固定效應模型不同,隨機效應模型允許研究人員(在某種程度上)超越他們的樣本,就將在更廣泛的文獻中發揮作用的效應/調節模式而言。如果研究人員需要這種級別的推理,他們可能因此更喜歡隨機效應模型。
指定錯誤模型的後果
雖然不是您問題的明確部分,但我認為重要的是要指出為什麼研究人員在固定效應和隨機效應薈萃分析模型之間進行選擇時“做對”很重要:它主要歸結為估計精度和統計能力。
固定效應模型在統計上更強大,但有可能產生人為的精確估計;隨機效應模型在統計上不太強大,但如果存在真正的異質性,則可能更合理。在調節器測試的背景下,固定效應模型可能會低估誤差方差的程度,而隨機效應模型可能會高估誤差方差的程度(取決於是否滿足或違反了它們的建模假設,參見 Overton,1998)。同樣,在心理學文獻中,越來越多的人認為該領域過於依賴固定效應薈萃分析,因此我們自欺欺人地對我們的效應有更大的確定性/精確性(參見 Schmidt 等人., 2009)。
哪些理由是合理的?
直接回答您的特定詢問:一些人(例如,Borenstein 等人,2009 年;Card,2001 年)警告不要使用異質性檢驗統計量用於決定是否指定固定效應或隨機效應模型(理由 4.和理由 7.)。相反,這些作者爭辯說,您應該主要根據概念上的理由(即理由 2.或理由 6.)做出此決定。的易錯性用於此目的的統計數據在特別小(或特別大)合成的上下文中也具有一定的直觀意義,其中可能無法檢測有意義的異質性(或檢測微不足道的異質性)。
分析簡單性(理由 1.)似乎是不太可能成功的固定效應模型的另一個理由(原因我認為更明顯)。另一方面,如果研究人員能夠證明他們已經考慮/模擬了廣泛的調節變量,則認為所有可能的調節變量都已用盡(*理由 3. )在某些情況下可能更具說服力。*如果他們只編寫了幾個版主,那麼這個理由可能會被視為相當似是而非/站不住腳的。
讓數據通過默認的隨機效應模型(理由 8.)做出決定是我不確定的。這當然不是一個主動/有原則的決定,但再加上心理學領域轉向偏好隨機效應模型作為默認值,它可能被證明是一個可以接受的(儘管不是特別深思熟慮的)理由。
這留下了與關於效果分佈的先前信念相關的理由(理由 2.和理由 6.),以及與研究人員希望獲得許可做出的推論類型相關的理由(理由 5.和理由 9。)。關於效應分佈的先前信念的合理性很大程度上取決於您正在綜合的研究的特徵;正如 Cooper (2017) 指出的那樣,如果您正在綜合機械/普遍過程的影響,從基本相似的上下文/樣本中收集,並且在嚴格控制的環境中,固定效應分析可能是完全合理的。從同一實驗的重複中合成結果將是一個很好的例子,說明何時需要這種分析策略(參見 Goh 等人,2016 年)。但是,如果您正在綜合一個設計、操作、測量、上下文和样本特徵差異很大的領域,那麼似乎越來越難以證明一個人正在準確地研究每種情況下的效果相同。最後,人們希望做出的那種推斷似乎是個人喜好/品味的問題,所以我不確定只要它在概念上似乎可以辯護,人們將如何開始支持/反對這種正當性。
參考
Borenstein, M., Hedges, LV, Higgins, JPT, & Rothstein, HR (2009)。薈萃分析簡介。英國西薩塞克斯郡:威利。
卡,北美(2011 年)。*社會科學研究的應用薈萃分析。*紐約,紐約:吉爾福德出版社。
庫珀,H.(2017 年)。*研究綜合和薈萃分析:循序漸進的方法。*加利福尼亞州千橡市:聖人。
卡明,G.(2014 年)。新的統計數據:為什麼以及如何。心理科學,25(1),7-29。
Goh, JX, Hall, JA 和 Rosenthal, R. (2016)。您自己研究的迷你元分析:關於為什麼的一些論據和關於如何的入門。社會和人格心理學指南針,10 (10), 535-549。
奧弗頓,RC(1998 年)。用於調節變量效應的薈萃分析測試的固定效應和混合(隨機效應)模型的比較。心理學方法,3(3),354-379。
Schmidt, FL, Oh, IS, & Hayes, TL (2009)。Meta 分析中的固定與隨機效應模型:模型屬性和結果差異的經驗比較。英國數學和統計心理學雜誌,62(1),97-128。