Bayesian

比其他分析更早進行特權分析的貝葉斯理由是什麼?

  • April 27, 2018

背景和經驗例子

我有兩個研究;我進行了一個實驗(研究 1),然後復制了它(研究 2)。在研究 1 中,我發現兩個變量之間存在交互作用;在研究 2 中,這種交互作用方向相同,但不顯著。以下是研究 1 模型的摘要:

Coefficients:
                       Estimate Std. Error t value Pr(>|t|)    
(Intercept)              5.75882    0.26368  21.840  < 2e-16 ***
condSuppression         -1.69598    0.34549  -4.909 1.94e-06 ***
prej                    -0.01981    0.08474  -0.234  0.81542    
condSuppression:prej     0.36342    0.11513   3.157  0.00185 ** 

研究 2 的模型:

Coefficients:
                    Estimate Std. Error t value Pr(>|t|)    
(Intercept)           5.24493    0.24459  21.444   <2e-16 ***
prej                  0.13817    0.07984   1.731   0.0851 .  
condSuppression      -0.59510    0.34168  -1.742   0.0831 .  
prej:condSuppression  0.13588    0.11889   1.143   0.2545  

我沒有說“我想我什麼都沒有,因為我‘複製失敗’”,我所做的是結合兩個數據集,為數據來自什麼研究創建一個虛擬變量,然後運行交互在控制研究虛擬變量後再次。即使在控制它之後,這種交互也很重要,我發現條件和不喜歡/prej之間的這種雙向交互不符合與研究虛擬變量的三向交互。

介紹貝葉斯分析

我有人建議這是使用貝葉斯分析的好機會:在研究 2 中,我有來自研究 1 的信息,我可以將其用作先驗信息!通過這種方式,研究 2 正在對研究 1 中的常客、普通最小二乘結果進行貝葉斯更新。所以,我回過頭來重新分析研究 2 模型,現在使用係數的信息先驗:所有係數都有一個正常先驗,其中平均值是研究 1 中的估計值,標準差是研究 1 中的標準誤差。

這是結果的摘要:

Estimates:
                      mean    sd      2.5%    25%     50%     75%     97.5%
(Intercept)             5.63    0.17    5.30    5.52    5.63    5.74    5.96
condSuppression        -1.20    0.20   -1.60   -1.34   -1.21   -1.07   -0.80
prej                    0.02    0.05   -0.08   -0.01    0.02    0.05    0.11
condSuppression:prej    0.34    0.06    0.21    0.30    0.34    0.38    0.46
sigma                   1.14    0.06    1.03    1.10    1.13    1.17    1.26
mean_PPD                5.49    0.11    5.27    5.41    5.49    5.56    5.72
log-posterior        -316.40    1.63 -320.25 -317.25 -316.03 -315.23 -314.29

看起來現在我們有相當確鑿的證據表明研究 2 分析中的相互作用。這與我簡單地將數據堆疊在一起並使用研究編號作為虛擬變量運行模型時所做的一致。

反事實:如果我先進行研究 2 會怎樣?

這讓我開始思考:如果我先運行研究 2,然後使用研究 1 的數據來更新我對研究 2 的信念會怎樣?我做了與上述相同的事情,但相反:我使用常客、普通最小二乘係數估計和研究 2 的標準差作為我對研究 1 數據分析的先驗平均值和標準差,重新分析了研究 1 數據。總結的結果是:

Estimates:
                         mean    sd      2.5%    25%     50%     75%     97.5%
(Intercept)                5.35    0.17    5.01    5.23    5.35    5.46    5.69
condSuppression           -1.09    0.20   -1.47   -1.22   -1.09   -0.96   -0.69
prej                       0.11    0.05    0.01    0.08    0.11    0.14    0.21
condSuppression:prej       0.17    0.06    0.05    0.13    0.17    0.21    0.28
sigma                      1.10    0.06    0.99    1.06    1.09    1.13    1.21
mean_PPD                   5.33    0.11    5.11    5.25    5.33    5.40    5.54
log-posterior           -303.89    1.61 -307.96 -304.67 -303.53 -302.74 -301.83

同樣,我們看到了相互作用的證據,但情況可能不一定如此。請注意,兩種貝葉斯分析的點估計值甚至都不在彼此的 95% 可信區間內。貝葉斯分析的兩個可信區間的非重疊比它們重疊的多。

什麼是時間優先的貝葉斯證明?

因此,我的問題是:貝葉斯學派尊重數據收集和分析的時間順序的理由是什麼?我從研究 1 中獲得結果,並將它們用作研究 2 中的信息先驗,以便我使用研究 2 來“更新”我的信念。但是,如果我們假設我得到的結果是從具有真實總體效應的分佈中隨機抽取的……那我為什麼要優先考慮研究 1 的結果呢?使用研究 1 的結果作為研究 2 的先驗而不是將研究 2 的結果作為研究 1 的先驗的理由是什麼?我收集和計算分析的順序真的很重要嗎?在我看來,這似乎不應該——貝葉斯對此的理由是什麼?為什麼我應該相信點估計值更接近 0.34 而不是 0.17 僅僅因為我首先運行了研究 1?


回應 Kodiologist 的回答

Kodiologist 評論說:

其中第二點指出了您與貝葉斯約定的重要背離。您沒有先設置先驗,然後以貝葉斯方式擬合兩個模型。您以非貝葉斯方式擬合一個模型,然後將其用於另一個模型的先驗。如果您使用傳統方法,您將不會看到您在此處看到的對順序的依賴。

為了解決這個問題,我擬合了研究 1 和研究 2 的模型,其中所有回歸係數的先驗為. 該cond變量是實驗條件的虛擬變量,編碼為0或1;prej變量以及結果均以 1 到 7 的 7 點量表進行測量。因此,我認為這是一個公平的先驗選擇。僅根據數據的縮放方式,很少會看到比先前建議的係數大得多的係數。

這些估計的平均估計和標準差與 OLS 回歸中的大致相同。研究 1:

Estimates:
                      mean     sd       2.5%     25%      50%      75%      97.5% 
(Intercept)             5.756    0.270    5.236    5.573    5.751    5.940    6.289
condSuppression        -1.694    0.357   -2.403   -1.925   -1.688   -1.452   -0.986
prej                   -0.019    0.087   -0.191   -0.079   -0.017    0.040    0.150
condSuppression:prej    0.363    0.119    0.132    0.282    0.360    0.442    0.601
sigma                   1.091    0.057    0.987    1.054    1.088    1.126    1.213
mean_PPD                5.332    0.108    5.121    5.259    5.332    5.406    5.542
log-posterior        -304.764    1.589 -308.532 -305.551 -304.463 -303.595 -302.625

和研究 2:

Estimates:
                      mean     sd       2.5%     25%      50%      75%      97.5% 
(Intercept)             5.249    0.243    4.783    5.082    5.246    5.417    5.715
condSuppression        -0.599    0.342   -1.272   -0.823   -0.599   -0.374    0.098
prej                    0.137    0.079   -0.021    0.084    0.138    0.192    0.287
condSuppression:prej    0.135    0.120   -0.099    0.055    0.136    0.214    0.366
sigma                   1.132    0.056    1.034    1.092    1.128    1.169    1.253
mean_PPD                5.470    0.114    5.248    5.392    5.471    5.548    5.687
log-posterior        -316.699    1.583 -320.626 -317.454 -316.342 -315.561 -314.651

由於這些均值和標準差與 OLS 估計值或多或少相同,因此仍會出現上述順序效應。如果我在分析研究 2 時將研究 1 的後驗匯總統計量插入先驗,我觀察到的最終後驗與首先分析研究 2 然後使用這些後驗匯總統計作為分析研究 1 的先驗時不同。

即使我使用回歸係數的貝葉斯均值和標準差作為先驗而不是常客估計,我仍然會觀察到相同的順序效應。所以問題仍然存在:貝葉斯對首先進行的研究給予特權的理由是什麼?

貝葉斯定理說重新縮放後posterior等於prior * likelihood(因此概率總和為 1)。每個觀察都有一個likelihood可用於更新prior和創建新的posterior

posterior_1 = prior * likelihood_1
posterior_2 = posterior_1 * likelihood_2
...
posterior_n = posterior_{n-1} * likelihood_n

以便

posterior_n = prior * likelihood_1 * ... * likelihood_n

乘法的交換性意味著更新可以按任何順序進行。因此,如果您從單個先驗開始,您可以以任意順序混合研究 1 和研究 2 的觀察結果,應用貝葉斯公式並得出相同的最終結果posterior

引用自:https://stats.stackexchange.com/questions/343177

comments powered by Disqus

相關問答