對所有“無統計學意義”的研究進行薈萃分析能否得出“顯著”結論？
一項薈萃分析包括一系列研究，所有研究報告的 P 值均大於 0.05。整體薈萃分析是否有可能報告小於 0.05 的 P 值？在什麼情況下？
（我很確定答案是肯定的，但我想要一個參考或解釋。）
理論上，是的…
個別研究的結果可能微不足道，但綜合來看，結果可能很重要。
理論上，您可以通過處理結果來繼續 $ y_i $ 學習的 $ i $ 像任何其他隨機變量一樣。
讓 $ y_i $ 是一些隨機變量（例如，研究的估計 $ i $ ）。那麼如果 $ y_i $ 是獨立的並且 $ E[y_i]=\mu $ ，您可以通過以下方式一致地估計平均值：
$$ \hat{\mu} = \frac{1}{n} \sum_i y_i $$
添加更多假設，讓 $ \sigma^2_i $ 是估計的方差 $ y_i $ . 然後你可以有效地估計 $ \mu $ 逆方差加權：
$$ \hat{\mu} = \sum_i w_i y_i \quad \quad w_i = \frac{1 / \sigma^2_i}{\sum_j 1 / \sigma^2_j} $$
在這兩種情況下， $ \hat{\mu} $ 即使個別估計值不是，也可能在某個置信水平上具有統計顯著性。
但可能存在大問題，需要認識到的問題……
- 如果 $ E[y_i] \neq \mu $ 那麼薈萃分析可能不會收斂到 $ \mu $ （即薈萃分析的平均值是一個不一致的估計量）。
例如，如果對發布負面結果存在偏見，那麼這個簡單的薈萃分析可能會非常不一致和有偏見！這就像僅通過觀察沒有落在反面的拋硬幣來估計拋硬幣正面朝上的概率一樣！ 2. $ y_i $ 和 $ y_j $ 可能不是獨立的。例如，如果兩個研究 $ i $ 和 $ j $ 基於相同的數據，然後處理 $ y_i $ 和 $ y_j $ 在薈萃分析中獨立可能會大大低估標準誤差並誇大統計顯著性。您的估計仍然是一致的，但標準誤差需要合理地考慮研究中的互相關。 3. 結合（1）和（2）可能特別糟糕。
例如，平均民意調查的薈萃分析往往比任何單獨的民意調查更準確。但是平均民意調查仍然容易受到相關錯誤的影響。在過去的選舉中出現的情況是，年輕的票站調查工作人員可能傾向於採訪其他年輕人而不是老年人。如果所有出口民意調查都出現相同的錯誤，那麼您可能認為這是一個很好的估計（出口民意調查是相關的，因為它們使用相同的方法進行出口民意調查並且這種方法會產生相同的錯誤）。
毫無疑問，更熟悉元分析的人可能會提出更好的例子、更細微的問題、更複雜的估計技術等……但這涉及到一些最基本的理論和一些更大的問題。如果不同的研究產生獨立的、隨機的錯誤，那麼薈萃分析可能會非常強大。如果錯誤在研究中是系統性的（例如，每個人都低估了年長的選民等……），那麼研究的平均值也將偏離。如果您低估相關研究的程度或相關誤差的程度，您實際上會高估您的總體樣本量並低估您的標準誤差。
還有各種定義一致等實際問題……