Hypothesis-Testing

接受零假設

  • April 9, 2018

這是一個關於統計學和其他科學交叉的討論問題。我經常面臨同樣的問題:我所在領域的研究人員傾向於說當 p 值不小於顯著性水平時沒有影響。一開始,我經常回答這不是假設檢驗的工作原理。鑑於這個問題出現的頻率,我想與更有經驗的統計學家討論這個問題。

讓我們考慮一下“最佳出版集團”Nature Communications Biology最近在科學期刊上發表的一篇論文(有多個例子,但我們只關註一個)

研究人員通過以下方式解釋沒有統計學意義的結果:

因此,慢性中度熱量限制可以延長靈長類動物的壽命並增強健康,但它會影響大腦灰質的完整性**,而不會影響認知能力**。

證明:

然而,巴恩斯迷宮任務中的表現在對照組和卡路里限制動物之間沒有差異(LME:F = 0.05,p = 0.82;圖 2a)。類似地,自發交替任務沒有顯示對照和卡路里限制動物之間的任何差異(LME:F = 1.63,p = 0.22;圖 2b)。

作者還提出了沒有效果的解釋——但關鍵不是解釋,而是聲明本身。對我來說,所提供的圖“肉眼”看起來有很大不同(圖 2)。

此外,作者忽略了先驗知識:

據報導,熱量限制對大鼠的認知能力以及對人類的大腦和情緒功能的有害影響

對於巨大的樣本量,我可以理解相同的說法(沒有影響 = 沒有實際顯著的影響),但在特定情況下使用了複雜的測試,並且對我來說如何執行功率計算並不明顯。

問題:

  1. 我是否忽略了使他們的結論有效的任何細節?
  2. 考慮到科學上需要報告負面結果,如何證明它不是“沒有結果”(我們有),但是使用統計數據“否定結果(例如組之間沒有差異)”?我知道,對於巨大的樣本量,即使與 null 的微小偏差也會導致拒絕,但讓我們假設我們有理想的數據,並且仍然需要證明 null 實際上是正確的。
  3. 統計學家是否應該始終堅持數學上正確的結論,例如“擁有這種能力,我們無法檢測到顯著大小的影響”?其他領域的研究人員非常不喜歡這種負面結果的表述。

我很高興聽到有關此問題的任何想法,並且我已閱讀並理解此網站上的相關問題。從統計學的角度來看,問題 2)-3) 有一個明確的答案,但我想了解在跨學科對話的情況下如何回答這些問題。

UPD:我認為負面結果的一個很好的例子是醫學試驗的第一階段,即安全性。科學家何時可以確定該藥物是安全的?我猜他們比較兩組並對這些數據進行統計。有沒有辦法說這種藥是安全的?Cochrane 使用準確的“未發現副作用”,但醫生說這種藥物是安全的。當描述的準確性和簡單性之間達到平衡時,我們可以說“對健康沒有影響”?

我認為有時本著“接受零假設”的精神來解釋非統計顯著的結果是合適的。事實上,我已經看到以這種方式解釋具有*統計意義的研究。*該研究過於精確,結果與一小部分非無效但臨床上不顯著的影響一致。這是對一項關於巧克力/紅酒消費與其對糖尿病的“有益”影響之間關係的研究(或新聞界)的有點激烈的批評。高/低攝入量的胰島素抵抗分佈概率曲線是歇斯底里的。

是否可以將發現解釋為“確認 H_0”取決於許多因素:研究的有效性、功效、估計的不確定性以及先前的證據。報告置信區間 (CI) 而不是 p 值可能是您作為統計學家可以做出的最有用的貢獻。我提醒研究人員和其他統計學家,統計數據不會做決定,人會做;省略 p 值實際上會鼓勵對研究結果進行更深思熟慮的討論。

CI 的寬度描述了一系列影響,可能包括也可能不包括零值,可能包括也可能不包括非常具有臨床意義的值,例如挽救生命的潛力。然而,一個狹窄的 CI 證實了一種效應。後一種類型在真正意義上是“重要的”,或者前一種可能是空值或非常接近空值的東西。

也許需要的是更廣泛地了解“無效結果”(和無效效果)是什麼。我對研究合作感到失望的是,當研究人員無法先驗地說明他們所針對的效果範圍時:如果乾預旨在降低血壓,那麼要降低多少毫米汞柱?如果一種藥物是用來治愈癌症的,病人能活幾個月?對研究充滿熱情並“融入”他們的領域和科學的人可以喋喋不休地講述有關先前研究和所做工作的最驚人的事實。

在您的示例中,我不禁注意到 0.82 的 p 值可能非常接近空值。由此,我只能說 CI 以空值為中心。我不知道它是否包含有臨床意義的影響。如果 CI 非常狹窄,我認為他們給出的解釋是正確的,但數據不支持它:那將是一個小修改。相比之下,第二個 p 值 0.22 相對更接近其顯著性閾值(無論它可能是什麼)。作者相應地將其解釋為“不提供任何差異證據”,這與“不拒絕 H_0”類型的解釋是一致的。至於文章的相關性,我只能說很少。我希望您瀏覽文獻,找到更多關於研究結果的突出討論!就分析而言,

引用自:https://stats.stackexchange.com/questions/339422

comments powered by Disqus

相關問答