客觀與主觀貝葉斯範式
客觀貝葉斯範式和主觀貝葉斯範式有什麼區別？
他們對哪些對像或程序有不同的定義或解釋？
他們選擇的方法有什麼不同嗎？
這是一個非常令人困惑的話題，主要是因為在這些討論中，“主觀主義”的概念通常有兩種不同的使用方式。 $ ^\dagger $ 更令人困惑的是，有一類“主觀主義”植根於專家先前的啟發，而這種特殊的變化必須仔細地融入範式的哲學分類中。我將嘗試通過列出一些通常解釋“主觀主義”的不同方式來澄清這個問題，然後列出貝葉斯主義者之間的廣泛共識領域，以及哲學和實踐方法存在分歧的領域。我預計會有其他人不同意我對此的看法，但我希望這為清晰的討論提供了一個良好的起點。
**弱主觀主義：**在這種解釋中，“主觀”一詞的含義較弱，僅意味著概率封裝了主體的理性信念。（有些人，比如我自己，更喜歡用“認知”這個詞來表達這個概念，因為它實際上並不需要更強意義上的主觀性。）
**強主觀主義：**在這種解釋中，“主觀”一詞是在其更強的意義上使用的，意味著弱主觀主義成立，此外，主體的信念缺乏任何外部“客觀”理由（即，兩個或多個不同的主體都可以持有不同的信念，並且沒有人會比其他人或多或少地被認為是錯誤的）。
在貝葉斯分析中，通常情況下，所選擇的抽樣分佈具有植根於對抽樣機制的某種理解的客觀理由。然而，除了樣本數據之外，很少有任何與參數有關的可用信息。這產生了貝葉斯統計中的三種廣泛範式，它們對應於確定先驗分佈的不同方式。
**主觀貝葉斯範式：**該範式與弱主觀主義一致，並進一步認為任何一組概率信念都同樣有效。只要主體對新數據使用貝葉斯更新，使用任何先驗都是合法的。在這種範式下，先驗不需要任何客觀的理由。在這個範例中，重點是披露先前使用的數據，然後顯示它如何使用新數據進行更新。在這種方法中，通常包括在一系列先驗信念下顯示後驗信念的敏感性分析。
**客觀貝葉斯範式：**這種範式也同意弱主觀主義，但更喜歡額外限制先前的信念（在包含任何數據之前），以便它們客觀地對參數“無信息”。在這個範例中，先驗應該準確地反映在數據之外缺乏與參數有關的可用信息。這通常需要採用一些關於如何設置先驗的理論（例如，Jeffrey’s、Jaynes、Bernardo 參考先驗等）。這種範式認為，如果一組概率信念是基於客觀的先驗信念，那麼它是首選的。對感興趣的問題中的參數進行確定且不提供信息。它同意任何一組概率信念都與貝葉斯分析的合理性標準一致，但認為基於“壞”先驗（關於未知參數的信息太豐富）的信念比基於“好”先驗的信念更差。在這個範式中，先驗是從一些信息不足的類中選擇的，然後用新數據進行更新以產生對該問題的客觀答案。
**專家先驗貝葉斯範式：**這種方法通常被視為主觀範式的一部分，通常不會單獨識別，但我認為它是一個單獨的範式，因為它具有每種觀點的元素。該範式與弱主觀主義一致，但與客觀貝葉斯範式一樣，它並不認為所有先驗都同樣有效。該範式將當前的“先驗”視為先前生活經歷的後驗，因此將主題專家的先驗信念視為優於非專家的先驗信念。它還認識到，這些信念可能是基於尚未系統記錄的數據，而不是基於概率論的系統使用，因此不可能將這些現有的專家先驗分解為原始的非信息性先驗和數據這位專家觀察到的。（事實上，在沒有系統使用概率論的情況下，目前的專家“先驗”可能甚至與貝葉斯更新不一致。）在這種範式中，專家目前的“主觀”意見被視為對主題知識的有價值的封裝，它被視為原始先驗。在這種範式中，分析師試圖通過先驗信念的一些測試來引出專家先驗，然後將先驗公式化為最適合該專家信念（注意確保專家信念沒有被當前知識污染）數據）。因此，專家的“主觀”信念被視為來自先前數據的主題知識的“客觀”封裝。) 在這種範式中，專家當前的“主觀”意見被視為對主題知識的有價值的封裝，被視為原始先驗。在這種範式中，分析師試圖通過先驗信念的一些測試來引出專家先驗，然後將先驗公式化為最適合該專家信念（注意確保專家信念沒有被當前知識污染）數據）。因此，專家的“主觀”信念被視為來自先前數據的主題知識的“客觀”封裝。) 在這種範式中，專家當前的“主觀”意見被視為對主題知識的有價值的封裝，被視為原始先驗。在這種範式中，分析師試圖通過先驗信念的一些測試來引出專家先驗，然後將先驗公式化為最適合該專家信念（注意確保專家信念沒有被當前知識污染）數據）。因此，專家的“主觀”信念被視為來自先前數據的主題知識的“客觀”封裝。然後將先驗公式化為最適合該專家信念（注意確保專家信念沒有被當前數據的知識污染）。因此，專家的“主觀”信念被視為來自先前數據的主題知識的“客觀”封裝。然後將先驗公式化為最適合該專家信念（注意確保專家信念沒有被當前數據的知識污染）。因此，專家的“主觀”信念被視為來自先前數據的主題知識的“客觀”封裝。
**方法上的差異：就方法而言，客觀貝葉斯範式與主觀範式的不同之處在於前者限制了可允許的先驗（可以是唯一的先驗，也可以是極少數類似的先驗），而後者不限制可允許的先驗。先驗。在客觀貝葉斯方法中，先驗受到表示“非信息性”先驗的理論的約束。專家先驗範式採用不同的方法，而是識別一個或多個專家，並引出他們的先驗信念。
一旦我們理解了貝葉斯統計中不同範式的這些不同含義，我們就可以列出一些廣泛一致的領域，以及存在分歧的領域。實際上，儘管方法上存在差異，但對基本理論的一致意見比通常所理解的要多。
**關於弱主觀主義的廣泛共識：**貝葉斯統計中有大量文獻表明概率的“公理”可以從與理性決策相關的初步需求中推導出來。這包括與動態信念一致性有關的論點（例如，參見Epstein 和 Le Breton 1993）、訴諸荷蘭書定理的論點（例如，參見Lehmann 1955和Hajek 2009）。所有這些範式的貝葉斯主義者普遍同意概率應該被認知地解釋為指代一個主體的信念，受到概率公理中固有的合理性約束的約束。我們同意人們應該使用概率規則來約束自己對不確定性的信念是理性的。這意味著關於不確定性的信念需要在面對新數據時進行貝葉斯更新，但它不會施加任何進一步的約束（即，沒有更多約束，它並沒有說任何先驗優於任何其他先驗）。以上三個範式都同意這一點。
**人們一致認為，後驗傾向於與更多數據收斂：**貝葉斯統計中有許多一致性定理表明，如果你有兩個人具有相同的似然函數，但先驗不同，那麼他們的後驗信念會隨著你獲得更多數據而收斂和更多數據。 $ ^{\dagger \dagger} $ 這意味著對於大量數據，先驗並不重要。這些是不可否認的概率定理，以上三個範式都同意這一點。出於這個原因，人們普遍認為，對於大量數據，這三種範式中的任何一種都可能給出相似的結果。因此，當我們只有少量數據時，範式的差異是最重要的。
廣泛同意，*如果您想使用它們，則可以使用大致*“客觀”的先驗規則：**貝葉斯統計中有大量文獻展示瞭如何開發“非信息性”先驗，這些先驗大致由抽樣問題確定，並粗略地概括了對所討論參數缺乏太多了解的情況。我說“大致”是因為這裡有幾個相互競爭的理論有時對應但有時略有不同（例如，Jeffrey’s、Jaynes、參考先驗、不精確先驗的 Walley 類等），並且還可能出現一些棘手的悖論。這裡最困難的問題是，對於可以進行非線性變換的連續參數，很難做出“無信息”先驗（因為“無信息”在理想情況下應該對變換保持不變）。同樣，這些是概率定理，所有範式都同意它們的內容。客觀貝葉斯主義者傾向於認為該理論足夠好，可以提供更好的先驗，而主觀貝葉斯主義者和專家先驗貝葉斯主義者傾向於認為該理論不足以確定這些先驗的優越性。換句話說，人們普遍認為這些客觀規則存在並且可以使用，但對於它們的好壞存在分歧。
**對於單一答案的重要性存在分歧：**客觀貝葉斯主義者的動機是，具有固定數據和固定似然函數的統計問題應該導致唯一確定的後驗信念（或至少少量允許的後驗信念）變化很小）。這種偏好通常是更廣泛偏好的一部分，即當應用於固定的客觀條件集時，科學程序會產生獨特的答案。相反，主觀貝葉斯主義者和專家先驗貝葉斯主義者都認為這並不是特別重要，而且他們普遍認為，這種對唯一確定的後驗的關注實際上是一種誤導。
**人們普遍認為公眾並不熟悉貝葉斯後驗：**所有範式都同意公眾並不熟悉貝葉斯分析如何從先驗過渡到後驗的基本機制。客觀貝葉斯主義者有時擔心為後驗給出多個允許的答案會使人們感到困惑。主觀貝葉斯主義者擔心，不能給出一個以上的後驗答案會誤導人們。
$ ^\dagger $ 值得注意的是，這裡對“主觀主義”的混淆源於認識論中“主觀主義”和“內在主義”之間普遍錯誤的二分法的一個特定實例（例如，參見Piekoff）。在嘗試解釋概率時，許多用戶犯了一個錯誤，即認為任何對概率的偶然理論的拒絕都必然導致在此處指定的更強意義上的“主觀”解釋。要正確理解概率解釋，最好理解主觀主義-內在主義二分法的一般問題，並因此認識到存在客觀的認知解釋。
$ ^{\dagger \dagger} $ 該結果需要一些廣泛的規律性條件（例如，兩個受試者都有先驗支持，包括真實參數值），但它的應用非常廣泛。