貝葉斯更新——拋硬幣的例子
我有一個關於貝葉斯更新的問題。一般來說，貝葉斯更新是指從先驗信念分佈中獲取後驗的過程。
或者，人們可以將該術語理解為使用第一步的後驗作為進一步計算的先驗輸入。
下面是一個簡單的計算示例。方法a是標準計算。方法 b在計算下一個後驗之前使用後驗輸出作為輸入。
使用方法 a，我們得到 P(F|HH) = 0.2。使用方法 b，得到 P(F|HH) = 0.05。我的問題是，方法 b的有效方法有多遠？
問題：你擲硬幣兩次，得到 2 個正面。硬幣公平的概率是多少，即?
現在進行第一次折騰：
假設開始先驗信念 P(Fair) = 0.5，想要找到第一次拋擲的 P(F|H)
以下是中間步驟的計算：
（注：P(H|Biased) = 1，因為假設一個極端的例子，硬幣兩邊都是正面，正面硬幣的概率 = 1（使計算變得容易））
因此，代入（1），我們得到：
現在，我們再次拋硬幣，得到另一個 H。計算 ， 我們
a) 繼續使用 P(Fair)=0.5
因此，插入（2），
或者，如果我們計算通過使用
b) 我們在第一步中從 Pr(F|H) 得到的更新信念 P(Fair)=0.33
在這種情況下，
因此，插入（2），
使用方法 a，我們得到 P(F|HH) = 0.2。使用方法 b，得到 P(F|HH) = 0.05。我的問題是，方法 b的有效方法有多遠？
您的方法 b) 是錯誤的：單步更新，其中所有數據一起用於更新先驗並到達後驗，以及貝葉斯順序（也稱為遞歸）更新，其中數據一次使用一個要獲得成為連續迭代的先驗的後驗，必須給出完全相同的結果。這是貝葉斯統計的支柱之一：一致性。
您的錯誤很簡單：一旦您使用第一個樣本（第一個“頭部”）更新了先驗，您就只有一個剩餘樣本可以包含在您的可能性中，以便更新新的先驗。在公式中：
這個公式只是貝葉斯定理，在第一個事件“Head”已經發生之後應用：因為條件概率本身就是概率，所以貝葉斯定理也適用於以事件“Head”為條件的概率，沒有什麼要證明的了. 但是，我發現有時人們並不認為這個結果是不言而喻的，因此我給出了一個略顯冗長的證明。
由條件概率的鍊式法則。然後，將分子和分母乘以， 你得到
在最後一步中，我剛剛應用了貝葉斯定理。現在：
這很明顯：在硬幣公平（或有偏見）的條件下，我們將拋硬幣建模為 iid。將同樣的想法應用於分母，我們得到：
最後：
量子點
就是這樣：享受使用貝葉斯順序更新的樂趣，它在很多情況下都非常有用！如果想了解更多，網上有很多資源：這個挺好的。