500 次變現後預期 500 次硬幣翻轉
我希望有人可以圍繞以下場景提供清晰度。你被問到“如果你將一枚公平的硬幣拋 1000 次，觀察到的正面和反面的預期數量是多少”。知道拋硬幣是獨立同分佈的事件，並且依靠大數定律你計算它是：
$$ N_{heads} = 500 ; N_{tails} = 500 $$
現在，讓我們觀察/實現前 500 次翻轉都是正面。我們想知道剩餘 500 次翻轉的更新預期實現次數。因為前 500 次事件已經實現並且它們不會影響底層的物理拋硬幣過程，所以我們知道剩餘 500 次拋硬幣的預期正面和反面數量為：
$$ N_{heads} = 250 ; N_{tails} = 250 $$
所以，這是我的問題/困惑：我知道每個硬幣翻轉都是獨立的，並且任何單個硬幣翻轉的概率 $ \frac{1}{2} $ 抬頭。然而，根據大數定律，我們知道（如果我們將反面視為 0 並將正面視為 1）的平均值將接近 $ 0.5 $ 隨著投擲次數的臨近 $ \infty $ . 那麼，基於此，如果我們連續觀察到 500 次正面，為什麼我們在統計上不期望在未來實現更多反面呢？我完全意識到以下想法是不正確的，但感覺我們（統計上）應該出現尾巴，並且應該提高尾巴的概率並降低頭。由於情況並非如此，因此感覺好像這與最初的期望相矛盾 $ N_{heads} = 500 $ 和 $ N_{tails} = 500 $ .
再次，我意識到這種想法是不正確的，但我希望有人能幫助我理解為什麼過去的信息（連續 500 次正面實現）沒有提供任何新的更新信息來更新剩餘翻轉的概率？很明顯，硬幣不知道它只是正面朝上 $ 500 $ 次，因此正確的思考方式是，大數定律並不意味著在接下來的 500 次翻轉中更有可能出現，而是因為 $ N \rightarrow \infty $ 我們預計 50% 的實現是正面，50% 是反面。在哪種情況下，我的推理錯誤是基於將在漸近線中適用的極限定理應用於漸近前情況？
我還覺得這必須處理單個事件（單次拋硬幣正面朝上）和一組表現出非隨機屬性的事件（1000 次拋硬幣）的集體行動之間的一些混淆。搜索後，我發現了 Kolmogorov 的一段精彩名言 $ ^1 $ ：
“然而，在現實中，概率論的認識論價值只能通過極限定理來揭示。……事實上，概率論的所有認識論價值都是基於這一點：大規模隨機現像在它們的集體作用中創造嚴格的、非隨機的規律性。如果數學概率的概念沒有在大規模重複和統一條件下的事件發生頻率中實現，那麼它本身就是徒勞的。”
我相信這句話消除了我的一些困惑，但如果有人能詳細說明為什麼不能使用實現（基於已知的統計過程）來更新後續概率，我將不勝感激！
- B. V. Gnedenko 和 A. N. Kolmogorov：獨立隨機變量總和的極限分佈。Addison-Wesley 數學系列
如果你“知道”硬幣是公平的
那麼我們仍然預計正面的長期比例傾向於 $ 0.5 $ . 這並不是說我們應該期望更多（超過 50%）的下一次翻轉是反面，而是說最初的翻轉 $ 500 $ 翻轉變得無關緊要，因為 $ n\rightarrow\infty $ . 一連串 $ 500 $ 頭可能看起來很多（實際上是這樣），但是
- 如果 $ 250 $ 下一個 $ 500 $ 翻轉是正面然後樣本比例變為 $$ \hat p = \frac{500 + 250}{1000} = 0.75. $$
- 如果 $ 250 $ 下一個 $ 500 $ 翻轉是頭部然後…… $$ \hat p = \frac{500+250+250}{1500} \approx 0.67 $$
- 如果 $ 100000 $ 下一個 $ 200000 $ 翻轉是頭部然後…… $$ \hat p = \cdots \approx 0.501. $$
這就是大數定律。
另一方面…
如果我在現實生活中拋硬幣然後看看 $ 500 $ 連續正面，我會開始嚴重懷疑硬幣是否真的公平。（有趣的旁注，很難（不可能？）在現實生活中真正偏向硬幣。唯一現實的價值 $ p $ 是 $ 0 $ , $ 0.5 $ 和 $ 1 $ ，但為了回答，我們將忽略這一點）。
為了解釋這種可能性，我們可以從一開始就使用貝葉斯程序。而不是假設 $ p=1/2 $ ，假設我們指定先驗分佈 $$ p \sim \text{Beta}(\alpha, \alpha). $$
這是一個對稱分佈，它編碼了我的先驗信念，即硬幣是公平的，即 $ E(p) = \frac{1}{2} $ . 我對這個概念的相信程度是通過選擇 $ \alpha $ ， 自從 $ Var(p) = \frac{1}{8(\alpha+0.5)} $ .
- $ \alpha = 1 $ 對應於統一的先驗 $ (0,1) $ .
- $ \alpha = 0.5 $ 是Jeffrey 的先驗- 另一個流行的非信息性選擇。
- 選擇較大的值 $ \alpha $ 更加相信這樣的信念 $ p=1/2 $ . 事實上，設置 $ \alpha = \infty $ 暗示 $ Pr(p=1/2) = 1 $ .
直接應用貝葉斯規則，後驗分佈為 $ p $ 是 $$ p|y \sim \text{Beta}(\alpha+y, \alpha+n-y) $$ 在哪裡 $ y = \text{number of heads} $ 和 $ n = \text{number of flips} $ . 例如，如果您選擇 $ \alpha = 1 $ 並觀察 $ n=y=500 $ ，後驗分佈變為 $ \text{Beta}(501, 1) $ 和 $$ E(p|y) = \frac{\alpha + y}{2\alpha + n} = \frac{501}{502} \approx 0.998 $$ 表示我應該在下一次翻轉時押正面（因為硬幣很不可能是公平的）。
這個更新過程可以在每次翻轉後應用，使用後驗分佈 $ n $ 翻轉作為翻轉的先驗 $ n+1 $ . 如果事實證明 $ 500 $ 正面只是一個（天文上）不可能的事件並且硬幣確實是公平的，後驗分佈最終將捕捉到這一點（使用與上一節類似的論點）。
**選擇的直覺 $ \alpha $ :**幫助理解角色 $ \alpha $ 在貝葉斯過程中，我們可以使用以下參數。後驗分佈的均值等價於最大似然估計 $ p $ ，如果我們用一系列 $ 2\alpha $ “假設翻轉”，其中 $ \alpha $ 這些翻轉是正面和 $ \alpha $ 這些翻轉是尾巴。選擇 $ \alpha=1 $ （正如我們上面所做的那樣）表明增強的數據是 $ 501 $ 頭和 $ 1 $ 尾巴。選擇較大的值 $ \alpha $ 表明需要更多的證據來改變我們的信念。儘管如此，對於任何有限的選擇 $ \alpha $ ，這些“假設的翻轉”最終將變得無關緊要，因為 $ n\rightarrow\infty $ .