貝葉斯統計中的酒/水悖論是什麼，它的解決方法是什麼？
我剛剛聽說過貝葉斯統計中的酒/水悖論，但不是很了解（參見Mikkelson 2004的介紹）。你能簡單地解釋一下什麼是悖論（以及為什麼它是一個悖論），為什麼它對貝葉斯統計很重要，以及它的解決方案嗎？
悖論是什麼
有酒和水的混合物。讓 $ x $ 是酒的量除以水的量。假設我們知道 $ x $ 在。。。之間 $ 1/3 $ 和 $ 3 $ 但沒有別的了 $ x $ . 我們希望概率 $ x \le 2 $ .
如果沒有樣本空間或概率模型，我們就無法計算概率。所以我們必須決定如何對問題建模。
無差異原則指出，如果我們沒有理由偏愛一種結果而不是另一種結果，那麼我們應該為它們分配相同的概率。這意味著我們應該說每個可能的值 $ x $ 同樣可能。因此，概率 $ x \le 2 $ 是 $ (2 - 1/3)/(3 -1/3) = 5/8 $ .
（如果您對連續概率不滿意，我們可以做另一個版本，其中 $ x $ 只能取值 $ 1/3, 2/3, 1, 4/3, 5/3, 2, 7/3, 8/3, 3 $ . 那麼概率是 $ 6/9 $ . 這個版本會導致同樣的悖論。）
沒關係，答案是 $ 5/8 $ . 但是現在，如果我們決定使用相同的模型，但水除以酒的比例，會發生什麼？調用這個 $ y $ . 然後 $ y = 1/x $ . 現在，如果我們假設所有的值 $ y $ 等可能，我們希望概率 $ y \ge 1/2 $ . 但這是 $ (3 - 1/2)/(3-1/3) = 15/16 $ ， （或者 $ 8/9 $ 在離散版本中。）
矛盾的是，這兩個值並不相等。那麼，我們應該如何分配概率 $ x \le 2 $ ? 應該是 $ 5/8 $ 或者 $ 15/16 $ ? 這取決於我們的模型。但是為什麼我們會偏愛一種模型而不是另一種呢？
無差異原理告訴我們選擇任一模型，但根據哪種液體稱為“水”和哪種液體稱為“酒”，它們會給出不同的答案。
為什麼它對貝葉斯統計很重要
在貝葉斯統計中，每次計算都基於為感興趣的參數選擇先驗分佈。例如，如果我們想對酒/水問題做出一些推論，我們必須決定酒和水比例的先驗分佈。通常我們想要選擇意味著“沒有先驗知識”的先驗分佈，這通常是一個統一的或平坦的先驗，它假設所有值都是同樣可能的。
但是我們剛剛看到，當我們以不同的方式看待事物時，“所有的價值觀 $ x $ 同樣可能”變成“的所有值 $ 1/x $ 不太可能”，所以似乎沒有辦法分配“沒有關於價值的信息”的先驗分佈 $ x $ ”。
這相當令人擔憂，因為我們所有的計算都將取決於我們不打算做出的假設。
悖論的解決
這個悖論（一個多世紀以來）一直被吹捧為對冷漠原則的反駁。
統計學家樂於說這個原理是無效的，這可能是真的，但是如果我們不能使用無差異原理，那麼我們實際上就不能從任何事物中隨機抽取樣本，因為即使在計算機中, 抽樣最終是基於計算同等可能結果中可能結果的數量。
那麼悖論有什麼問題呢？
這裡的關鍵是我們確實對比率有一些先驗知識 $ x $ 酒到水。也就是說，它是酒與水的比例。
換句話說，如果 $ z $ 是混合物中水的比例，那麼 $ x = z/(1-z) $ . 所以說所有的價值觀 $ x $ 等可能與說所有的值相同 $ z/(1-z) $ 同樣可能，這似乎是一件奇怪的事情。
相反，我們假設所有的值 $ z $ 同樣可能，那麼我們得到答案 $ 5/6 $ ，悖論消失了。這就是米克爾森在他的論文中所要表達的。
假設所有的值 $ z $ 同樣可能有點像說“混合物中的每個分子都可能是酒或水，我們對它是什麼分子無所謂”，這對於這種特殊情況來說似乎是一個合理的假設。
或者，我們可以將這種情況視為先驗 $ x $ 成正比 $ 1/(1+x)^2 $ . 這被稱為杰弗里斯先驗。Jeffreys 是一位物理學家，他的想法是，應該以這樣的方式選擇先驗，以便對這樣的重新參數化保持不變。
所以他會說，如果我們知道數量 $ x $ 是一個比率，很自然地選擇這個先驗而不是其他任何一個。
我並不是說我已經解決了這個悖論，或者它不重要。我們絕對應該小心我們使用的先驗以及我們隱含的假設。我只是說選擇先驗與為某事選擇統計模型或多或少相同，我們也應該小心選擇這些。
說貝葉斯主義者有點不公平：“你對先驗的選擇不可避免地會導致矛盾，但我可以選擇用正態分佈或其他方式對一些數量進行建模，這很好，因為我懶得去考慮這些問題。”
筆記
信息幾何
如果統計數據可以“無坐標”，這樣它就不會依賴於參數化，那就太好了。我相信嘗試這樣做的主題叫做信息幾何，到目前為止還沒有發現它有多大的實用價值，但你永遠不知道。
吉布斯悖論
無差異原理是統計力學的基礎，統計力學是描述氣體和事物行為的物理學分支。在統計力學中，我們假設每個可能的粒子配置都是同樣可能的；這是支撐所有計算的基本假設。這與上述有關，有兩個原因。
在酒/水問題中，統計力學會說答案是 $ 5/6 $ . 物理學家會覺得說“讓我們假設這個容器中氫與氧的每一個可能的比例都是同樣可能的”這樣的話會很奇怪。
第二個原因是統計力學中確實發生了一個涉及無差異原理的悖論。它必須通過假設粒子無法區分來解決，否則該理論無法與實際實驗一致。我不確定細節，但你可以在搜索詞“吉布斯悖論”下閱讀它。直到量子力學發展起來，不可區分性假設才在理論上得到了證明。