貝葉斯統計如何處理先驗缺失？
這個問題的靈感來自我最近的兩次互動，一次在CV中，另一次在Economics.se 中。
在那裡，我發布了著名的“信封悖論”的答案（請注意，不是作為*“*正確答案”，而是作為對情況結構的特定假設得出的答案）。一段時間後，一位用戶發表了批評性評論，我進行了對話以試圖理解他的觀點。很明顯，他在用貝葉斯的方式思考，並且一直在談論先驗——然後我恍然大悟，我對自己說：“等一下，*誰說過任何先驗？*按照我制定的方式問題，這裡沒有先驗，他們只是不進入圖片，也不需要”。
最近在CV裡看到了這個回答，關於Statistical Independence的含義。我向作者評論說他的句子
“……如果事件在統計上是獨立的，那麼（根據定義）我們無法通過觀察另一個來了解其中一個。”
是公然錯誤的。在一次評論交流中，他不斷回到（他的話）的問題上
“‘學習’難道不是意味著根據對另一件事的觀察來改變我們對一件事的看法嗎？如果是這樣，獨立性（明確地）不排除這一點嗎？
再一次，很明顯他在思考貝葉斯的方式，他認為我們從一些信念開始（即先驗）是不言而喻的，然後問題是我們如何改變/更新它們。但是第一至上的信念是如何產生的呢？**
由於科學必須符合現實，我注意到存在的情況是所涉及的人類沒有先驗（我，一方面，一直走進沒有任何先驗的情況 - 請不要爭辯說我確實有先驗，但我只是沒有意識到，讓我們在這裡避免虛假的精神分析）。
由於我碰巧聽說過“無信息先驗”一詞，因此我將我的問題分為兩部分，並且我很確定這裡精通貝葉斯理論的用戶確切地知道我要問什麼：
Q1：沒有先驗（在嚴格的理論意義上）是否等同於沒有信息的先驗？
如果 Q1 的答案是“是”（請詳細說明），那麼這意味著貝葉斯方法從一開始就普遍適用，因為在任何情況下，所涉及的人都聲明“我沒有先驗”，我們可以補充它的先驗位置對於手頭的案例沒有信息。
但如果 Q1 的答案是“否”，那麼Q2就會出現：
Q2：如果Q1的答案是“否”，這是否意味著，在沒有先驗的情況下，貝葉斯方法從一開始就不適用，我們必須首先通過某種非貝葉斯的方式形成先驗，以便我們隨後可以應用貝葉斯方法？
Q1：沒有先驗（在嚴格的理論意義上）是否等同於沒有信息的先驗？
不。
首先，“無信息先驗”沒有數學定義。這個詞僅用於非正式地描述一些先驗。
例如，杰弗裡的先驗通常被稱為“無信息”。這個先驗概括了平移不變問題的統一先驗。Jeffrey 的先驗以某種方式適應模型的（信息論）黎曼幾何，因此與參數化無關，僅取決於模型的流形（分佈空間中）的幾何。它可能被認為是規範的，但這只是一種選擇。它只是根據黎曼結構的均勻先驗。將“無信息=統一”定義為問題的簡化並不荒謬。這適用於許多情況，有助於提出一個清晰而簡單的問題。
在沒有先驗的情況下進行貝葉斯推理就像“我怎麼能猜到沒有任何關於分佈的假設只知道有值?” 這個問題顯然沒有意義。如果你回答 0.5，你可能心裡有一個分佈。
貝葉斯和常客方法只是回答不同的問題。例如，關於可能是最簡單的估計器：
- 常客（例如）：“我如何估計這樣我的答案有最小的錯誤（只平均超過）在最壞的情況下（超過)?”。這導致極小極大估計量。
- 貝葉斯：“我如何估計這樣我的答案平均誤差最小（超過) ?”。這導致貝葉斯估計量。但問題是不完整的，必須指定“在什麼意義上的平均？”。因此，只有當問題包含先驗時，問題才是完整的。
不知何故，常客的目標是最壞情況控制，不需要先驗。貝葉斯的目標是平均控制，並且需要先於說“平均在什麼意義上？”。
Q2：如果Q1的答案是“否”，這是否意味著，在沒有先驗的情況下，貝葉斯方法從一開始就不適用，我們必須首先通過某種非貝葉斯的方式形成先驗，以便我們隨後可以應用貝葉斯方法？
是的。
但要注意規範的先驗構造。這在數學上聽起來可能很吸引人，但從貝葉斯的角度來看並不是自動現實的。有可能一個數學上很好的先驗實際上對應於一個愚蠢的信念系統。例如，如果你學習, 杰弗里之前是統一的，如果大約是人們的平均大小，這可能不是一個非常現實的系統。然而，只有很少的觀察，這個問題實際上很快就消失了。選擇不是很重要。
在我看來，先前規範的真正問題發生在更複雜的問題中。這裡重要的是了解某個先驗所說的內容。