Sampler、MonteCarlo、Metropolis-Hasting 方法、MCMC 方法和 Fisher 形式的區別
**1）我對我們所說的“採樣器”**感到困惑。據我了解，採樣器允許生成遵循已知 PDF（概率分佈函數）的點分佈，不是嗎？
**2)**另一方面，它退出蒙特卡洛方法，該方法允許例如通過生成隨機值 (x_i,y_i) 來計算數字 Pi，並查看 x_i^2+y_i^2 < R^2。接受點與生成的總點之間的比率將估計 Pi。
**3)**此外，我以前曾以這種簡單的形式使用過 Metropolis-Hasting，即生成具有已知 PDF 的點分佈。但我也看到我們可以用它來估計模型的參數：在哪個級別我們可以將“採樣器”Metroplis-Hasting 與“參數估計”方法區分開來。
**4）**例如，還有一種在核物理學中非常常用的驗收方法（也稱為馮諾依曼方法），它還從已知的 PDF 生成分佈：它也可以被稱為“採樣器”嗎？
**5）**最後，馬爾可夫鏈與蒙特卡洛耦合（MCMC）是一種在給定數據的情況下估計模型參數的純方法：蒙特卡洛和馬爾可夫鏈在該方法中各自的作用是什麼。
總而言之，我向您展示了我所面臨的問題：它是關於天體物理學中的預測。在這篇文章中，我談論的是物理學中的“逆問題”，即我們不會從一個非常準確的理論模型中預測數據，但我想根據我從實驗或從實驗中獲得的數據來估計我的理論模型的參數模擬數據（我們稱之為假數據）。貝葉斯定理的使用在這種方法中非常實用，因為我們在後驗（給定數據的參數概率）和似然性（給定參數模型的數據值處取得的 PDF 乘積）之間存在比例關係。
6） Fisher 形式主義對於估計與基準值相比的標準偏差非常有用，但我們需要知道這些基準值之前和第二點，我們必須假設後驗分佈始終是高斯分佈，不是嗎？（或者那個可能性是高斯的，我不記得了……如果有人能指出這個假設）。
正如你所看到的，我需要整合很多概念，我想將這些混亂轉化為有序的東西。
最重要的是：我想區分“採樣器”和估計器方法。之後，歡迎任何評論來澄清我的困惑。
歡迎任何幫助，對於那些覺得所有這些問題很無聊的人感到抱歉。我想我要開始賞金來澄清所有這些觀點。
1.
採樣器（或採樣算法）是旨在從目標分佈中生成抽取的任何程序 $ \pi(\cdot) $ .
2.
你的理解對我來說似乎是正確的。蒙特卡洛基本上利用了大數定律。假設 $ X $ 是根據分佈分佈的 $ \pi(x) $ 和 $ \theta $ 是一個標量 $ \theta = E(g(X)) $ 你想估計的。
$$ \begin{align*} \theta &= E(g(X)) \[1.2ex] &= \int g(x)\pi(x) dx \[1.2ex] &\approx \frac{1}{M}\sum_{i=1}^Mg(x_i) && \text{(the MC estimator)} \end{align*} $$ 在哪裡 $ x_1, x_2, \cdots x_M $ 從目標分佈中獨立抽取 $ \pi(x) $ . 請注意，Monte Carlo 是一種估計過程，始終要求目標分佈的採樣器已經存在。
3.
這似乎是您的困惑的根源。Metropolis-Hastings 算法（這是一種 MCMC 方法）是“只是一個採樣器”，通常用於貝葉斯統計中的參數推斷。常見的用例可能會讓您感到困惑，因此請關注事實
- MH 算法用於從目標分佈中採樣 $ \pi(x) $ , $ x \in \mathbb R^d $ .
- 與您提到的大多數其他“採樣器”不同，MH 算法不會從目標分佈中生成*獨立的繪圖。*無論如何，隨著樣本數量的增加，每次抽取（理論上）根據 $ \pi(x) $ . 這使我們能夠估計 $ \theta $ 以與上述相同的方式（即問題2）。
由於它的很多優點（目標密度不需要“歸一化”，容易選擇一個快速的“提議分佈”，在高維度上效果很好），MH算法常用於從後驗分佈中採樣 $ \pi(\theta|x) $ . 然後，這些來自後驗的樣本可用於推理，例如參數估計。然而，MH 算法本身是指採樣器。
4.
是的，接受拒絕算法是一個採樣器。
5.
希望這在對問題 3 的回答中得到了大部分回答。當使用 MCMC 算法從分佈（通常是後驗）中採樣時，每個“樣本”都取決於它之前的樣本。即生成的樣本不是獨立的，而是可以看作一個馬爾可夫鏈。儘管如此，假設 MCMC 採樣器已經“收斂”，這些繪圖可以以通常的蒙特卡洛方式使用。