用給定的 MLE 模擬隨機樣本
這個 Cross Validated question 詢問有關以固定總和為條件模擬樣本的問題，這讓我想起了George Casella給我提出的一個問題。
給定一個參數模型，以及來自該模型的 iid 樣本， , 的 MLE是（誰）給的
對於給定的值，是否有一種通用的方法來模擬 iid 樣本取決於 MLE 的值?
例如，採取一個分佈，帶有位置參數, 密度是
如果我們如何模擬有條件的? 在這個例如，分佈沒有封閉式表達式。
一種選擇是使用受約束的 HMC 變體，如Brubaker 等人 (1)的*A Family of MCMC Methods on Implicitly Defined Manifolds中所述。*這就要求我們可以表達位置參數的最大似然估計等於某個固定的條件作為一些隱含定義的（和可微的）完整約束. 然後，我們可以模擬受此約束的約束哈密頓動態，並在 Metropolis-Hastings 步驟中接受/拒絕，就像在標準 HMC 中一樣。
負對數似然是
它具有關於位置參數的一階和二階偏導數
最大似然估計然後隱含地定義為
我不確定是否有任何結果表明會有一個獨特的 MLE給定的- 密度不是對數凹的所以保證這一點似乎並不容易。如果有一個唯一的解決方案，上面隱式定義了一個連接的嵌入的維度流形對應的集合與 MLE 為等於. 如果有多個解，則流形可能由多個非連通分量組成，其中一些分量可能對應於似然函數中的最小值。在這種情況下，我們需要有一些額外的機制來在非連接組件之間移動（因為模擬的動態通常會限制在單個組件中）並檢查二階條件並拒絕移動，如果它對應於移動到可能性的最小值。
如果我們使用表示向量並引入共軛動量狀態有質量矩陣和一個拉格朗日乘數對於標量約束然後是 ODE 系統的解
給定初始條件和和, 定義了一個約束哈密頓動力學，它仍然局限於約束流形，是時間可逆的，並且完全守恆哈密頓量和流形體積元素。如果我們對受約束的哈密頓系統（例如 SHAKE (2) 或 RATTLE (3)）使用辛積分器，通過求解拉格朗日乘數在每個時間步精確地保持約束，我們可以模擬精確的動態正向離散時間步長從一些滿足的初始約束並接受提議的新狀態對有概率
如果我們將這些動態更新與從其高斯邊緣的動量部分/全部重採樣（限制在由定義的線性子空間) 然後對存在多個非連接約束流形組件的可能性取模，整體 MCMC 動態應該是遍歷的，並且配置狀態樣本將覆蓋分佈到受限於約束流形的目標密度。 為了查看受約束的 HMC 在此案例中的執行情況，我運行了 (4) 中描述的基於測地線積分器的受約束 HMC 實現，可在此處的 Github 上獲得（完整披露：我是 (4) 的作者和 Github 存儲庫的所有者），其中使用（5）中提出的“geodesic-BAOAB”積分器方案的變體，沒有隨機 Ornstein-Uhlenbeck 步驟。根據我的經驗，這種測地線積分方案通常比 (1) 中使用的 RATTLE 方案更容易調整，因為在約束流形上使用多個較小的內部步驟進行測地線運動具有額外的靈活性。可在此處獲得生成結果的 IPython 筆記本。
我用了,和. 一個初始對應於一個 MLE由牛頓法找到（檢查二階導數以確保找到似然的最大值）。我運行了一個受約束的動態,與 1000 次更新的完整動量刷新交錯。下圖顯示了三個結果的軌跡組件
和負對數似然的一階和二階導數的對應值如下所示
從中可以看出，對於所有採樣，我們都處於最大的對數似然. 雖然從各個軌跡圖中並不容易看出，但採樣的位於嵌入的二維非線性流形上- 下面的動畫以 3D 形式顯示樣本
根據對約束的解釋，可能還需要通過一些雅可比因子來調整目標密度，如 (4) 中所述。特別是如果我們希望結果與使用類似 ABC 的方法通過提出不受約束的移動來近似保持約束的限制並接受如果，那麼我們需要將目標密度乘以. 在上面的示例中，我沒有包含此調整，因此樣本來自限制在約束流形中的原始目標密度。
參考
- MA Brubaker、M. Salzmann 和 R. Urtasun。隱式定義流形上的一系列 MCMC 方法。在第 15 屆人工智能與統計國際會議論文集上，2012 年
。http://www.cs.toronto.edu/~mbrubake/projects/AISTATS12.pdf 2. J.P。Ryckaert、G. Ciccotti 和 HJ Berendsen。具有約束的系統的笛卡爾運動方程的數值積分：正構烷烴的分子動力學。計算物理學雜誌，1977 年。http
://citeseerx.ist.psu.edu/viewdoc/summary ?doi=10.1.1.399.6868 3. HC安徒生。RATTLE：用於分子動力學計算的 SHAKE 算法的“速度”版本。計算物理學雜誌，1983 年
。http://www.sciencedirect.com/science/article/pii/0021999183900141 4. MM 格雷厄姆和 AJ 斯託基。無似然模型中的漸近精確推斷。arXiv 預印本 arXiv:1605.07826v3，2016。https : //arxiv.org/abs/1605.07826 5. B. Leimkuhler 和 C. Matthews。使用測地線積分和溶劑-溶質分裂的有效分子動力學。過程。R. Soc。A.卷。472. No. 2189. 英國皇家學會，2016.
http://rspa.royalsocietypublishing.org/content/472/2189/20160138.abstract
