REML 是否存在貝葉斯解釋？
REML 的貝葉斯解釋是否可用？根據我的直覺，REML 與所謂的經驗貝葉斯估計程序非常相似，我想知道是否已經證明了某種漸近等價性（例如，在某種合適的先驗類別下）。例如，經驗貝葉斯和 REML 似乎都是在面對令人討厭的參數時採用的“妥協”估計方法。
主要是，我通過這個問題尋求的是這些論點傾向於產生的高級洞察力。當然，如果由於某種原因無法對 REML 進行有用的論證，那麼解釋為什麼會這樣也將提供受歡迎的見解！
貝葉斯解釋僅存在於貝葉斯分析的框架內，用於與後驗分佈相關的估計量。因此，REML 估計量可以得到貝葉斯解釋（即，作為從後驗獲取的估計量的解釋）的唯一方法是，如果我們將 REML 分析中的受限對數似然作為對應的對數後驗貝葉斯分析；在這種情況下，REML 估計器將是來自貝葉斯理論的MAP 估計器，具有相應的貝葉斯解釋。
**將 REML 估計器設置為 MAP 估計器：**查看如何將 REML 分析中的受限對數似然設置為貝葉斯分析中的對數後驗相對簡單。為此，我們要求對數先驗是 REML 過程刪除的對數似然部分的負數。假設我們有對數似然在哪裡是殘差對數似然和是感興趣的參數（與是我們的討厭參數）。設置先於給出相應的後驗：
這給了我們：
這個結果允許我們將 REML 估計器解釋為 MAP 估計器，因此對 REML 估計器的正確貝葉斯解釋是它是在上述先驗條件下最大化後驗密度的估計器。
在說明了對 REML 估計器進行貝葉斯解釋的方法之後，我們現在註意到這種方法存在一些大問題。一個問題是先驗是使用對數似然分量形成的，這取決於數據。因此，獲得這種解釋所必需的“先驗”不是真正的先驗，在某種意義上，它是一個可以在看到數據之前形成的函數。另一個問題是先驗通常是不合適的（即，它沒有集成到一個），並且隨著參數值變得極端，它實際上可能會增加權重。（我們將在下面展示一個示例。）
基於這些問題，有人可能會爭辯說， REML 估計量沒有合理的貝葉斯解釋。或者，有人可能會爭辯說，REML 估計量仍然保持上述貝葉斯解釋，是“先驗”下的最大後驗估計量，它必須與指定形式的觀察數據巧合地對齊，並且可能非常不合適。
用正常數據說明： REML估計的經典例子是正常數據的情況您對精度感興趣的地方和平均值是一個討厭的參數。在這種情況下，您有對數似然函數：
在 REML 中，我們將此對數似然分為兩個部分：
我們通過最大化殘差似然來獲得精度參數的 REML 估計量，這給出了方差的無偏估計量：
在這種情況下，REML 估計器將對應於“先驗”密度的 MAP 估計器：
正如你所看到的，這個“先驗”實際上取決於觀察到的數據值，所以它實際上不能在看到數據之前形成。此外，我們可以看到，它顯然是一個“不適當的”先驗，它越來越重視極端值和. （實際上，這個先驗非常瘋狂。）如果通過“巧合”你要形成一個恰好對應於這個結果的先驗，那麼 REML 估計器將是該先驗下的 MAP 估計器，因此會有貝葉斯解釋為在該先驗條件下最大化後驗的估計器。