可以使用 WAIC 來比較具有不同可能性的貝葉斯線性回歸模型嗎？
我想使用 WAIC 來幫助選擇模型，其中模型是具有貝葉斯推理、非平坦先驗和 MCMC 估計的簡單線性回歸。
我目前正在考慮兩個這樣的線性模型，它們都具有相同的因變量和回歸係數的（正態）先驗，但一個具有正態似然性，另一個具有 Student-T 似然性（即穩健回歸）。我很欣賞諸如 WAIC 之類的信息標準並不是模型選擇過程的全部，但我打算將 WAIC 用作此分析的一部分。
然而，當我翻到 Richard McElreath 的“Statistical Rethinking”第 9 章時，他說，
“……使用信息標準來比較具有不同似然函數的模型是很誘人的……不幸的是，WAIC（或任何其他信息標準）無法對其進行分類。**問題是偏差是正常化常數的一部分。**該常數會影響偏差的絕對幅度，但不會影響對數據的擬合。由於信息標準都基於偏差，它們的大小也取決於這些常數。這很好，只要您比較的所有模型都使用相同的結果分佈類型……在這種情況下，當您比較模型時，常數會減去它們的差異。但是，如果兩個模型具有不同的結果分佈，則不會減去常數，您可能會被 AIC/DIC/WAIC 的差異所誤導”
我的問題是，我無法從同一本書中給出的偏差定義中看到或得出這個結果（這些常數），
其中我索引每個觀察和只是情況 i 的可能性。
現在，我意識到偏差旨在近似於兩個分佈之間的 Kullback-Leibler (KL) 散度中的交叉熵項 - 例如，p 表示數據的“真實”分佈，q 表示我所隱含的分佈模型，
其中交叉熵和偏差表示通過使用分佈 q 來描述分佈 p 來測量引入的附加熵（或丟失的信息）的嘗試。
我可以看到我們無法知道，這是所有被比較模型的常數，但是當對某些估計值進行相對比較時，這個常數項會消失- 即在對偏差進行相對比較時。即使我們使用不同的可能性比較模型，我也希望這是正確的，因為 p 是數據的“真實”分佈，並且與模型的可能性沒有任何關係 - 這是正確的嗎？
所以，總而言之，我可以使用 WAIC 來比較具有不同似然函數的模型，如果不能，為什麼不呢？
對於您的具體情況，我會指出學生的 t 包括正態分佈作為限制情況（df -> inf）。因此，這兩者是嵌套的，並沒有真正不同的可能性。正因為如此，我真的認為不需要模型選擇——你可以只擬合學生的 t 並將 df 值解釋為接近正態性。如果您非常擔心過度擬合，請在 df 參數上添加正則化（超）先驗。請注意，重新參數化學生 t 中的 df 參數可能很有用，請參見例如Augustynczik 等人。(2017) 森林生態與管理, 401, 192-206 .
一般來說：是的，您可以將不同的可能性與 AIC 或 WAIC 等 IC 進行比較，但有例外。這些例外可能是引用段落的基本思想，但我承認該文本足夠模糊以造成混淆。
通常，不同的可能性是可比較的（注意，順便說一句，在文本中使用偏差有點令人困惑，因為偏差通常被定義為與飽和模型的差異，但這裡僅表示 log L）。但是，也有一些例外。一些常見的情況是
- 數據點數的變化
- 更改響應變量的比例（例如對 y 進行對數轉換），請參見此處
- 改變概率分佈的協域，例如比較連續分佈和離散分佈
我認為 1 是微不足道的（並且很容易糾正）。對於 2,3，認為 p(D|M, parameters) 是 D 的 pdf，因此更改比例或共域將更改積分，從而更改歸一化密度。另請參閱有關 CV 的相關問題，例如此處。另一個問題可能是您使用的統計軟件沒有使用正確歸一化的似然值（通常歸一化並不重要，因此程序員可能會想放棄它），但我認為這並不常見。