後驗何時收斂到點質量？
模型的後驗收斂到無限觀察極限中的點質量的必要條件是什麼？打破這種收斂結果的例子是什麼？
在我的腦海中，我認為錯誤指定的模型或不可識別的模型會破壞這些收斂保證，但我該如何正式化呢？
編輯：對於那些因為問題含糊而投票結束的人，請在下面評論我如何解決您的問題。
由於似然收斂導致後驗收斂
看待“收斂”的一種方法是以常客的方式，為了增加樣本量，隨著概率的增加，真實參數的後驗概率會高，而假參數的概率會低。
為此，我們可以使用貝葉斯因子
P(θ1|x)P(θ0|x)=P(x|θ1)P(x|θ0)P(θ1)P(θ0)
在哪裡 θ0 是真正的參數值和 θ1 是任何其他替代值。（在貝葉斯上下文中談論真實參數可能有點奇怪，但談論後驗收斂可能也是如此，這可能更像是後驗的常客性質）
假設似然比 P(x|θ1)/P(x|θ0) 對於所有值，將收斂到 0 的概率 θ1 不具有與真實參數值的似然函數相同的似然函數 θ0 . （我們稍後會展示）
因此，如果 P(x|θ1)/P(x|θ0) 收斂，如果 P(θ0) 是非零的，那麼你將擁有 P(θ1|x)/P(θ0|x) 收斂。這意味著 P(x|θ) 收斂到/集中在點 θ0 .
模型的後驗收斂到無限觀察極限中的點質量的必要條件是什麼？
所以你需要兩個條件：
- 兩個不同參數的似然函數一定是不同的。
- P(θ) 對於正確的非零 θ . （您可以類似地爭論密度 f(θ) 如前所述）
直觀：如果您的先驗給出零密度/概率為真 θ 那麼後驗永遠不會給真實的非零密度/概率 θ ，無論您採集多大的樣本。
似然比收斂到零
大小樣本的似然比 n 收斂到零（當 θ1 不是真正的參數）。
P(x1,x2,…,xn|θ1)P(x1,x2,…,xn|θ0)P→0
或負對數似然比
−Λθ1,n=−log(P(x1,x2,…,xn|θ1)P(x1,x2,…,xn|θ0))P→∞
我們可以通過使用大數定律來證明這一點（我們需要假設測量是獨立的）。
如果我們假設測量是獨立的，那麼我們可以查看樣本大小的對數似然 n 作為單次測量的對數似然值的總和
Λθ1,n=log(P(x1,x2,…,xn|θ1)P(x1,x2,…,xn|θ0))=log(n∏i=1P(xi|θ1)P(xi|θ0))=n∑i=1log(P(xi|θ1)P(xi|θ0))
注意負對數似然的期望值
E[−log(Px|θ1(x|θ1)Px|θ0(x|θ0))]=−∑x∈χPx|θ0(x|θ0)log(Px|θ1(x|θ1)Px|θ0(x|θ0))≥0
類似於Kullback-Leibler 散度，它是正的，如Gibbs 不等式所示，並且當等式為零時出現 P(x|θ1)=P(x|θ0) ：
所以如果這個期望是正的，那麼根據大數定律， −Λθ1,n/n 收斂到某個正常數 c
limn→∞P(|−Λθ1,nn−c|>ϵ)=0
這意味著 −Λθ1,n 會收斂到無窮大。對於任何 K>0
limn→∞P(−Λθ1,n<K)=0