Bayesian

拉普拉斯平滑和狄利克雷先驗

  • January 24, 2014

在拉普拉斯平滑(或加法平滑)的維基百科文章中,據說從貝葉斯的角度來看,

這對應於後驗分佈的期望值,使用帶有參數的對稱 Dirichlet 分佈作為先決條件。

我很困惑這到底是怎麼回事。有人可以幫我理解這兩件事是如何等價的嗎?

謝謝!

當然。這本質上是 Dirichlet 分佈是多項分佈的共軛先驗的觀察結果。這意味著它們具有相同的功能形式。文章中提到了它,但我只想強調這是從多項抽樣模型中得出的。所以,開始吧……

觀察是關於後驗的,所以我們介紹一些數據,,這是計數不同的項目。我們觀察樣本總數。我們假設來自未知分佈(我們將在其上放置一個之前在-單純形)。

的後驗概率給定和數據是

可能性,, 是多項分佈。現在讓我們寫出pdf:

在哪裡. 相乘,我們發現,

換句話說,後驗也是狄利克雷。問題是關於後驗平均值。由於後驗是狄利克雷,我們可以應用狄利克雷均值的公式來找到,

希望這可以幫助!

引用自:https://stats.stackexchange.com/questions/83203

comments powered by Disqus