最大後驗估計示例
我一直在閱讀最大似然估計和最大後驗估計，到目前為止，我只遇到了最大似然估計的具體例子。我發現了一些最大後驗估計的抽象示例，但還沒有具體的數字：S
僅使用抽像變量和函數可能會非常令人不知所措，並且為了不淹沒在這種抽像中，不時將事物與現實世界聯繫起來是件好事。但當然，這只是我（和其他一些人）的觀察:)
因此，誰能給我一個簡單但具體的帶有數字的最大後驗估計示例？這會有很大幫助:)
謝謝！
我最初在 MSE 上發布了這個問題，但在那裡無法得到答案：
https://math.stackexchange.com/questions/449386/example-of-maximum-a-posteriori-estimation
我已按照此處關於交叉發布的說明進行操作：
第一個例子
一個典型的案例是在自然語言處理的上下文中進行標記。有關詳細說明，請參見此處。這個想法基本上是能夠確定句子中單詞的詞彙類別（它是名詞，形容詞，……）。基本思想是您的語言模型由隱馬爾可夫模型 ( HMM ) 組成。在這個模型中，隱藏狀態對應於詞彙類別，而觀察到的狀態對應於實際單詞。
相應的圖形模型具有以下形式，
在哪裡是句子中單詞的序列，並且是標籤的序列。
訓練後，目標是找到對應於給定輸入句子的正確詞彙類別序列。這被公式化為找到最兼容/最有可能由語言模型生成的標籤序列，即
第二個例子
實際上，一個更好的例子是回歸。不僅因為它更容易理解，而且因為它使最大似然（ML）和最大後驗（MAP）之間的區別變得清晰。
基本上，問題在於擬合樣本給出的某些函數具有一組基函數的線性組合，
在哪裡是基函數，並且是權重。通常假設樣本被高斯噪聲破壞。因此，如果我們假設目標函數可以精確地寫成這樣的線性組合，那麼我們有，
所以我們有 這個問題的ML解相當於最小化，
這產生了眾所周知的最小二乘誤差解決方案。現在，ML 對噪聲敏感，並且在某些情況下不穩定。MAP 允許您通過限制權重來獲得更好的解決方案。例如，一個典型的案例是嶺回歸，你要求權重的範數盡可能小，
這相當於在權重上設置高斯先驗. 總之，估計的權重是
請注意，在 MAP 中，權重不是 ML 中的參數，而是隨機變量。儘管如此，ML 和 MAP 都是點估計器（它們返回一組最優權重，而不是最優權重的分佈）。
