Gaussian-Mixture-Distribution
高斯混合模型中的奇點問題
在模式識別和機器學習一書的第9章中，有關於高斯混合模型的部分：
老實說，我真的不明白為什麼這會產生奇點。誰能給我解釋一下？對不起，我只是一名本科生和機器學習的新手，所以我的問題可能聽起來有點傻，但請幫助我。非常感謝你
如果我們想使用最大似然將高斯擬合到單個數據點，我們將得到一個“塌陷”到該點的非常尖銳的高斯。當只有一點時，方差為零，在多元高斯情況下，這會導致奇異的協方差矩陣，因此稱為奇異性問題。
當方差變為零時，高斯分量（公式 9.15）的可能性變為無窮大，模型變得過擬合。當我們僅將一個高斯擬合到多個點時，不會發生這種情況，因為方差不能為零。但是當我們混合高斯時，就會發生這種情況，如 PRML 的同一頁所示。
更新：
這本書提出了兩種解決奇點問題的方法，它們是
出現奇點時重置均值和方差
通過添加先驗來使用 MAP 而不是 MLE。
