GMM分類和QDA的區別

我知道每個類都有相同的協方差矩陣在線性判別分析 (LDA) 和二次判別分析 (QDA) 中，它們是不同的。當在監督分類中使用高斯混合模型 (GMM) 時，我們將具有自己的均值和方差的高斯擬合到數據中的每個類別。那麼QDA和GMM有什麼區別呢？

我對 GMM 的理解是錯誤的嗎？也許我應該為每個類擬合一個以上的高斯，以便對其中的子組進行建模。但我不確定這是否屬實。

如果給你分類標籤 $ c $ 並擬合生成模型 $ p(x, c) = p(c) p(x|c) $ ，並使用條件分佈 $ p(c|x) $ 對於分類，是的，您實際上是在執行 QDA（決策邊界將是二次的 $ x $ ）。在這個生成模型下，數據的邊緣分佈 $ x $ 正是 GMM 密度（假設你有 $ K $ 類）：

$$ p(x) = \sum_{k \in {1,…,K}} p(c=k) p(x|c=k) = \sum_{k=1}^K \pi_k \mathcal{N}({x};{\mu}_k, {\Sigma}_k) $$

“高斯混合”通常是指上面的邊緣分佈，它是一個分佈在 $ x $ 單獨，因為我們通常無法訪問類標籤 $ c $ .

引用自：https://stats.stackexchange.com/questions/199275