高斯混合模型的不同協方差類型

在這裡嘗試高斯混合模型時，我發現了這 4 種協方差。

'full' (each component has its own general covariance matrix),
'tied' (all components share the same general covariance matrix),
'diag' (each component has its own diagonal covariance matrix),
'spherical' (each component has its own single variance).

我搜索了很多以找到有關每種類型的更多詳細信息，但僅找到了非常高級的描述（例如this）。

感謝有人可以幫助我理解這些，或者至少將我引導到我可以閱讀這些內容的地方。

高斯分佈完全由其協方差矩陣及其均值（空間中的位置）決定。高斯分佈的協方差矩陣決定了其密度等高線的軸的方向和長度，所有這些都是橢圓體。

這四種類型的混合模型可以使用二維情況完全概括地說明。在混合密度的每一個等高線圖中，兩個分量位於和帶重物和分別。即使協方差矩陣相同，不同的權重也會導致輪廓集看起來略有不同，但是對於相同的矩陣，各個輪廓的整體形狀仍然相似。

單擊圖像將顯示更高分辨率的版本。

注意這些是實際混合物的圖，而不是單個組分的圖。由於組件分離良好且重量相當，因此混合物輪廓與組件輪廓非常相似（除了在可能扭曲和合併的低級別，例如“捆綁”圖的中心所示）。

• 完全意味著組件可以獨立地採用任何位置和形狀。
• 捆綁意味著它們具有相同的形狀，但形狀可以是任何東西。
• 對角線表示輪廓軸沿坐標軸定向，但否則偏心率可能會因組件而異。
• 綁定對角線是一種“綁定”情況，其中輪廓軸沿坐標軸定向。（我添加了這個，因為最初這是我誤解“對角線”的方式。）
• 球形是具有圓形輪廓的“對角線”情況（更高維度的球形，因此得名）。

這展示了從最一般的可能混合物到非常特定類型的混合物的範圍。其他（更複雜的）限制是可能的，特別是在參數數量快速增長的更高維度中。（協方差矩陣尺寸描述為獨立參數。）

引用自：https://stats.stackexchange.com/questions/326671