推導 K-means 算法作為高斯混合期望最大化的極限
Christopher Bishop定義了完整數據對數似然函數的期望值（即假設給定可觀察數據 X 和潛在數據 Z）如下：
$$ \mathbb{E}\textbf{Z}[\ln p(\textbf{X},\textbf{Z} \mid \boldsymbol{\mu}, \boldsymbol{\Sigma}, \boldsymbol{\pi})] = \sum{n=1}^N \sum_{k=1}^K \gamma(z_{nk}){\ln \pi_k + \ln \mathcal{N}(\textbf{x}_n \mid \ \boldsymbol{\mu}_k, \boldsymbol{\Sigma}_k)} \tag 1 $$
在哪裡 $ \gamma(z_{nk}) $ 定義為：
$$ \frac{\pi_k \mathcal{N}(\textbf{x}_n \mid \ \boldsymbol{\mu}_k, \boldsymbol{\Sigma}k)}{\sum{j=1}^K \pi_j \mathcal{N}(\textbf{x}_n \mid \ \boldsymbol{\mu}_j, \boldsymbol{\Sigma}_j)} \tag 2 $$
如上所述，這個想法是考慮一個高斯混合模型，其中混合分量的協方差矩陣由下式給出 $ \epsilon \textbf{I} $ ， 在哪裡 $ \epsilon $ 是所有組件共享的方差參數，例如：
$$ p(\textbf x \mid \boldsymbol \mu_k, \boldsymbol \Sigma_k) = \frac{1}{(2 \pi \epsilon)^\frac{M}{2}} \exp\big{{-\frac{1}{2 \epsilon} |\textbf x - \boldsymbol \mu_k|^2}\big} \tag 3 $$
所以， $ \gamma(z_{nk}) $ 現在定義為：
$$ \frac{\pi_k \exp{ - | \textbf x_n - \boldsymbol \mu_k|^2 / 2 \epsilon}}{\sum_{j=1}^K \pi_j \exp{ - | \textbf x_n - \boldsymbol \mu_j|^2 / 2 \epsilon}} \tag 4 $$
現在的論據如下：
如果我們考慮極限 $ \epsilon \to 0 $ ，我們看到在分母中 $ | \textbf x_n - \boldsymbol \mu_j|^2 $ 最小，將最慢地歸零，因此責任 $ \gamma(z_{nk}) $ 對於數據點 $ \textbf x_n $ 全部歸零，除了第 j 項，其責任 $ \gamma(z_{nk}) $ 會去團結。因此，在這個限制中，我們獲得了將數據點硬分配給集群，就像在 $ K $ -表示算法，因此 $ \gamma(z_{nk}) \to r_{nk} $
在哪裡 $ r_{nk} $ 定義為：
$$ \begin{equation*} f(n) = \begin{cases} 1 & \text{if } k = \text{arg } \text{min}_j |\textbf x_n - \boldsymbol \mu_j|^2\ 0 & \text{otherwise}\ \tag 5 \end{cases} \end{equation*} $$
我的問題是上述論點如何成立？也就是說，一個項歸零是什麼意思 $ \textbf{most slowly} $ ? 以及如何採取限制 $ \epsilon \to 0 $ 在等式 $ 4 $ 導致二元責任？
讓我們寫
然後
如果我們採取 我們有
在哪裡除了在哪裡. 所以，對於所有人,
因此,
儘管