推導 K-means 算法作為高斯混合期望最大化的極限
Christopher Bishop定義了完整數據對數似然函數的期望值（即假設給定可觀察數據 X 和潛在數據 Z）如下：
$$ \mathbb{E}\textbf{Z}[\ln p(\textbf{X},\textbf{Z} \mid \boldsymbol{\mu}, \boldsymbol{\Sigma}, \boldsymbol{\pi})] = \sum{n=1}^N \sum_{k=1}^K \gamma(z_{nk}){\ln \pi_k + \ln \mathcal{N}(\textbf{x}_n \mid \ \boldsymbol{\mu}_k, \boldsymbol{\Sigma}_k)} \tag 1 $$
在哪裡 γ(znk) 定義為：
$$ \frac{\pi_k \mathcal{N}(\textbf{x}_n \mid \ \boldsymbol{\mu}_k, \boldsymbol{\Sigma}k)}{\sum{j=1}^K \pi_j \mathcal{N}(\textbf{x}_n \mid \ \boldsymbol{\mu}_j, \boldsymbol{\Sigma}_j)} \tag 2 $$
如上所述，這個想法是考慮一個高斯混合模型，其中混合分量的協方差矩陣由下式給出 ϵI ， 在哪裡 ϵ 是所有組件共享的方差參數，例如：
p(\textbf x \mid \boldsymbol \mu_k, \boldsymbol \Sigma_k) = \frac{1}{(2 \pi \epsilon)^\frac{M}{2}} \exp\big{{-\frac{1}{2 \epsilon} |\textbf x - \boldsymbol \mu_k|^2}\big} \tag 3
所以， γ(znk) 現在定義為：
πkexp−|xn−μk|2/2ϵ∑Kj=1πjexp−|xn−μj|2/2ϵ
現在的論據如下：
如果我們考慮極限 ϵ→0 ，我們看到在分母中 |xn−μj|2 最小，將最慢地歸零，因此責任 γ(znk) 對於數據點 xn 全部歸零，除了第 j 項，其責任 γ(znk) 會去團結。因此，在這個限制中，我們獲得了將數據點硬分配給集群，就像在 K -表示算法，因此 γ(znk)→rnk
在哪裡 rnk 定義為：
f(n)={1if k=arg minj|xn−μj|2 0otherwise
我的問題是上述論點如何成立？也就是說，一個項歸零是什麼意思 most slowly ? 以及如何採取限制 ϵ→0 在等式 4 導致二元責任？
讓我們寫
然後
如果我們採取 我們有
在哪裡除了在哪裡. 所以，對於所有人,
因此,
儘管