理解獨立成分分析
我已經看到並喜歡這個問題Make sense of principal component analysis，現在我對獨立分量分析也有同樣的問題。我的意思是我想就理解 ICA 的直觀方式提出一個全面的問題？
我想了解它。我想知道它的目的。我想感受一下。我堅信：
除非你能向你的祖母解釋，否則你並不真正理解某事。
- 艾爾伯特愛因斯坦
好吧，我無法向外行或祖母解釋這個概念
- 為什麼選擇 ICA？這個概念的需要是什麼？
- 你會如何向外行解釋這個？
這是我的嘗試。
背景
考慮以下兩種情況。
- 你是派對上的私家偵探。突然，您看到您的一位老客戶與某人交談，您可以聽到一些話但不完全，因為您還聽到他旁邊的其他人參與了與體育無關的討論。你不想靠近 - 他會發現你。你決定拿起你伴侶的手機（他正忙著說服調酒師的無酒精啤酒很棒），把它放在你旁邊大約 10 米的地方。電話正在錄音，電話也記錄了老客戶的談話以及乾擾的運動傢伙。您也可以拿起自己的手機並從您站立的位置開始錄製。大約 15 分鐘後，您帶著兩份錄音回家：一份來自您的位置，另一份來自大約 10 米外。兩個錄音都包含你的老客戶和運動先生，
- 你拍了一張你在窗外看到的可愛的拉布拉多犬的照片。您查看圖像，不幸的是，您看到了您和狗之間的窗戶反射。你不能打開窗戶（這是其中之一，是的）你不能出去，因為你害怕他會跑掉。因此，您（出於某種不清楚的原因）從稍微不同的位置拍攝另一張圖像。您仍然可以看到倒影和狗，但它們現在處於不同的位置，因為您是從不同的地方拍攝照片。還要注意，圖像中每個像素的位置變化是一致的，因為窗口是平的，不是凹/凸的。
問題是，在這兩種情況下，如何恢復對話（在 1.中）或狗的圖像（在 2.中），給定兩個圖像包含相同的兩個“來源”但每個圖像的相對貢獻略有不同. 當然，我受過良好教育的孫子可以理解這一點！
直觀的解決方案
至少在原則上，我們如何才能從混合物中恢復狗的形象？每個像素包含的值是兩個值的總和！好吧，如果每個像素都沒有任何其他像素，我們的直覺是正確的——我們將無法猜測每個像素的確切相對貢獻。
但是，我們得到了一組像素（或在記錄的情況下為時間點），我們知道它們具有相同的關係。例如，如果在第一張圖像上，狗總是比反射强两倍，而在第二張圖像上，情況正好相反，那麼我們也許能夠得到正確的貢獻。然後，我們可以想出正確的方法來減去手頭的兩個圖像，從而完全消除反射！[在數學上，這意味著找到逆混合矩陣。]
深入細節
假設你有兩個信號的混合，$$ Y_1=a_{11}S_1+a_{12}S_2 \ Y_2 = a_{21}S_1 + a_{22} S_2 $$
假設你想取回 $ S_1 $ 作為兩種混合物的函數， $ Y_1,Y_2 $ . 我們還假設您想要一個線性組合： $ S_1=b_{11} Y_1 + b_{12} Y_2 $ . 所以，你需要做的就是找到最好的向量 $ (b_{11},b_{12}) $ 你有它。同樣對於 $ S_2 $ 和 $ (b_{21},b_{22}) $ .
但是你怎麼能找到它的一般信號呢？它們可能看起來相似，具有相似的統計數據等。所以讓我們假設它們是獨立的。如果您有乾擾信號（例如噪聲），或者如果兩個信號是圖像，那麼干擾信號可能是其他東西的反射（並且您從不同角度拍攝了兩張圖像），這是合理的。
現在，我們知道 $ Y_1 $ 和 $ Y_2 $ 是依賴的。因為我們可能無法恢復 $ S_1,S_2 $ 確切地說，將我們對這些信號的估計表示為 $ X_1,X_2 $ ， 分別。
我們怎樣才能使 $ X_1,X_2 $ 盡可能接近 $ S_1,S_2 $ ? 由於我們知道後者是獨立的，我們可能想要使 $ X_1,X_2 $ 盡可能獨立，通過調整 $ b_{ij} $ . 畢竟，如果矩陣 $ {a_{ij}} $ 是可逆的，我們可以找到一些矩陣 $ {b_{ij}} $ 反轉混合操作（如果它不可逆，我們可以接近），如果我們讓它們獨立，我們很有可能恢復我們的 $ S_i $ 信號。
如果您確信我們需要找到這樣的 $ {b_{ij}} $ 這使得 $ X_1,X_2 $ 獨立，我們現在需要問如何做到這一點。
所以首先考慮這一點：如果我們將幾個獨立的非高斯信號相加，我們會使總和比分量“更高斯”。為什麼？由於中心極限定理，您還可以考慮兩個獨立之和的密度。變量，它是密度的捲積。如果我們總結幾個獨立的。伯努利變量，經驗分佈將越來越像高斯形狀。它會是一個真正的高斯嗎？可能不是（沒有雙關語），但我們可以通過它類似於高斯分佈的量來測量信號的高斯性。例如，我們可以測量其過度峰度。如果它真的很高，它可能比具有相同方差但過度峰度接近零的高斯低。
因此，如果我們要找到混合權重，我們可能會嘗試找到 $ {b_{ij}} $ 通過制定一個優化問題，在每次迭代中，使向量 $ X_1,X_2 $ 略低於高斯。請注意，它可能在任何階段都不是真正的高斯，但我們只是想降低高斯性。希望最後，如果我們沒有陷入局部最小值，我們將得到反向混合矩陣 $ {b_{ij}} $ 並得到我們的獨立。回信號。
當然，這增加了另一個假設——這兩個信號首先必須是非高斯的。