MLE 是否總是意味著我們知道數據的底層 PDF，而 EM 是否意味著我們不知道？
我有一些關於 MLE（最大似然估計）的簡單概念性問題，以及它與 EM（期望最大化）有什麼聯繫（如果有的話）。
據我了解，如果有人說“我們使用了 MLE”，這是否自動意味著他們擁有數據 PDF 的顯式模型？在我看來，這個問題的答案是肯定的。換句話說，如果任何時候有人說“MLE”，問他們他們假設的 PDF 是公平的。這是正確的嗎？
最後，關於 EM，我的理解是，在 EM 中，我們實際上並不知道或需要知道我們數據的基礎 PDF。這是我的理解。
謝謝你。
MLE 方法可以應用於有人知道 pdf 的基本函數形式（例如，它是高斯、或對數正態、或指數或其他）但不知道基礎參數的情況；例如，他們不知道和在pdf中：
或他們假設的任何其他類型的pdf。MLE 方法的工作是在給定特定數據測量的情況下為未知參數選擇最佳（即最合理的）值實際觀察到的。因此，要回答您的第一個問題，是的，您始終有權詢問某人他們為最大似然估計假設什麼*形式的 pdf；*實際上，除非他們首先傳達該上下文，否則他們告訴您的估計參數值甚至沒有意義。 正如我在過去看到的那樣，EM 算法更像是一種元算法，其中一些元數據丟失了，你也必須估計它。因此，例如，也許我有一個混合了幾個高斯的 pdf，例如：
表面上看，除了增加了幅值參數，這看起來很像前面的問題，但是如果我告訴你我們甚至都不知道（即高斯混合模式的數量），我們想從數據測量中估計也？ 在這種情況下，你有一個問題，因為每個可能的值（這是我上面提到的“元”部分）在某種意義上確實生成了一個不同的模型。如果, 那麼你有一個具有三個參數的模型 (,,) 而如果, 那麼你有一個有六個參數的模型 (,,,,,）。您獲得的最佳擬合值 (,,） 在裡面模型不能直接與您為這些相同參數獲得的最佳擬合值進行比較模型，因為它們是具有不同數量自由度的不同模型。
EM 算法的作用是提供一種機制來進行這些類型的比較（通常通過施加“複雜性懲罰”，即偏好較小的) 以便我們可以選擇最佳的整體價值.
因此，要回答您的原始問題，EM 算法需要不太精確的 pdf 格式規範；有人可能會說它考慮了一系列備選方案（例如，,,等），但它仍然需要您指定有關這些選項的基本數學形式的一些信息——在某種意義上，您仍然必須指定可能的 pdf 的“系列”，即使您讓算法為您決定哪個家庭的“成員”提供了與數據的最佳擬合。